兴平市论坛

注册

 

发新话题 回复该主题

某银行大数据平台架构设计及应用最佳实 [复制链接]

1#
某农信社的新目标是通过提升农信系统大数据应用能力,促进数据应用与具体业务场景相结合,全面推动行内大数据工作平台化、链条化运营。本文介绍了该行如何借鉴国内外同业的先进经验,同时结合行内实际业务需求,采用大数据平台和配套产品,进行混搭大数据技术架构设计及平台落地。社区IDkappyy,目前在省农信社负责大数据平台架构和运维工作,对大数据平台这块具有丰富的实践经验。、背景

银行业是一个数据密集型行业,也是一个数据驱动的行业,数据一直是银行信息化发展的主题词。而今,在互联网金融时代,伴随着商业银行经营转型的持续深入,各家银行对大数据应用的需求日益多元化,迫切希望借助大数据应用,践行以金融科技赋能业务创新及服务体验升级。建设银行、招商银行、平安银行等,在客户视图、精准营销、实时风控、产品创新等应用场景,通过借助大数据手段成功实现在客户体验、运营管理和产品服务等方面的数字化创新转型。农信社作为农村金融、普惠金融、民生金融的主力*,始终贯彻落实“创新驱动、科技引领”发展战略,不断加强在小微企业金融、个人金融等方面的大数据应用探索,旨在促进产品创新和服务升级,为用户提供更加安全、便捷、实惠的金融服务。因此,通过提升农信系统大数据应用能力,促进数据应用与具体业务场景相结合,全面推动行内大数据工作平台化、链条化运营是我们的新目标。

借鉴国内外同业的先进经验,同时结合行内实际业务需求,采用某大数据平台和配套产品,进行混搭大数据技术架构设计及平台落地。充分发挥大数据技术的特点与优势,提升农信社大数据服务能力,助力业务推广应用。我们的总体目标是建立起符合农信社特色的大数据应用体系,利用特有的大数据能力,挖掘数据的潜在价值,以提供更统一、更高效、更完整、更灵活的大数据服务,逐步由支撑业务到引领业务迈进,最终实现数据驱动业务的转型升级。

2、需求分析

在大数据时代,银行从以交易为中心转向以数据为中心,以应对更多维、更大量、更实时的数据和互联网业务的挑战。大数据平台从多方面解决现在行内存在的问题,具体如下。

2.历史数据查询

提供全行结构化的交易明细类数据的历史数据归档保存,支持全量数据归档、增量数据归档,支持指定频率周期性归档,支持大文件归档与小文件归档、提供半结构化和非结构化日志文件的归档。实时查询用户的历史交易明细,能够将查询范围从年提升到7年以上;能够实现百TB级历史数据表的毫秒级查询。

2.2数据应用服务体系

优化数据存储,提升数据计算能力,实现数据服务的可视化、可配置、可扩展,完成数据前中后台的解耦,通过对行内海量数据及外部数据进行统一管理,分析加工,提供数据的应用及服务,并对数据应用进行业务场景封装,提升业务数据应用能力。

2.3客户画像标签体系

客户画像,即客户信息标签化,通过收集客户社会属性、消费习惯、偏好特征等各个维度的数据,对客户特征属性进行剖析,完美地抽象出一个客户在银行的信息全貌,为银行进一步精准、快速地分析用客户行为习惯、金融消费习惯等重要信息,提供快速、精准地识别定位客户功能,从而提升客户服务能力,完成对客户的全方位标签刻画,为客户管理、实时风控、反欺诈、精准营销、风险预警奠定基础。

2.4外部数据管理能力

实现全行级爬虫体系架构,定时爬取行外有价值数据,引入大数据平台,为展示、分析、挖掘等其他应用提供基础,并在后期丰富爬虫能力。统一管理外联前置接口和数据,设置数据的有效期,通过对外部数据的统一管理,避免重复请求外部数据,减少资源消耗。

2.5数据挖掘模型建设

结合同业大数据场景应用及供应商模型积累、场景应用优势,充分理解并利用大数据、机器算法、人工智能等技术,利用挖掘工作平台进行数据挖掘模型、应用场景的建设,通过对行内实时和非实时的数据分析及挖掘,完成“客户流失预警模型、贷款违约概率预测模型”2个模型的建设及应用。并同步对数据挖掘工作平台进行功能优化及算法丰富,实现大数据在营销管理、风险管理等方面的支撑。

3、技术难点及应对措施

3.Hbase多实例

为Hbase多实例的管理存在难点。通过配置不同的hbase客户端的配置文件,调度代码从相应位置获取并加载配置文件,从而解决多实例管理问题。

3.2安全模式重启认证

客户端在安全模式下,需要24小时后定时重启一次客户端。采用crontab自动执行定时shell脚本的方式去定时重启jar包,解决了定时重启的问题,保证项目能自动化部署并实现高可用。

3.3API接口

数据服务平台DASP与该大数据平台各组件API对接困难。该大数据平台目前提供API对接方式,但是缺乏对接经验,官方文档不足,调试接口不稳定。目前,DASP应用服务平台系统暴露RESTFUL接口,解决跨平台使用,实现了项目解耦、扩展性、易用性、安全等问题。

3.4多组件开发

大数据平台组件较多,包括Loader,Hdfs,Hive,Hbase,Kylin,Es,Redis等,各组件的安全认证、数据传输和联通测试流程的稳定性与安全性需要反复验证。

3.5数据服务能力

以往,数据服务是通过定义数据服务接口的方式加以实现。随着数据应用服务需求的不断增加,数据接口难管理问题日益凸显。本次数据应用服务平台,主要通过定义DSL,对不同技术语言进行SQL的转化,从而真正实现SQLonHadoop的数据服务能力,提高平台适用性。

3.6系统健壮性

大数据管理平台,以微服务的方式进行系统架构开发和部署,不同的功能由不同的服务程序支撑。各服务可集中部署于一台服务器,也可分别部署于多台服务器,服务之间通过

分享 转发
TOP
发新话题 回复该主题