基于SOA的大数据征信信息管理平台研究

第一章、绪论

(一) 项目背景

我国互联网金融在当前呈爆发式增长的模式, 人们的日常信用消费记录会同时影响人们的金融活动以及社会生活的各个方面。我国的个人征信商业化以及市场化的发展, 成为社会信用体系建设中必不可少的一环, 在市场竞争十分激烈的情况下, 各类民营征信机构积极申请牌照, 并且依托股东的背景和产业生态开始不断创新。该行业的迅速发展, 使得人民群众对信用的重视程度逐渐加深, “征信”模式开始焕发出新的生机。随着信贷消费的壮大, 个人征信也逐渐催生出来。据有关数据统计在过去的五年中, 国民总消费翻倍增长平均增长率达到14%消费支出比例, 预计在2018年将达到47%, 据麦肯锡全国研究院发布的研究报告可知, 预计在2025年, 中国将成为世界第三大消费市场仅次于日本和美国, 而我国的信贷消费也已达到19万亿。消费金融已经逐渐增长, 预计在2016到2017年间, 中国的信贷消费规模依然按照20%以上的增长率进行增长, 到2017年将超过2, 70, 000亿。由此可见, 个人征信具有较大的发挥空间。随着该项业务在中国市场规模不断扩大, 而产品以及服务的需求话也逐渐增多, 作为人口大国, 个人征信体系却较为薄弱, 因此对社会融资成本以及放贷效率造成了较大的影响, 对行业的风险较大, 因此需要加入市场化的力量来促进信用经济的发展以及社会信用体系的建设。经过不断地改良, 能够促进商业环境, 不断改善个人征信行业将成为新蓝海行业。党中央机构对信用体系的建设十分重视, 2013年3月国务院下发《征信业管理条例》。于当年11月党的十八届三中全会对于信用体系提出要求, 并在12月允许市场出现个人征信机构。但是, 当时中国的个人征信体系并不完善, 在2014年年底央行征信系统收入了8.6亿自然人的信息, 有3.5亿人具有信贷记录, 并且有一定的个人信用, 但是, 对于民间借贷的个人并不开放, 因此这些机构在对小微借款用户进行审核的过程中, 增加了运营成本和风险, 因此, 民间金融借贷机构需要急切的发展成熟。然而, 随着互联网的不断发展大数据的新兴技术的普及, 使得金融消费的个人征信体系不断发展。当前中国还在处于向互联网中心的过渡阶段。虽然当前网络数据积累量较大, 但是并没有形成统一的标准, 因此, 民间金融机构交易数据并不统一, 此外, 网络中心的手段和评估方式并不成熟。因此, 需要结合先进技术进行有效提炼数据, 引领市场, 掌握话语权。

(二) 研究现状

当前国外主要有三种中心机构运营模式, 第一种是政府主导性, 主要服务于宏观金融决策和监管以及商业银行。第二种是市场化运作型, 主要为商业化机构进行服务。第三种为混合型, 由政府部门以及私营部门进行合作。

1.美国

作为世界信用交易和最高的国家, 美国主要实行市场主导型模式。在19世纪30年代起征信体系便开始兴起, 已有200年历史, 随着技术的更新和进步, 美国征信体系已经较为完善。根据征信主体进行划分, 主要分为企业中心以及个人中心, 前者主要为商业市场进行服务, 而后者主要用于个人信贷的参考。

企业征信机构主要是邓白氏集团公司。个人征信机构主要是环联公司 (TRANS UNION) 、意可发公司 (Equifax) 、益百利公司 (Experian) 这三家大的个人征信机构。此外, 还针对不同的小型征信机构提供不同的服务方式。

2.英国

英国的征信数据主要通过1974年的《消费信贷法》和1984年的《数据保护法》两个法案进行支持。

英国中兴行业没有专门的政协监督部门, 任何公司都可以自由进入。主要通过三家完全独立的第三方中心机构来提供这个信息, 分别是意可发 (Equifax) 公司、益百利 (Experian) 公司及呼叫信用 (Call Credit) 公司。

3.法国

法国也属于政府主导型的征信体系, 主要通过政府出资设立, 分为企业征信以及个人征信, 均由中央银行建立。登记的时间以月为间隔。向他们采取正面以及负面信息所统计的信息中, 必须包括个人在财政以及贷款方面的不良行为信息。

4.日本

日本主要采用混合型的征信体系, 个人征信是按照会员制, 并且其这个机构属于行业协会的非营利性质。只向会员提供相关信息, 而政府并没有设立专门的征信机构, 只能在各自的职责范围内进行征信指导, 其中个人征信机构包括CIC, JICC和BIC并分别服务于销售行业, 消费信贷行业以及银行行业等。

5.印度

印度也是混合型的这个信息, 其中财政部以及储蓄银行在2000年发起了印度信用信息有限公司 (CIBIL) 机构。该机构是公司合营性质, 以股东的形式采取多元化的方式进行运作, 并且由央行强制性为公司报送信息。实行共享互惠原则, 但是必须先成为机构会员, 才能享受便捷的服务。根据2013年央行发布的《中国征信业发展报告 (2003—2013) 》从1934年, 中国有了第一家征信机构, 中华征信所开始已经有80多年的历史, 但是从改革开放以后才能得到真正的发展。随着国内信用交易的不断发展, 扩大推动了中国出现企业的迅速发展。2013年3月国务院下发《征信业管理条例》, 同年12月中国人民银行出台的《征信机构管理办法》, 中国开始允许开设市场化个人征信机构。2015年1月, 中国人民银行印发《关于做好个人征信业务准备工作的通知》, 要求征信公司做业务, 并给予六个月的准备时间, 这次中国征信体系开始在市场上逐渐放开, 并形成以央行征信中心为主导的多层次征信机构并存的形式。

第二章、系统实现技术概述

(一) 分布式存储技术

征信系统需要储存大量的数据和应用, 因此在进行设计时, 也采取分布式文件系统的方案, 但开源HD M S只有一个主服务器, 虽然可以增加日志服务器, 但仍然无法扩展, 因此在其节点上的原数据增多, 使其占用的内存增多, 达到存储瓶颈。因此单一Master节点储存数据有限, 可扩展性差, 不稳定。

优化路径:利用多层分布的Master结构, 减缓整套系统的压力, 解决瓶颈问题。此外, 需要提供更高的访问接口来满足业务需求。

(二) 分布式计算

结合Hadoop Map Reduce及Spark进行数据分析, 其中前者主要对批量数据进行分析, 而后者主要对计算流式数据进行分析, 具体见图1。

(三) 细粒度分布式并行计算

计算平台的Flynn分类法, 主要根据指令流和数据流来分类, 共分为四种类型的计算平台, 如图2所示:

将多台计算机服务器的征信系统作为一个MIMD类型的平台, 在并发编程的过程中, 主要解决以下两个问题。 (1) 缓存抑制问题, 针对单台服务器数值一致性, 主要是处理器缓存的数据项目值与系统内存的数目据项目值保持一致, 但是, 该行为有可能影响到软件的性能, 通过JMM可以解决。多台服务器则需要通过分布式进行一致性协议解决。 (2) 服务器之间的网络I/O效率。全部是花车上的数据需要通过网络传输。其中, 有三个方法可以解决网络传输遇到的瓶颈, 分别是 (1) 硬件提升; (2) 控制数据交互的频率; (3) 通过在软件层面优化提升I/O效率如图3。

(四) 征信评分模型

云征信平台采集的数据由结构化和非结构化数据所组成。主要依赖智能分析系统进行数据挖掘和分析。通过所分析的模型, 对一万多条数据进行分析, 并在五秒内完成计算。该性能已经远远超过行业平均水平。完成多重卷积神经网络模型的构建, 将数据带入到网络中, 从而提升征信评分的准确性。经过多层模型的训练学习, 将数据变换到新的特征空间, 并形成模型。模型是点到点的映射, 能够反映出映射关系, 并不需要精确的数学表达式, 数据经过变换抽象, 经过传播调整, 最后进行输出。利用云平台的大数据分析结果来对模型进行预算, 能够挖掘数据的关联性, 充分分析事情可能发生的概率。经过模型训练后, 会组建相关实体的关系, 并提供可能生产的衍生产品。利用Spark+R来搭建模型进行计算, 并在七亿用户数据的基础上进行学习和实践。

(五) 规则引擎

规则引擎通过推理引擎发展来的用来镶嵌在应用程序中实现了业务决策的分离, 并且编写了预定的语音模块, 能够接受数据输入, 并根据相关业务作出解释和决策如图4。

通过与大数据平台进行结合, 利用引擎进行模型的计算, 结合有关业务对征信系统的指标进行决策。

第三章、系统分析

(一) 可行性分析

利用J2EE作为开发技术应使用MVC作为设计模式来解决多重式应用方案的开发部署以及管理问题, 并逐渐成为标准本项目, 在进行开发和设计的过程中, 利用这一计算模式面向对象的组建技术, 逐渐将业务进行独立, 重复利用, 逐渐加快软件的开发速度, 降低开发成本。通过对征信系统的需求分析发现, 根据信息系统的不同模块采用不同的人员和角色, 以提高用户处理业务的效率。

(二) 业务分析

个人征信模块主要设计数据的纠错, 删除以及正常数据的生产, 对进行处理以及上传。

企业征信模块主要设计数据的纠错, 删除以及正常数据的生产, 对进行处理以及上传。

公共模块主要涉及到自检向管理以及用户的相关操作数据的上报, 统计, 清理, 备份及恢复, 参数的配置。

(三) 系统功能分析

软件构架模型是对复杂的系统进行抽象, 能够反映出相对精解, 但又核心的问题模型, 该系统的模型主要有图5几个模块功能所示。

本系统将针对个人以及企业征信的需求, 结合银行的设计系统所做出的设计。

系统设计灵活性与扩展性都十分完美, 当今信息技术发展十分迅速, 因此需要利用现成的技术构建出稳健的构架, 来保证系统的先进性和扩展。

稳定的技术不仅能够缩短开发时间, 更能提高稳定性和扩展性。

此外, 系统还针对数据的重报和意义都提供了有效的管理流程, 加快了处理过程。其用例图如图6所示。

1.个人征信模块

(1) 正常数据抽取与报文生成 (主动上报)

主动上报分为正常报文上报、补充报文上报、纠错报文上报和删除报文上报。

(1) 正常报文与补充报文的数据抽取和文件生成:

根据银行每天所发生的交易生成报文, 还在抽取报文的同时检验出不符合条件的数据, 并对这些数据进行维护和补报。

(2) 数据纠错管理:

若银行用户主动发现数据的错误, 为确保数据的真实性, 这需要先将报文进行删除, 再上传到人民银行。

(3) 删除报文数据抽取和文件生成:

针对重复上报的数据账户系统需要将相应的数据进行删除。

(2) 重报与异议数据管理 (被动上报)

(1) 重报数据处理

将数据上报至人民银行后, 在入库时发生错误, 人民银行将按照规定进行反馈系统所提出来的分析功能, 能够迅速将反馈的数据进行读取, 并给出相应的解决方案。

(2) 异议数据处理

异议数据由客户主动提出, 这些数据影响了客户的信用记录。如果属实, 银行可根据要求进行数据报送。

(3) 账户标识变更报文

账户记录将对本机构所发生的账户交易及时形成, 以便于更改报文。

(4) 数据筛选过滤

针对三项标识不全的账户, 无法直接生成报文, 需要有关人员查询相关信息明确, 然后手动上报。

2.企业征信模块

(1) 正常数据抽取与报文生成

(1) 正常报文与补充报文的数据抽取和文件生成:

分为正常报文上报、补充报文上报等, 并提供标识变更上报功能。

(2) 数据纠错管理:

若银行用户主动发现数据的错误, 为确保数据的真实性, 这需要先将报文进行删除, 再上传到人民银行。

(3) 删除报文数据抽取和文件生成:

针对重复上报的数据账户系统需要将相应的数据进行删除。

(2) 重报数据处理

将数据上报至人民银行后, 本系统针对错误给出解决方案。

(3) 反馈报文管理

反馈报文管理包括:反馈报文下载、解析与重报处理。

3.公共模块

(1) 字典管理

字典管理分为固定字典管理、字典映射管理和金融机构代码管理。

(2) 用户角色管理

角色管理主要针对用户的角色进行定义划分, 用户可拥有不同的角色, 通过不同模块过的权限。

(3) 操作审核

用户要进行某一操作时, 需要进行权限验证, 并且针对操作进行记录, 以便用户进行跟踪调查。

(4) 统计汇总功能

本系统在进行使用中, 对用户的交易信息进行汇总。

(5) 系统参数配置

系统参数配置模块提供一些系统常量的配置功能。

(四) 系统非功能性分析

非功能性需求将着重解决“如何使这个系统能在实际环境中运行”, 但若不考虑非功能性需求, 则在解决方案的过程中将很难取得成效。由于在使用的过程中, 用户无法对系统功能进行使用, 非功能需求会在基础平台上进行设计和实现, 因此, 在整个系统中占据较为重要的位置。以下为本系统的非功能性需求:

(1) 系统能够较长时间的持续进行工作;

(2) 客户端的信息响应时间有效;

(3) 系统使用方便, 便于用户进行操作;

(4) 系统安全性较高, 能够防止非法输入, 杜绝敏感信息, 拒绝出现具有安全隐患的参数, 无法直接通过用户输入形成SQL语句, 并且能够防止数据被破坏:

第四章、信息系统设计

(一) 系统架构设计

设计人员不能只靠其他系统的经验设计征信信息管理平台的架构。而是需要依靠现实生活中的实际需求针对性地结合设计, 不要只针对系统的整体形式完成设计, 还需要相应的对系统的另外一些可持续性资源进行详细完美的设计。此外, 需要提醒设计人员的是, 在对系统进行设计时, 需要更关注其宏观的概念, 而不要拘泥于太多具体的小细节。对该系统的设计主要有对系统的整体结构进行设计以及对每个系统中的不同功能以及板块的设计等。

对系统进行设计需要注意以下几点:

(1) 首先, 设计之初需要注意的是在设计完成初需要实现系统方便维护同时还有实现系统的可扩展能力, 这样一来, 系统完成设计之后用户体验才能达到最佳。

(2) 对系统的网络性能需要提升其安全性与可靠性。

(3) 系统完成之后能够轻易地维护、管理以及升级。

(4) 除此之外, 系统开发所花费的成本也是我们需要考虑的, 尽量使用最少的成本设计完成最好的系统, 所以在开发设计过程中一定要挑选性价比高的设备软件进行设计。

在进行设计系统的过程中, 我们想通过MVC设计模式的设计原理进行设计, 能够保证系统的整体层次更明显。

图7即页面对命令的接受以及对命令的执行的详细流程图。

开始建立一个xml Http请求。请求建立完成后, 随即要为请求注册一个回调函数, 之后再发送请求命令到服务器端。下图为具体代码:

xml Http=new Active XObject ("Microsoft.XMLHTTP") ;//IE浏览器

xml Http=new XMLHttp Request () ;//火狐浏览器

xml Http.onreadystatechange=update Page Query;

xml Http.open ("GET", url, true) ;

xml Http.send (null) ;

图8即页面访问流程图。

开始用户先对控制层的Struts对象Core Action发送请求, 该对象先对请求进行分析, 之后再根据所需对不同数据筛选。

图9即系统总体架构图。

(二) Web Service的设计

1.Web Service工作流程设计

在对征信信息管理平台进行设计开发时, 主要依靠的技术是Web Service技术, 该技术能够帮助系统更快更方便的设计, 所以在设计之初需要对该技术的基本工作时序进行设计, 以下是对该技术的工作时序进行设计。

征信信息管理平台的Web Service技术使用的是SOA架构, 该架构的组成部分是三个不同系统以及三个不同操作。不同的系统分别是服务提供系统、服务请求系统和分布服务登记系统;三个不同的操作主要是发布、查找和绑定。

下图10即Web Service分布服务体系结构图。首先, 征信信息管理平台Web Service的服务提供者能够通过WSDL对该系统的捆绑形式:操作类型、数据类型和数据格式以及网络位置进行详尽的分析解释。该详尽的分析解释使用的格式是XML格式的WSDL文档, 征信信息管理平台的Web Service的服务就是把详尽的分析以XML格式发布到分布登记系统。随后, 征信信息管理平台Web Service的服务请求系统需要将查询条件整理到分布服务登记中心, 之后分布服务登记中心对查询条件进行针对性地筛选, 再对征信信息管理平台Web Service的服务请求和服务提交过程进行绑定。如此一来, 服务请求和服务提交之间可以在该文档的具体细节内容基础之上通过SOAP协议对海南航班系统Web Service的服务进行调用, 同时实现管理系统的功能。同时, WSDL文档的主要内容包括征信信息管理平台Web Service以及该系统的参数和函数等。该系统函数彼此之间的服务调用可以通过SOAP协议实现, 同时还可以规定调用对象, 将该对象以XML格式进行存档。SOAP协议的消息格式更符合Web Service中的服务请求系统。分布服务登记中心通常的主要任务是关于服务的发布、查询以及绑定。服务提供系统能够在分布服务登记中心注册实现各类消息的及公布。

2.系统Web Service设计

征信信息管理平台通常使用Web Service技术, 所以以下的设计要点是关于征信信息管理平台的Web Service技术。

征信信息管理平台通过Web Service技术实现不同功能之间的互相配合。因为征信信息管理部门内部没有提供具体的服务整理计划, 政府内部以Web Service技术设计的应用系统不多, 同时还不是很了解UDDI的技术, 所以, 对于征信信息管理平台的设计没有应用UDDI注册中心技术, 但征信信息管理平台中能够应用Web Service技术, 同时该技术的实现是因为系统间的协议, 同时还有WSDL定义的服务接口的配合。

在对Web Service进行划分的过程中, 征信信息管理平台能够根据对Web Service技术的学习和使用, 以及对Workshop的XML解析工具的使用将其划分为服务器端和客户端两种。该两种类型的终端彼此的链接过程与处理过程能够公开给使用者。并且其他系统的软件开发设计人员能够在两端互相调用的基础上, 通过WSDL文件来生成客户端文件。

征信信息管理平台的Web Service服务器端主要负责接收不同使用者的使用需求, 实现对应操作, 同时征信信息管理平台的最上层主要负责处理返回用户所需信息Web Service对外提供的服务逻辑。

Web Service服务的出入口数据。在征信信息管理平台的最上层需要处理Web Service服务的数据, 以及对个人征信模块、企业征信模块信息等数据的处理, 最上层的事务处理除此之外还包括征信信息管理平台的数据库连接和SQL语句执行。下图11即征信信息管理平台的Web Service总体设计流程图。

SMS Service层是帮助征信信息管理平台实现Web Service客户端。因为对数据的调用在该系统的其他板块也能实现, 包括对Web Service的调用以及对数据库的调用。他们的调用都能够得到人员以及岗位等信息, 同时还包含人员信息的更新以及企业征模块信息等。

(三) 主要功能模块设计

1.个人征信模块的设计

(1) 概述

个人征信数据主要针对个人贷款等金融业务, 其数据来源通过储存的信息进行提供。经过转换将数据从系统中提取, 然后按照相关标准存放只个人中心系统中, 并上报到银行。本系统的基础功能是将数据进行提取, 并生成报文。在正常报送的过程中也会出现数据错误而系统会根据功能进行修改。

针对反馈出来的数据以及客户所提出的反馈等系统, 将提供错误数据重报以及以数据报送的功能。

(2) 正常数据抽取与报文生成 (主动上报)

主动上报分为正常报文上报、补充报文上报、纠错报文上报和删除报文上报。

(1) 正常报文与补充报文的数据抽取和文件生成

根据每天银行所发生的交易信息生成相关报文。

由于个人征信的数据来自银行其他业务系统, 因此在进行报文数据抽取的时候, 需要检验其是否符合条件, 针对这种数据系统将提供维护及补报的功能。

(2) 数据纠错管理

若银行用户主动发现数据的错误, 为确保数据的真实性, 这需要先将报文进行删除, 再上传到人民银行。

除程序自动检验出的错误数据外, 其他发生的错误需要有人员进行维护, 系统仅参与简单的维护。

(3) 删除报文数据抽取和文件生成

(3) 重报与异议数据管理 (被动上报) 针对重复上报的数据账户系统需要将相应的数据进行删除。

被动上报是人民银行对数据发生严重错误或客户投诉或进行的纠正。

(1) 重报数据处理

将数据上报至人民银行后, 在入库时发生错误, 人民银行将按照规定进行反馈系统所提出来的分析功能, 能够迅速将反馈的数据进行读取, 并给出相应的解决方案。根据给出的方案和信息进行补救。

分析数据出错的原因进行不同的修改, 例如, 贷款开立信息错误, 在第一次上报时修改了数据来源, 重新出去后可产生新的数据重报完成还款后, 其信息来源在系统中不复存在。

(2) 异议数据处理

异议数据由客户主动提出, 这些数据影响了客户的信用记录。如果属实, 银行可根据要求进行数据报送。

(4) 账户标识变更报文

为了保障客户数据的真实完整账户记录会根据用户在本央行的标识反映给人民银行, 然后根据账户标识, 更改报文, 以保障客户数据的完整性和一致性。

(5) 数据筛选过滤

针对人员三项标识不全的账户, 无法直接生成报文, 需要有关人员查询相关信息明确, 然后手动上报。

2.企业征信模块的设计

(1) 概述

企业征信模块根据业务需求, 主要包含正常数据抽取与报文生成、重报数据管理、反馈报文管理等功能。

(2) 正常数据抽取与报文生成

(1) 正常报文与补充报文的数据抽取和文件生成:

根据银行, 每天所发生的业务及信息生成报文。

由于企业征信的数据来自银行其他业务系统, 因此在进行报文数据抽取的时候, 需要检验其是否符合条件, 针对这种数据系统将提供维护及补报的功能

(2) 数据纠错管理:

若银行用户主动发现数据的错误, 为确保数据的真实性, 这需要先将报文进行删除, 再上传到人民银行。

除程序自动检验出的错误数据外, 其他发生的错误需要有人员进行维护, 系统仅参与简单的维护。

(3) 删除报文数据抽取和文件生成:

针对重复上报的数据账户系统需要将相应的数据进行删除

(3) 重报数据处理

将数据上报至人民银行后, 在入库时发生错误, 人民银行将按照规定进行反馈系统所提出来的分析功能, 能够迅速将反馈的数据进行读取, 并给出相应的解决方案。根据给出的方案和信息进行补救。

(4) 反馈报文管理

反馈报文管理包括:反馈报文下载、记录日志与解析功能。将数据上报后, 并将出错的数据进行上报, 反馈后将报文进行解析, 并给出确切的出错信息。

3.公共模块的设计

(1) 概述

公共模块功能包括字典管理、授权管理、操作审核管理、统计汇总功能及系统参数配置管理等功能。

(2) 字典管理

字典管理分为固定字典管理、字典映射管理和金融机构代码管理。

(1) 固定字典管理

出现在征信规范文件内的字典项, 都方便进行删减。

(2) 字典映射管理

除了征信的数据需要来自其他业务系统, 其他系统都有自己的字典项定义, 为了能够使其足够灵活, 系统可为其进行配置, 方便用户进行修改字典项的映射关系。

(3) 金融机构代码管理

征信数据能够与金融机构的代码进行结合, 因此, 发生变更后, 需要修改代码字典项。

(3) 用户角色管理

角色管理主要针对用户的角色进行定义划分, 因此, 不同用户的角色, 权力不同, 进行不同的操作。因此, 用户可拥有不同的角色, 通过不同模块过的权限。

本系统进行操作时, 由维护人员进行维护, 维护人员具有最高权限, 可对信息进行查询, 修改和删除等操作。此外, 银行用户也有自己的账号, 可以进入系统进行相应角色的操作。

(4) 操作审核

用户要进行某一操作时, 需要进行权限验证, 并且针对操作进行记录, 以便用户进行跟踪调查。

(5) 统计汇总功能

本系统在进行使用中, 需要根据个人以及企业的征信信息进行统计, 首先要对其交易笔数、授信额度及余额进行统计汇总。

(6) 系统参数配置

本系统在进行使用的过程中, 往往会碰到常量, 在进行系统部署的过程中会遇到变更, 因此需要本模块提供可配置管理的功能。

第五章、结论

大数据征信技术作为互联网金融产业的重要一环, 其生存和发展与互联网金融产业息息相关。它是支撑整个产业发展的, 并在形成产品后持续和长久地延伸到产品应用全过程的产业。征信数据包含了全国几亿至十几亿人的数据, 涉及生活娱乐各个方面, 包括个人基本数据, 资产数据, 消费数据, 行程数据, 图像数据, 语音数据, 视频数据, 发表的评论数据, 与他人的关系数据等等, 从数据形式来说可分为结构化数据和非结构数据, 规模在10PB-100PB之间。本项目研发的大数据存储系统, 将整合结构化及非结构化数据的存储, 在HDFS的基础进行优化, 根据征信数据的特点提升存储及访问的效率, 并解决HDFS小文件瓶颈问题以提升HDFS支持的数据规模, 待项目实施完成之后, 可支持存储5PB数据以上。

本文通过基于云计算的大数据技术基础, 以互联网征信应用为载体, 涵盖征信数据采集清洗、征信数据分布式存储、分布式计算、业务云平台、模型分析、安全控制、系统管理控制等各个环节, 项目目标是以整合、连接散落分布在社会生活各个领域的数据, 提高其对个人征信的作用为目标, 以大数据及云计算技术为基础, 为征信行业相关主体 (征信公司、数据源、征信报告使用者) 提供大数据技术服务及咨询服务。

最后, 感谢同事、家人对本课题的帮助!感谢深圳市科技计划项目的资助!

摘要：本文通过研究大数据分布式存储系统、分布式数据挖掘运行系统、智能数据中心联合调度技术、高可扩展性大数据挖掘算法、大数据安全与隐私保护技术、分布式工作流引擎、交互式可视化分析技术、基于SOA的大数据挖掘技术和基于 Open API 的大数据挖掘技术等等, 攻破大数据征信核心技术瓶颈, 建立大数据个人征信平台。提高对个人征信的作用, 为互联网金融行业及其他征信报告使用者提供大数据技术服务及咨询服务, 满足客户对数据高度聚合后呈现的关联、趋势、比较等关系的分析需求, 达到国际水平和国内领先的数据交互式图形展现。本文的实施不仅是布局大数据征信产业链中数据挖掘分析环节的重要战略, 对整体战略中的征信业务有着重要的支撑作用, 也是对我国空白的互联网金融大数据征信技术领域的重要补充, 对我国征信服务行业及金融数据服务、财务管理服务等互联网金融相关市场的发展有着重要的里程碑式意义。

关键词：大数据,SOA,征信,数据挖掘

参考文献

[1] 肖雅.基于征信体系的我国互联网金融信用风险防控研究[D].南昌:江西财经大学, 2018.

[2] 陈志鹏.我国个人征信系统分析[J].池州学院学报, 2017, 31 (6) :114-118.

[3] 曾铮滢.信用征信中个人权益保护问题与现状研究[J].现代经济信息, 2017 (21) :251-252.

[4] 冯义从, 辜寄蓉, 潘泓君, 方从刚, 黄志勤.基于不动产统一登记数据的征信数据产品初探[J].征信, 2017, 35 (8) :37-40.

[5] 袁翰林.车辆征信信息系统的设计与实现[D].北京:北京邮电大学, 2017.

[6] 朱颖姿.农村征信体系建设的多元合作治理机制研究[D].湘潭:湘潭大学, 2017.

[7] 苏宗国.严守征信信息安全大门[J].中国金融, 2017 (11) :19-21.

[8] 刘潇伟.电子商务信用信息服务国内外对比研究[D].哈尔滨:黑龙江大学, 2017.

[9] 杨明浩.我国互联网个人信用信息管理实证研究[D].哈尔滨:黑龙江大学, 2017.

[10] 钱霞, 唐孟如, 胡会苗, 荆鑫, 李易之.互联网金融平台促进征信体系发展研究——基于搜易贷获批央行企业征信牌照的视角[J].市场周刊 (理论研究) , 2017 (5) :90-92.

[11] 陈志鹏.国内外个人征信信息管理系统的比较分析[D].哈尔滨:黑龙江大学, 2017.

[12] 王森奇.我国沿海地区信息安全的经济学分析[D].哈尔滨:黑龙江大学, 2017.

[13] 王锦云.试谈新形势下征信信息的安全管理[J].征信, 2017, 35 (01) :38-40.

[14] 郭庆祥, 张颖君.国内外征信信息主体权益保护研究[J].金融发展评论, 2017 (1) :72-77.

[15] 谢科佳.公务员诚信信息管理研究[D].上海:上海师范大学, 2016.

[16] 李莹.昌宁县创业小额贷款管理信息系统的研究与分析[D].昆明:云南大学, 2016.

[17] 侯家兴, 李佳花, 舒晓惠, 刘水姣, 肖奕.二维码对于征信体系建设问题的修复作用——以沅陵县为例[J].金融经济, 2016 (16) :172.

[18] 李丹, 王鸿雁.征信体系建设中存在的问题及建议——基于数据库建设等方面的思考[J].征信, 2016, 34 (7) :39-41.

[19] 彭陆银.中山市企业征信问题研究[D].广州:华南理工大学, 2016.

[20] 李阳.基于J2EE的金融征信平台关键技术研究与实现[D].贵阳:贵州大学, 2016.

[21] 姚晶晶.基于中小企业融资业务的信用信息管理问题研究[D].哈尔滨:黑龙江大学, 2016.

[22] 叶纯青.芝麻信用获得英国标准协会认证[J].金融科技时代, 2016 (05) :87.

[23] 任丛丛.LC市消费信贷个人征信体系建设问题研究[D].咸阳:西北农林科技大学, 2016.

[24] 穆红.微信信息管理在造口患者延续护理中的效果评价[J].天津护理, 2016, 24 (2) :113-115.

[25] 赵博伦.崇州市农村信用体系建设研究[D].成都:西南财经大学, 2016.

[26] 文欣.深入微信信息管理[J].电脑爱好者, 2016 (4) :36-37.

[27] 中国人民银行乌鲁木齐中心支行课题组, 阿达来提·吐尼亚孜.我国征信活动中信息主体权益保护风险点分析及对策研究[J].金融发展评论, 2016 (1) :52-57.

[28] 卫弼.盘锦市社会信用建设对策研究[D].大连:大连理工大学, 2015.

[29] 贾勇.海东市小额贷款公司管理系统设计与实现[D].北京:北京工业大学, 2015.

[30] 梁薇薇, 谢平安, 磨雁能, 李芳.中国—东盟征信跨境合作发展研究[J].征信, 2015, 33 (7) :16-22.

[31] 张芳, 段维明.完善我国征信法律制度的建议[J].杭州金融研修学院学报, 2015 (3) :16-18.

[32] 褚鸿飞.中小金融机构征信管理系统的设计与实现[D].长沙:湖南大学, 2015.