金保工程数据归集服务系统设计与实现

2023-02-11

一、我市金保工程数据的发展现状

随着我市保数据不断积累, 数据量呈现海量存储特征, 随着公共服务的不断推进, 非结构化数据量也迅猛增加, 这些情况导致社保的统计分析能力不断下降, 普遍存在业务报表分散、统计查询不便、效率低下的问题, 由于历史的原因和客观条件的局限, 我市目前还未能形成一套完整有效的数据归集服务系统, 特别是人社部门较多, 有些部门无系统, 还是通过传统excle方式保存数据, 有系统无贯通, 业务系统分散, 技术标准与系统接口均不统一, 难以做到信息集中与共享。因此, 本文专门为我市提供一套数据归集服务系统设计方案, 旨在建立一个安全、稳定、高性能、跨平台、跨应用、跨部门的平台。

二、系统的业务实现

根据实际业务流程, 设计了数据归集服务系统。结合系统建设过程中的难点业务, 并基于数据预处理、汇集, 清洗, 分析管理及其他管理方面的考虑, 该系统核心实现以下6项业务的管理: (1) 数据目录管理:对存储的数据目录进行管理、可进行数据字段设置, 数据同步。 (2) 数据处理管理:支持支Oracle、DB2、SQLServer、MySQL、SqlServer等数据源。支持ODBC数据源, 支持JNDI数据源, 支持共享应用服务器数据源, 支持将Excel, txt文件, XML文件等文件型的数据直接作为数据源;也支持内置数据集。 (3) 运维管理:提供资源管理功能, 包括资源分配、资源利用统计等功能;监控Web应用、URI监控、Session监控、Spring监控, 数据源, 数据量同步机制配置。 (4) 数据安全管理:提供安全管理的模块, 从主机安全、应用安全、数据安全等多个方面为系统提供安全防护。 (5) 图形化展示:展示图形支持柱状图、饼状图、折线图、雷达图、3D图形等图形模式。 (6) 基础信息管理:用户管理、角色权限管理、应用管理, 系统配置管理等。

三、系统的优点

数据源:支持三种数据源, 分别是结构化数据、半结构化数据、非结构化数据。从数据接入方式, 支持WebJS、IOSSDk、AndroidSDK、文件、DB (MySQL、Oracle等) 等。

身份认证:保证接入数据归集服务系统的合法性, 采用基于证书的认证模式。

通讯加密:支持AES、RSA、DES算法。

公共服务:提供统一的流量控制服务、日志记录、接入参数控制等公共服务。从而实现多技术平台、多物理部署运行环境的公共服务支持。

平台监控:包括cpu, 内存, 文件系统, 各队列深度等, 应用监控:包括各部署模块的内部运行状态。

异常报警:对平台运行的问题进行报警, 提供多种报警模式, 例如短信, 邮箱, 微信等统一运维管理:提供应用日志, 流水日志的统一处理, 防止多点, 多平台部署情况下维护混乱的情况。

四、系统的技术实现

(一) 技术特点

采用互联网技术和传统技术的融合;主要的开发语言与架构:Java语言和J2EE开放架构;中间层使用ETL结合服务总线技术进行开发;后端数据存储采用分布式数据库系统;分布式计算架构:Hadoop;大数据处理转换:大数据ETL工具;大数据服务总线:大数据跨平台服务总线;大数据搜索引擎:分布式搜索引擎;大数据建模:主题建模工具;开放数据平台具大数据汇聚共享平台;核心模块技术规格

1.大数据ETL工具

要求支持图形化界面操作;支持Oracle、MSSQL、MySQL等RDBMS数据库;支持各类日志文件类型导入;支持图形化转换规则配置;支持全量和增量一体化同步;支持直接输出到分布式数据库;支持直接生成全文索引数据。

2.大数据跨平台服务总线

服务端支持JAVA技术平台;客户端支持JAVA、.Net、PHP、Python等运行环境及基于HTTP协议的浏览器环境;支持BHTTP协议和JSON通讯协议;支持标准化集群技术, 具备分布式部署和高可用特性;支持大数据建模工具;支持图形界面操作;支持多数据源聚合配置;支持针对特定对象建立主题分析库配置

3.大数据分布式搜索引擎

支持全文模糊检索;支持通配符检索;支持精确定向检索;支持分布式高可用性部署;支持数据碰撞分析功能;支持字段级权限控制。

4.主题建模工具

支持图形化建模;支持各类业务源数据字段信息规范统一化, 实现海量数据按业务主题建模的需求;支持配置管理内容包括 (配置表、查询参数、表字段、表字段内容、搜索配置、搜索字段)

5.大数据汇聚和共享平台

支持分布式部署和高可用;支持Web方式的操作和管理界面;支持多重审核机制;支持应用接口使用统计;支持日志功能。支持第三方接口接入汇聚数据;提供公共API为周边应用商使用数据;支持接口数据传递转化和模糊化处理, 保护个人隐私 (照片、身份证、手机号等转化或加密)

(二) 架构设计

平台主要分数据基础平台、服务及接口、行业业务三层架构。

摘要：根据市政府和省人社厅要求, 建设人社数据中心成为各地人社部门当下的首要任务。泰州市是较早实现全市范围社会保障数据大集中的城市之一, 社会保障信息化水平已经走在全省乃至全国前列。展现泰州智慧社保数据中心建设的过程, 包括顶层设计、基础设施建设、数据标准规范体系建设、搭建数据应用平台和数据交换平台、确保运维等, 有利于加快社会保障领域信息化进程, 实现数据大集中。今年3月, 在国务院第194次常务会议上部署了整合共享工作任务要求, 将推进政务信息系统整合共享、打破信息孤岛作为助力“放管服”改革向纵深推进的重要举措, 加快数据开放共享, 推动资源整合, 提升治理能力, 提高服务水平。市政府和省人社厅指导下, 按照完整、正确、统一、及时、安全的原则和“数据向上集中、服务向下延伸”、让网络信息多跑路, 让群众和企业少跑腿、不跑腿的指导思想, 全面开展金保工程数据归集建设。

关键词：金保工程,大数据,数据归集