金融证券 | 打造开放式数据中心，助力基金行业监管数据报送

随着金融行业信息化的深入和数字化转型的推进，越来越多的业务场景高度依赖于数据支持。但当前数据创新，往往会面临以下的问题：

以金融机构监管数据报送为例，这方面的问题就尤为突出。仅基金公司，就涉及到证监会、人民银行、基金业协会、中登等各类监管报送，虽说数据同源，但场景却十分复杂：报送周期按天、按月、T+2、T+5、T+30…各有不同；数据范围增量、全量都有涉及；一份数据需要多处报送，反复报送；漏错报，不是警告就是罚分。

随着数据报送的要求越来越多，若采用黑箱式的传统数据报送系统，金融机构往往面临「有抽取，没数据」、「反复报、反复买」、「有报送，无自用」的尴尬境地，力气花了不少，报送工作依然难以掌控，组织的数据驾驭能力难以提升，最终演变成了IT部门一场难唱的独角戏。

因此，借报送之机，构建「统一的、标准的大数据中心，并进行相应的数据治理工作」成为金融机构探索数据应用，将报送变守为攻的更佳选择。

但对于中小型金融机构来说，想要独立打造自己的数据中心，大都面临资金缺乏、人才缺乏、技术缺乏的三无困境。

所以，借助拥有专业数据开发平台、专业技术人员的大数据企业进行自身的数据中心的开发，成为中小型金融机构的不二选择。

德拓拥有完整的数据开发平台、数据决策平台、数据基础引擎平台以及专业的技术人员，能够为中小型金融机构打造易操作、高效率、有生机的开放式数据中心。

这里，我们结合近期的某基金公司的项目来同大家说明基于开放式数据中心的基金数据报送解决方案。

当前该基金公司面临的数据存在如下问题:

● 数据格式不统一，例如TA中的时间字段精确到天，存储格式为YYYYMMDD，而估值中精确到秒，存储格式为yyyy-MM-dd 00:00:00；

● 没有明确的数据生命周期管理，例如，当一个产品终止，但是在库里依然会留存；

● 数据标准不统一，在TA中的指数基金代码为3，在估值中的指数基金代码为2；

● 数据命名不规范，在TA中以英文缩写来命名字段和表名，在估值中以拼音缩写来命名字段和表名；

● 指标不统一，在TA中已经终止交易的产品，在估值中依然是交易的状态；

由于数据的不统一会导致大量的重复、无用的数据堆砌，同时，也无法对数据进行有效的整理、归纳，大大降低了工作人员的效率。针对这些问题，我们采用「数据仓库」架构，对不同来源、不同形式的数据进行统一、规范的处理及存储，挖掘不同数据更多的价值，提升某基金的管理及运营。

数据仓库是使用hadoop架构，使用hive做为数据分析引擎，hadoop架构保证了数据仓库的可扩展性，同时hadoop生态有着丰富的应用组件，可以很好的满足各种各样的需求，使用hive做为分析引擎可以让数据开发人员顺滑的从传统的OLTP数据库迁移到OLAP数据库。

数据中心整体分为ODS层、DW层和APP层。

● ODS层为数据汇集层，用来汇集不同业务系统以及手工台账；

● DW层内分为三层，第一层用来做带套账号的表的合并；第二层做标准化，如将表名的命名规则统一为以拼音缩写；第三层为主题层，在该层将从业务和需求出发，将所有的数据划分为几个大的主题，如产品、投资主体和财务等；

● APP层的数据为需求驱动，即根据需求进行开发，用来提供应用，如提供报表数据、大屏展示等。数据操作即数据标准化与数据应用；

数据治理的原则包含:

● 统一标准的数据定义:减少数据定义的二义性；

● 统一标准的企业数据模型:该企业数据模型必须是一个全企业范围的定义库，能跨应用、跨业务地完整表述企业数据的统一的完整数据视图；

● 统一标准的存储管理:统一规划使用存储资源，提高存储资源使用效率；

● 统一标准的性能管理:根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要；

● 统一标准的数据质量管理:数据管理需要通过应用标准方法论和原则，实现对有价值的商业信息和数据进行完整的生命周期的管理；

● 其它管理:提供对数据的其他统一标准化管理，包括统一编码标准；

通过对数据标准化的处理，数据仓库能够有效的改善某基金数据质量低，数据分散等问题。按照统一的数据标准规范和业务标准规范，实现对各类信息资源的汇聚、传输、清洗、整合、分类、标引和组织，实现数据整合，形成实体化、综合性的数据库，并提供全面的数据服务。

基于DDP、DanaStudio以及Panda BI的全栈式、松耦合数据平台在数据的汇集、处理、应用等方面有了显著的优势，解决了此前数据报送所存在的问题。

● 针对其他系统黑箱式的报送方案存在的「有抽取、没数据」，「反复报、反复买」等问题，我们为客户打造的报送系统则基于DanaStudio的工作流功能实现了报送数据的可开发、可配置，通过编写脚本以及拖拽的方式形成自定义的报表，当报送的数据需要修改时，只需要针对工作流进行修改即可，避免了以往繁复的报送工作和大量的数据冗余，极大提升了工作效率；

● 针对数据分散的问题，基于DDP大数据引擎平台，通过数据抽取的流程将分散在ORacle和台账中的数据放到Hive中进行存储，使用数据合并的流程处理源库中存在的大批量无用表、带套账号的表；

● 针对大数据应用处理难的问题，基于Panda BI数智决策平台，实现了即时的可视化；通过简单的操作即可完成数据整合、数据分析和可视化大屏，降低了中小型金融机构大数据分析、应用的门槛；

开放式数据中心架构的数据报送的核心价值在于，它不但灵活快捷地适配监管数据报送的需求，同时还可以将这部分数据资产以透明的方式沉淀在企业数据中心，便于企业内部运营管控、业务发展所使用，提高了数据的复用性，增加了项目的边际效益。

深圳点炻科技有限公司是德拓信息旗下的金融科技企业，取意“数据创新，点石为金“，点亮数据金矿，服务金融价值。

现阶段点炻致力于面向中小金融机构，提供数字化转型的系统性解决方案，在云计算、大数据、人工智能方向通过工具赋能和场景落地，帮助中小金融机构在不断发展变化的金融科技浪潮中能够快递建立起符合自身业务特性的科技动能。

目前，点炻已在保险经纪公司数据治理、核心机构基金全市场数据融合、券商互联网数据治理及融合、基金数据融合与监管报送等领域落地多个成功案例。其中，特别要提及的是此前在某集团成功落地的低延时虚拟化领域超融合数据平台，依托于德拓自主研发的HyHive-us极低时延超融合产品，能够满足金融证券行业极速交易生产系统、测试系统、备份系统的部署等要求，并且大幅降本增效，为核心交易系统基础架构的分布式演进提供了稳定、卓越的解决方案，收获了用户的认可。

未来，期待点炻为更多金融机构提供个性化、领先的数智解决方案，以科技成就金融。