核心业务数据+融合业务数据+广义金融数据
「金融」——一个高度数据化的行业。
历经数十年信息化发展,银行、保险、证券都打造了近乎完备的金融业务系统,在零售、支付、经纪、资管、交易、结算等核心业务经营中,积累了从TB到PB级,甚至更大规模的金融业务数据。这类数据呈现出数据格式结构化、数据存储集中化、数据应用时效高等特点,可以称之为核心业务数据。
近年,随着金融服务方式的全面互联网化、金融业务运营的全面数字化和金融渠道合作的全面无纸化,金融数据的范畴被进一步延展,用户行为、系统日志、双录影音、影印文件等新形态的业务数据迅猛增长。这类数据具有数据格式非结构化、数据规模海量化、数据应用智能化的特点,可以称之为融合业务数据。
未来,随着金融与实体经济关联性的不断加深,以及智慧社会的逐步建成,金融活动必将超越金融机构本身,所有跟金融强相关的社会活动,都有可能被高度感知、高度互联、高度计算和高度数智化。金融数据的范畴也必将被延展到更为广阔的社会空间,涉及工业、商业、政务、安全等领域,逐渐形成广义金融数据。
“核心业务数据+融合业务数据+广义金融数据”的金融数据新格局,将帮助金融行业有效防范由生产结构失衡或信用偏离过度而导致的金融风险聚集,也将协助监管机构在流通、资管、交易等关键金融活动有效做到看穿监管,为预判和化解金融系统性风险带来全新洞察。
分布式存储——撑起金融数据新格局的黑土地
存储之于数据,犹如土地之于种子。提前布局数据新格局,夯实存储——这片数据黑土地尤为重要。
当证监会玩转数据跨界,通过卫星定位、航行数据锁定獐子岛[002069]涉嫌财务造假案时,很多金融机构的传统存储往往连将海量非结构化数据与业务数据的融合存储、关联分析都还难以实现。
獐子岛数据造假相关报道
传统存储架构在金融行业所面临的挑战主要有:
数据种类多、管理难:在日常业务中,银行、证券、期货公司每天会产生大量的影像、文档资料,包括资金开户、身份证明、证券股东账户卡、业务合同(协议)、现金支票、转账支票、会计传票等,对于这些影像资料,如何进行分类、保存、归档和进行高效的查询,一直是一件棘手的事情。长期以来,很多公司对上述文件的管理停留在“人工分散处理 + 分散保存 + 人工查询”的阶段。
无法应对非结构化数据访问模式:非结构化数据越来越多且增长快速。非结构化数据的访问特性和传统数据的访问特性有很大不同,如文件数量多,文件规模大,吞吐量优先,并且增长快速不可预测等。传统的存储系统,如RAID/NAS/SAN等主要解决传统数据尤其是结构化数据的存储问题,不适应大规模非结构化数据存储的需要。
海量文件的查询/读写效率低:文件数量极其庞大,而且热点文件的不确定性,导致缓存命中率极低,几乎失去作用,应用需要直接到后端磁盘上获取数据,这样就会给存储系统带来极大的压力。现有存储系统单个目录存放大量文件时,文件查询效率会大大降低。而对于采用多级目录存放的方式,当目录深度较大时,文件检索的开销进一步加大,速度也随之下降。
存储介质性能提高受限:受到磁盘物理性能的限制,在过去20年中存储介质I/O性能的提升远远落后于CPU和I/O总线的性能提升。
低成本/大规模存储容量:传统存储系统基本上都是专用的硬件结构,难以应对超大规模,同时扩展麻烦,成本昂贵。
高并发/高吞吐量:在面对大量用户的并发访问需求时,存储系统将面对巨大的带宽压力。传统存储由于结构上的限制很难满足越来越高的带宽。
而采用扁平化数据组织方式的分布式对象存储系统,能够有效解决纵深目录结构带来的文件存取效率低的问题。通过分布式对象存储替代传统存储,极大提升了非结构化数据访问和存储的效率。对象存储具有分布式存储的所有优点:灵活的拓展性,元数据的管理;通过其版本管理的强大功能,对象存储有效地规避了人为操作的逻辑错误。在性能方面,对于海量非结构化数据,对象存储的性能优势不可比拟。此外,对象存储成本较 传统存储有很大优势,应对海量文件,采用对象存储替代传统集中式存储能节省不小的存储成本,避免了资源浪费。
我们认为,在全面布局金融新数据格局的的背景下,提前构建以分布式存储为核心的新一代数据基础设施,实现数据融合分层、存以至用,势在必行。
德拓INFINITY分布式集群云存储
INFINITY是德拓推出的新一代分布式集群云存储,它充分利用软件定义存储的思想,最大支持4096个节点和1000PB容量的集群扩展能力,是一套集文件、块和对象存储在内的统一存储,同时也可作为互联网应用的云端存储和OpenStack等云平台的后端存储,实现与云的无缝对接。
此外,INFINITY的极致性能、高安全性、管理便捷等优势使其进一步成为适合多种业务应用的高性能集群存储,并已在广电、金融、教育、安全、政府、医疗、军队以及科研院所等多个行业部署了大量案例。
德拓INFINITY分布式对象存储拥有无单点故障、高性能、高效等优点,可以实现金融机构海量数据的融合。
金融典型应用场景
| 数据备份
使用INFINITY分布式对象存储可将原有存储内的数据通过CommVault、OGG、DSG、i2Backup等进行备份或同步,支持以文件的方式以及对象存储的方式进行数据备份,INFINITY分布式存储拥有极高的安全等级,通过对数据的同步或备份确保了数据的高安全性。
| 数据湖搭建(日志文件、音视频、文档等文件汇聚)
针对业务的需要,INFINITY支持前端业务系统将日志文件、音视频、图片、PDF、文档等文件写入,后续可通过我方提供的检索工具对对象存储进行检索使用,INFINITY支持进行在线扩展,扩展时性能和容量同时提升,以搭建大的数据湖。INFINITY本身使用对象存储支持追加写的特性,同时支持文件系统与对象存储系统互通,从而使使用变得更加简单。
| 文件快速检索使用
INFINITY针对大小文件进行优化,进入INFINITY分布式对象存储的数据可以根据实际应用而选择大小文件的优化,INFINITY可灵活适配各业务场景。我方可提供对象存储的检索工具,可快速对对象存储系统的数据进行检索,INFINITY12盘位的单节点读性能可达1GB/s,写性能超过500MB/s,足以支撑目前业务上传下载所需的带宽。
融合分层,存以致用
在互联网发展日新月异的背景下,各行业对数据的挖掘和使用也变得空前重视,德拓INFINITY分布式集群云存储能够助力金融行业布局数据新格局,夯实存储黑土地。
点炻科技是德拓信息旗下的金融科技企业,“数据创新、点石为金”,致力于面向中小金融机构,提供数字化转型的系统性解决方案,帮助用户打破应用壁垒,洞察数据价值,实现用户价值创新。目前,已在基金/期货数据中心建设、券商客户渠道全量日志分析、银行知识图谱信贷风控、保险代理人能效优化等多个领域,实现从未知到已知的洞察。
在中国全面推进数字化建设的背景下,金融行业同步布局新一代存储基础设施,恰逢其时。