目前银行业进入了大数据时代,整个金融市场环境日益复杂,为提高我国金融市场的主体竞争力,银监会对金融机构的数据质量提出了更高的要求。普元数据治理专家将结合具体项目实践,站在国内银行的角度,为大家讲解在大数据时代下提升数据质量的办法…
国内银行为什么要着重关注数据质量?
从近些年全球银行业的发展趋势来看,利用大数据分析确定发展战略,全方位推行数字化管理已经成为先进银行的共同选择,数据质量将成为判定海量数据是否值得信赖的关键因素,关系着商业银行的生死存亡。为此,银监会特意推出了《银行监管统计数据质量管理良好标准》,要求商业银行等大型金融机构定期上报数据信息,对其数据的准确性进行打分,并公布排名情况。
国内银行在信息化建设过程当中,十分重视数据质量的建设。某家大型银行行长提出,“数据质量是数据分析的基础,没有数据质量的保证,数据应用只是空谈”。我们于2010年开始着手该银行的数据质量平台建设,经过6年的摸索发展,为其建成了数据管理平台,其中的数据质量平台,为该银行数据准确性大的幅提升做出了重要贡献。
银行应把数据质量建设的重点放在哪里?
这些年,我做过不少金融行业的数据质量项目,从各行的实践来看,全面提升数据质量,需要将重点放在两大方面:一方面需要多管齐下,建立全方位的数据质量管理体系;另一方面,为推进数据质量问题的有效解决,应将数据质量问题考核作为重中之重。
一、建立全方位的数据质量管理体系
为建立全方位的数据质量管理体系,应同时关注组织、技术和流程三大核心部分,三部分相辅相成才能形成完整的数据质量管理体系。
根据国内银行在业务上的一些共性,我认为银行业在数据质量建设方面要遵循“五项基本原则”,这五项基本原则恰好反映了我说的数据质量建设三大核心中的“组织”与“技术”两方面:
1)全程监控原则:国内银行要对数据的定义、录入、存储、加工、交互和使用的全过程进行质量监控,并明确各部门在数据全生命周期中的责任,全方位保证数据质量。
2)及时处理原则:国内银行应及时处理已发现的数据质量问题,并尽快协调相关部门推动开展问题有效解决的相关工作,避免存留的数据质量问题给业务带来不必要的麻烦。
3)自动检核原则:国内银行应深入分析已发现的数据质量问题的成因,及时由IT部门将其转化为技术规则,落地到系统中,通过技术手段自动检核数据质量问题,提升数据质量检核效率。
4)闭环管理原则:国内银行的数据质量管理应至少包括数据质量问题的发现、通报、整改和反馈这几个环节,形成数据质量问题的闭环管理。
5)全员参与原则:数据质量管理涉及到多个方面,银行业务人员、技术人员和运维人员应共同参与到数据质量管理工作中来。
对于三大核心部分中的“流程”部分,我结合在金融领域数据质量方面的项目经验,总结出了国内银行数据质量管理的一般流程,大体如下图所示: