编者按：数据处理是指企业数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全过程。


作为一名数据工作者，无论公司的数据量是大是小，都应该具备数据处理的能力。


本文从自己的经验出发，分析了如何构建企业级数据处理系统，希望对您有所帮助。


通常，当我做数据架构时，我会在旁边添加一个数据治理。


但大多数时候，它只是写作。


因为这种数据治理太困难了，短期内吃力不讨好，长期有效，但不够外人道。


就像一个好儿媳把家打扫干净一样，外人认为，最多赞美家真的很干净，但不会说你这是一个天才。


上图是数据架构的例子，数据处理是非常重要的组成部分。


它的意义决定了上层应用程序的可用性，甚至决定了项目的成败。


许多数据项目建成后，老板有一种非常明显的感觉：花费数十万的系统不如秘书好。


为什么是这样？ 一、数据治理到底有什么用？ 总之，数据治理是企业数据架构、数据标准、数据质量、数据安全等领域建设和管理的全过程；较小，在数据管理和使用层面上进行规划、监督和控制。


嗯，你是对的。


通常在数据量大的公司，数据治理会被提上桌面。


但作为一名数据工作者，我认为无论你有多少数据–即使只是记手帐–都需要数据处理。


追求完美的数据工作者应该有数据清洁的习惯。


二、数据治理该怎么办？ 事实上，绝大多数事情，已经有无数的人在研究，也有很多研究成果。


收集一点信息会有很多。


国内外数据治理的理论和规范： 国外： CWM 1.1 MOF DAMA- DMBok DMM 国内： DMCM DCMM 国家数据质量标准《GB/T 36073-2018年数据管理能力成熟度评价模型应从数据战略、数据处理、数据架构、数据标准、数据生命周期、数据应用、数据质量、数据安全等八个方面进行评价。


在《DAMA-DMBOK在功能框架中，定义了10个主要的数据管理功能： 这两张照片可以贴在你身上ppt让你的领导看看数据治理是多么庞大。


三、数据治理该怎么办？ 偷偷告诉你一个小技巧，前面盖着一顶大帽子，方便我们做事。


这一招屡试不效。


前两张图给你提供了一顶巨大的帽子，但如何实施呢？这可以大也可以小，随意控制。


我再给你扔一张图: 如果你的公司什么都没有，只有几个数据工程师。


老板说你想建立一个数据平台，所以你有两个选择：离开；坚持，必须坚持，坚持看到整个项目的失败，这样你就可以经历一个完整的失败案例。


拉回来。


如果公司想让你做数据管理、数据管理、数据策略等事情，你可以按照上表写。


第一阶段:其实是各种规划 第一件事必须是组织保障。


如果你什么都不说，先招几十个人。


人越多，你的位置就越稳定(来自互联网钓鱼法，笑^_^）； 然后是数据安全管理系统、数据处理流程、数据提取流程、元数据标准、主数据标准等。


还有数据资源梳理、数据需求梳理等。


第二阶段:其实是各种建设 根据元数据标准和主数据标准，建设元数据和主数据 根据数据处理流程、数据提取流程、数据需求梳理结果，建立各种固定报表、即席查询等内容 根据数据资源梳理结果，规划建设数仓 第三阶段:其实是在各种平台上。


建设数据地图、血缘分析、数据资产目录等。


开放数据，开放各种数据AI探索 事实上，在上述建设完成后，基本上所有能够打开的都是打开的，所有能够统一的都是统一的。


再加上一些统一控制的服务，数据中心几乎是合乎逻辑的。


四、数据治理能一步到位吗？ 看看你从哪一步开始。


如果贵公司有一个成立的数据团队，认知、统一定义、流程规范、制度严谨、技术先进、投资有保障，那就没问题了。


只要稍微组织一下相关知识的学习，做一个半年的规划，投入人力物力，一定要一步到位。


如果你的公司只有3到5名数据工程师，那么你有两个选择，离开；坚持看整个项目的失败。


顺便说一句，上面似乎已经说过了。


你问我为什么这么肯定。


因为我经历过~~ 地基不稳定，无异于泥塘里的高楼，能做起来简直是奇迹！ 五、数据治理全景图 好了，最后放一张数据治理全景图，镇楼！ 转发，喜欢，看，安排？ 作者:大数据架构师，国药国华大数据总监，擅长BI、微信官方账号:大数据架构师 特别说明：本网站的主要目的是收集与互联网运营相关的干货知识，为运营伙伴提供便利。


本网站收集的公共内容来自互联网或用户的贡献，这并不意味着本网站同意其观点，也不对网站内容的真实性负责。


如有侵权行为，请联系网站管理员删除，。