大数据质量管制规范示例

大数据质量管制规范示例

  • 一、前提概要
  • 二、相关概念
  • 三、管理原则
  • 四、治理委员
  • 五、应用管理
  • 六、查验方式
  • 七、考核比率
  • 八、扣分标准
  • 九、责任划分
  • 十、追责范围
  • 十一、其它条例
  • 十二、总结

一、前提概要

在当今大数据信息时代,大数据平台(大数据平台开发规范示例)和大数据仓库(大数据仓库开发规范示例)的开发规范已成为组织和企业管理决策的重要基础。

随着数据量的不断增长和数据应用的广泛应用,确保数据质量成为了一个至关重要的问题。因此,有必要制定数据质量规范化管理制度来规范数据质量的管理和保证。

在这里插入图片描述

二、相关概念

  • 应用系统:是按照信息一体化的要求,用于处理我司经营管理的应用软件系统。
  • 数据:是指公司实施信息化管理过程中产生的所有电子数据。
  • 数据质量:是指数据的及时性、完整性以及准确性。

三、管理原则

数据质量管理应遵循以下原则:

  • 统一规范原则,各类应用系统采集和处理的数据,应符合各自应用系统所要求的数据标准。
  • 层级考核原则,各个业务信息系统对各自的数据质量管理工作进行严格的目标管理考核。

同时,数据质量应遵循真实、完整、规范、及时的原则:

  • 真实:应严格依据经营管理原始数据所记载的内容准确录入相关数据,如实反映,不得随意修改、增减。
  • 完整:要按照各类应用系统的有关要求进行数据采集,保证数据齐全,避免数据的缺失。
  • 规范:数据采集应按照应用软件系统的相关标准进行。
  • 及时:数据要在规定的时间内采集,确保应用系统数据及时反映经营管理实际。

四、治理委员

数据治理委员会是公司数据质量管理的牵头部门,主要负责:

  • 制定公司的数据质量管理的相关规章制度。
  • 对各应用系统管理部门的履职情况进行考核、监督。
  • 根据需要,参与对公司各应用系统数据质量管理的检查监督。
  • 对违反数据质量管理规定,造成数据错误、失真、延误、漏填等违规行为进行问责。
  • 向高管层报告我司数据质量管理执行情况。

五、应用管理

应用系统的管理部门,负责管理各自的应用系统,是本应用系统数据质量的主责任人,主要负责:

  • 贯彻落实公司制定的数据质量管理的相关规章制度。
  • 制定本应用系统录入、维护、审核的基本标准和规范性要求,并适时开展检查监督,保障数据管理符合规范性要求。
  • 制定本应用的数据质量监控指标体系,定期对本级数据质量评估分析,及时解决数据质量管理中出现的问题。
  • 提交本应用系统数据质量管理报告。

六、查验方式

数据检查采取应用系统使用部门自查和应用系统管理部门检查的方式。数据检查的方法有:

  • 在业务软件使用过程中对数据库中已有数据进行检查。
  • 用数据质量检查工具进行检查。
  • 抽取源表与ODS层数据进行对比。
  • 其它数据检查的方法。

检查的内容:

  • 数据的处理是否及时、正确、全面。
  • 数据的抽取是否规范、及时。

七、考核比率

考核的比率指标是:

  • 信息采集率:已经采集进入应用系统的信息与应该采集进入应用系统信息的比率。
  • 信息采集准确率:录入应用系统的正确信息与录入的所有信息的比率。
  • 信息传输及时率:规定时期内传输的信息与检查期限内所有传输信息的比率。
  • 信息处理率:考核期内处理的符合规定的信息与考核期内处理的所有信息的比率。

八、扣分标准

数量指标是指分级列出问题数据的数量,根据问题的严重程度,确定扣分标准,进行扣分。根据数据的重要程度具体分为四级:

  • 只影响数据本身的完整性而不影响其他数据。
  • 只影响本工作环节质量。
  • 不仅影响本工作环节质量,而且影响后面工作环节数据处理质量。
  • 数据质量错误造后面工作无法处理或无法工作。

九、责任划分

数据质量责任划分:

  • 数据采集的责任部门即为数据质量的责任部门。
  • 从数据库后台记录中确认的数据录入人员是数据质量的直接责任人。
  • 将自己的用户名、密码提供给他人使用,或因保管不善导致他人盗用、冒用用户名、密码的,用户名所有者是数据质量责任人。

十、追责范围

数据质量责任追究范围:

  • 因数据质量问题导致统计数据不能生成或生成错误的。
  • 因数据质量问题导致其他部门工作不能正常开展的。
  • 因数据质量问题影响经营决策行为的及时性、正确性的。
  • 因数据质量问题损害客户合法权益的。
  • 因数据质量问题造成财产、声誉损失的。

十一、其它条例

  • 数据维护是按照应用系统的有关规定对错误的数据进行数据修改的行为。
  • 数据维护由各应用系统管理部门按照各自应用系统的有要求,明确数据维护的权限和职责,制定数据维护的程序。凡是采集进入应用系统的数据,不得擅自修改、删除。
  • 数据维护前应做好相应数据和系统的备份工作。能够通过系统模块解决的,经过审批后按照各类应用系统的操作规范进行维护。需要通过技术手段解决的,由责任人提出申请,由相关业务部门和技术部门审核确认,经主管行领导审批同意后,方可进行数据维护。
  • 数据维护工作应严格备案,科技信息部对各应用系统管理部门报送的每项数据维护的时间、内容、维护原因、责任人等记录进行备案,涉及的书面材料必须登记存档。
  • 数据维护人员在进行数据维护时,必须认真负责,避免在数据维护过程中产生新的错误数据。
  • 数据检查是按照有关应用系统数据管理规定对数据及时性、完整性以及准确性进行的数据质量检查的行为。
  • 应用系统使用部门在业务软件使用过程中发现错误数据,必须及时告知相应的数据抽取的责任人或部门进行维护。

十二、总结

数据质量规范化管理制度可以帮助组织识别和解决数据质量问题。通过明确数据质量的标准和指标,并建立相应的数据质量监控机制,可以及时发现数据质量异常,并采取相应的纠正措施,以确保数据质量符合要求。

总而言之,梳理数据质量规范化管理制度是为了确保数据质量,从而提高决策的科学性、客户满意度、业务流程优化以及法规合规要求的满足。这对于组织和企业的长期发展具有重要意义。

规范示例仅作为参考,实施过程中需要根据组织架构、业务要求和应用场景进行调整适配。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/635757.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux之Shell脚本编程入门

Linux之Shell脚本编程入门 文章目录 Linux之Shell脚本编程入门Shell脚本编程入门1. 脚本格式2. 第一个Shell脚本:hello World3.第二个 shell脚本:duo命令处理4. shell中变量4.1 常用系统变量4.2 自定义变量4.3 特殊字符: $n4.4 特殊变量: $#4.5 特殊变量…

Spark在降本增效中的一些思考

背景 在大环境不好的情况下,本司也开始了“降本增效”,本文探讨一下,在这种背景下 Spark怎么做的降本增效。 Yarn 基于 EMR CPU 是xlarge,也就是内存和核的比例在7:1左右的 ,磁盘是基于 NVMe SSD Spark 3.5.0(也是刚由3.1 升级而…

关于大模型学习中遇到的3

来源:网络 Embedding模型 随着大型语言模型的发展,以ChatGPT为首,涌现了诸如ChatPDF、BingGPT、NotionAI等多种多样的应用。公众大量地将目光聚焦于生成模型的进展之快,却少有关注支撑许多大型语言模型应用落地的必不可少的Embed…

中仕教育:社会人员可以报名三支一扶吗?

三支一扶是针对高校应届毕业生的一种考试,社会人员并不满足报考条件,所以不能报考。 三支一扶报考条件: 1.应届毕业生或者毕业两年内未就业的往届毕业生。 2.专科以上学历 3.遵纪守法,作风良好。 不同地区的考试要求不同&…

【AJAX框架】AJAX入门与axios的使用

文章目录 前言一、AJAX是干什么的?二、AJAX的安装2.1 CDN引入2.2 npm安装 三、基础使用3.1 CDN方式3.2 node方式 总结 前言 在现代Web开发中,异步JavaScript和XML(AJAX)已经成为不可或缺的技术之一。AJAX使得网页能够在不刷新整个…

【C++】std::string 转换成非const类型 char* 的三种方法记录

std::string 有两个方法:data() 和 c_str(),都是返回该字符串的const char类型,那如何转换成非const的char呢? 下面展示三种方法: 强转:char* char_test (char*)test.c_str();使用string的地址&#xff…

LeetCode 热题 100 | 双指针(下)

目录 42. 接雨水 1 方法一:我的方法 2 方法二:动态规划 3 方法三:双指针 菜鸟做题第一周,语言是 C 42. 接雨水 1 方法一:我的方法 Warning:这是我的智障做法,请勿模仿 我只能说它教会…

17.正则表达式

正则表达式 正则表达式1.字符类2. 逻辑运算符3. 预定义字符4. 数量词5. 数据爬取6. 按要求爬取6.1 贪婪爬取6.2 非贪婪爬取 7. 字符串中使用正则表达式的方法8. 分组括号8.1 匹配和捕获分组8.2 引用和后向引用8.3 零宽断言8.4 分组嵌套与递归8.5 忽略大小写8.6 代码示例 正则表…

用Go plan9汇编实现斐波那契数列计算

斐波那契数列是一个满足递推关系的数列,如:1 1 2 3 5 8 ... 其前两项为1,第3项开始,每一项都是其前两项之和。 用Go实现一个简单的斐波那契计算逻辑 func fib(n int) int {if n 1 || n 2 {return 1}return fib(n-1) fib(n-2) …

MySQL---视图索引

表定义: 学生表:Student (Sno, Sname, Ssex , Sage, Sdept) 学号,姓名,性别,年龄,所在系 Sno为主键 课程表:Course (Cno, Cname,) 课程号,课程名 Cno为主键 学生选课表:S…

Redis设置开机自启动

1.新建一个系统服务文件 首先输入命令:vi /etc/systemd/system/redis.service 进入vim后粘贴下方代码,注意查看地址是否一致。 ExecStart后面接的是你的redis-server的安装位置和redis配置文件的目录 [Unit] Descriptionredis-server Afternetwork.ta…

Pycharm无法刷新远程解释器的框架: Can‘t get remote credentials for deployment server

在Pycharm上部署项目到远程服务器,有时候需要启动SSH会话,启动的时候发现没反应,且事件日志显示:无法刷新远程解释器的框架: Can’t get remote credentials for deployment server 观察pycharm界面最下边,发现“无默…

怎样陪孩子度过一个充实的假期?

你好,我是白丽丽。之前我作为得到图书的负责人,为你介绍过李希贵校长的《家庭教育指南》这本书的使用方法,今天我和你聊聊,怎么用这本书来迎接假期里的一个个挑战,帮助你和孩子度过一个充实的假期。 作为家长&#xf…

2024最新最全:【CISP系列考试大纲】零基础入门到精通

CISP(Certified Information Security Professional)中文全称注册信息安全专业人员认证,是经中国信息安全测评中心依据中编办批准开展“信息安全人员培训与资质认证”的职能,推出的代表国家对信息安全专业人员能力认可的证书。 C…

数据结构——排序

前言:哈喽小伙伴们好久不见,也是顺利的考完试迎来了寒假。众所周知,不怕同学是学霸,就怕学霸放寒假,假期身为弯道超车的最佳时间,我们定然是不能懒散的度过。 今天我们就一起来学习数据结构初阶的终章——…

不要让努力变成一种自虐

当我们为了工作而连续熬夜,不顾身体健康,可能只是在自虐。举个例子,长时间的工作压力和过度努力可能导致身体和心理的疲惫,反而影响到工作效率和生活质量。正确的努力包括合理的工作时间、科学的工作方式,以及关注自己…

嵌入式软件工程师面试题——2025校招社招通用(Linux篇)(二十六)

说明: 面试群,群号: 228447240面试题来源于网络书籍,公司题目以及博主原创或修改(题目大部分来源于各种公司);文中很多题目,或许大家直接编译器写完,1分钟就出结果了。但…

仰暮计划|“学校四周无围墙,教室通风望天窗”

一九七二年高中毕业,我成了回乡青年。玉米地里抡过锄,当阳峪村烧白干,化肥厂内装卸车,深山修渠扛石块。一九七四年十月,村革委会主任找我谈话,“回乡二年来,你无论是政治思想改造,还…

spring security oauth2login 默认配置分析

版本 spring-security:6.2.1 源码 org.springframework.security.config.annotation.web.configurers.oauth2.client.OAuth2LoginConfigurer public void init(B http) throws Exception {...if (this.loginPage ! null) {// 使用自定义登录页面super.loginPage(this.loginP…

Webpack5入门到原理9:处理字体图标资源

1. 下载字体图标文件 打开阿里巴巴矢量图标库选择想要的图标添加到购物车,统一下载到本地 2. 添加字体图标资源 src/fonts/iconfont.ttfsrc/fonts/iconfont.woffsrc/fonts/iconfont.woff2src/css/iconfont.css/注意字体文件路径需要修改 src/main.js import { …