隐藏在液晶拼接屏背后的数据处理逻辑

发布日期:2023-02-13 点击次数:681

液晶拼接屏大屏幕，表面上是一个简单的屏幕，而屏幕背后的数据处理逻辑有时是很复杂的；方案提供商、系统提供商、大屏集成商不管安装液晶拼接屏的属于什么角色，如果整个方案不能为用户解决问题，屏幕也就没有安装的价值。有时会是一些很奇特的不能实现的问题。比如财务大数据处理中心，如果不能对数据进行合理监控，而是直接使用，不用考虑数据的敏感性，用户的层级，加完班终产品会无法使用。

（二）液晶拼接屏监控对象管理

数据质量监控对象主要分为纳税人和税务机关两大类，不同的数据质量监控维度，对监控对象的监控方式不同，在收集局方各业务处室监控需求基础上，设置数据底层监控逻辑，增加数据质量监控对象种类，以供在质量规则配置中使用。

（二）质量规则管理

根据数据质量监控对象，以及质量监控目的，配置对应的质量规则。支持自定义质量检测模型，模型类型包括列值检测、列值波动检测、跨表的外键检查和引用完整性检查；在数据分析监控规则上，支持布尔分析、完整性分析、标准值域分析、枚举值分析、数值分析和唯一性分析等常见分析规则；

在数据分析修复规则上，支持包括去除空白字符、去除特定字符、大小写转换、数据脱敏、汉语转拼音、同义词替换、身份证校验转换、身份证信息提取、日期拆分、字符串截取、转换为字符串、转为Unix时间戳、全角半角转换、多表合并、多列合并、拆分列、数据分组合并、空值填充、日期标准化、电话号码清洗、分区标准化、历史拉链表、实时业务表和SQL清洗等。

（三）液晶拼接屏数据质量监控

对数据质量监控任务进行全流程跟踪，提供自动、人工任务监控方式，自定义任务监控周期，提供任务有效周期选择，可即时启用停用监控任务，在任务监控过程中，可即时获取任务监控结果，查看任务监控结果明细，并提供标准的统计口径，可根据用户需求，提供定制化统计方式。

（四）数据质量报告

提供对数据表字段空值率、合法率检查功能，能够统计生成数据质量完整性和合法性评估报表，并支持下载。完整性评估：不完整比率即空值字段占比，是指每张表的不完整列的比率，即不完整字段数/字段总数。值域合法率：合法值数/有值总数

（五）数据质量改进

提供数据质量问题处理流程，可根据用户需求，定制处理任务流转规则，任务处理终端，提供可视化液晶拼接屏数据处理，拖拉拽操作方式，支持去除特定字符、大小写转换、数据脱敏、汉语转拼音、同义词转换和身份证校验转换等常见的可视化数据处理方式。