发布网友 发布时间:2022-04-21 22:20
共4个回答
热心网友 时间:2023-06-21 19:14
从技术实施角度看,数据治理包含“理”“采”“存”“管”“用”这五个步骤,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。
数据采集清洗:通过可视化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。
基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。
元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。
血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如*部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。
质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从*度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapRece,HBase 等。
商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。
数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。
热心网友 时间:2023-06-21 19:15
1.建立统一的数据标准。目前存在各业务部门标准不统一,部门之间数据标准矛盾或者相互混淆的情况,导致部门间数据交换,数据共享比较困难。建立统一的数据标准有助于对数据进行统一规范的管理,消除各部门间的数据壁垒,方便数据的共享,另外数据标准同样对业务流程的规范化有帮助作用。热心网友 时间:2023-06-21 19:15
1、建立每月公用变压器线损报表数据库。热心网友 时间:2023-06-21 19:16
数据资产化是数据要素市场化配置的前提,也是数字经济发展的关键,将为我国经济高质量发展贡献巨大的“数字红利”。数据资产的管理和运营作为数字化、智能化发展的重要基础,将对能源产业进行全方位、全角度、全链条赋能,成为推动能源行业转型变革的加速器。
基于对电力数据要素定义的分析,得到电力数据要素具有以下两点内涵:
一是电力数据要素是一种生产性资源,需要投入电能生产、存储、传输、交易、消费等业务环节中,与其他生产要素融合,用于生产经营和服务提供。
二是电力数据要素融入到劳动、资本、技术等传统要素,驱动要素效率放大、叠加和倍增,能够提升电能生产和消费效能。
数据战略模块是制定公司数据资产管理的总体目标和发展路线图,指导监督数据治理、数据运营、数据流通模块各职能活动的开展,是公司数据资产得到内外部应用的执行蓝图。
未来电力大数据的有效管理,需要智能电网的“中枢神经系统”实现对数据的及时存储和快速处理分析能力。目前,大数据处理技术已经在互联网、通信行业得到广泛的应用。而在智能电网领域,GTM Research研究指出未来智能电网大数据管理系统的形成,需要随着时间的推移,一步一步实现的。Hightopo数据可视化夯实产业基础支撑,搭建智慧电力可视化。
采用轻量化三维建模技术,根据变电站现场的 CAD 图、鸟瞰图、设备三视图等资料进行还原外观建模,实现可交互式的 Web 三维场景,可进行缩放、平移、旋转,场景内各设备可以响应交互事件。
通过多源数据的综合分析,在地图上实时展示变电站正常、警戒、告警等状态信息,可快速的定位发出预警的变电站。将电网负荷信息展示在页面面板上,可直观得知当前负荷数据及历史负荷数据,实现整个输电网管控的可视、可知、可控。
通过 3D 可视化,展示电压互感器和电流互感器供电的全部回路走向,结合科技感元素模拟电流流动效果,实现对一次设备(变压器、断路器、隔离开关等直接用于生产和使用电能的设备)运行工况的监视、测量、控制及调节等。
智能巡检:变电站日常维护需要大量的巡检人员对设备进行检查,不仅效率低下也十分危险,且高温、暴雨、大雾等严酷天气频发,为人工巡检带来许多阻碍。配合户外巡视机器人的智能巡检系统代替人工巡视,实现变电站的自主监测、监控预警和数据远程集控管理,使得巡检更安全、更精益且更及时。通过智能的巡检系统,根据报警设备发出报警信息,第一时间到达目标位置,能够实时查看巡检视频及报警信息,工作人员可及时知晓并作出相应的处理。智能巡检的运用,不仅提高了工作效率,减轻运维人员劳动强度,降低运维成本,同时,有效提高了无人值守变电站的安全监控管理。
在页面中展示重点关注设备状态,利用不同颜色的图标代表不同的设备状态,即正常[蓝色]、异常[*]、重症故障[红色]。一旦设备状态异常,则会出现在该区域,而重症设备需要马上进行维修。实现此功能,是根据设备监测传感器阈值判断的情况,由后台给前台推送状态参数,前台根据状态参数,将对应设备图标放入该位置。数字孪生变电站系统的设备监控,利用人工智能分析等技术对设备实时数据以及历史数据进行分析研判,进行实时诊断,告知设备的健康状态,由人工预防检修转换为智能预测检修。
设备管理:变电站部署了温湿度等智能感知元件,实现了变压器、气体绝缘变电站( Gas Insulated Substation,GIS )、开关柜等设备及环境信息的全面实时感知。在设备实时感知列表中,设备的报警、故障、空闲、在线等状态信息以不同颜色展示,实现一次设备的实时状态监测与评估。通过智能分析,自动对设备寿命、负载等进行评估,进行智能化实时计算,针对不同负载的设备做出不同的配置,使得设备管理决策不再盲目,建立从设备、现场到企业管理之间的高效地桥梁。
温度场分布可视化:通过实时监测变压器中温湿度传感器的信息数据,利用三维热力图的方式将变压器的温度场实时展示,且当鼠标悬浮在位置时可显示当前位置的实时温度数据,可更加快速且精确的定位变压器具体部件的发热情况,及时作出应对措施,高效的解决或避免不可控问题。
感知数据实时监测:每一种传感器根据实际安装位置分布点位,将 GIS 等一次设备的在线监测点一一标识出来,每个点位的传感器状态都具有相应的展示效果,如告警以红色标注、异常以红色闪烁的形式展现。当鼠标滑到传感器点位上,展示其实时状态信息面板,点击传感器点位时,进入其详情列表,查看该传感器的历史数据及趋势曲线。同时,可以方便的根据传感器菜单切换查询其他位置的传感器历史数据及趋势曲线。
变电站 2D/3D 可视化系统将多种复杂的管理系统信息聚集在虚拟仿真环境下,搭建变电站全场景的呈现,通过智能数据分析,人工智能巡检、实时监控告警等功能的结合,使运维人员更高效的集中监控管理,达到降本增效的目的。
电网运行管理系统,将实现对电网的稳定运行进行实时监控;通过电力数据,可以监测电力设备如变压器的运行状况,防止因设备故障而导致大规模断电现象;此外通过电力大数据,还可分析电网在不同气候和环境条件下的运行状况,解决新能源发电并网稳定性等关键问题。
电网的数字化升级是实现“3060双碳目标”的必经之路。以数字化为载体,依托数据共享优势,将专业横向融合,打破系统间的信息壁垒,构建电网一体化互动体系。