大数据平台为公司的核心产品,是公司自主研发的基于hadoop的分布式基础平台,通过分布式存储(HDFS、HBase、Hive等)来提供高吞吐、大并发的海量数据写入和存储,保证系统的稳定性和健壮性;通过分布式计算框架(MapReduce)实现复杂的计算任务,优化调度提高开发和运行效率。通过分布式内存计算框架(Spark)、并行ETL工具等开源产品或技术来实现海量数据的快速计算、数据传输、数据分析,是集数据整合、数据处理、数据存储、数据分析、可视化等功能一体化操作平台,同时利用统一目录、统一权限及数据管理服务平台实现完善的安全控制和数据管理功能。
通过大数据平台实现产品/服务创新、运营优化、精准营销、风险预警、决策支持等,将大数据有效转化为商业价值;基于大数据应用创新企业商业模式,推动传统产业的转型升级;形成企业可持续积累的数据资产,建立大数据领域的竞争优势。
3.1大数据自助分析平台
大数据自助分析采用直觉式的设计理念,让自助数据分析落地执行,让业务人员在分析数据时,能够极快地洞察数据潜在信息,按照自己的分析思路进行分析,而不被数据等问题打断,并能对数据的及时性和准确性负责,大大提高业务人员的满意度。
大规模并行处理技术(MPP)采用开源MPP(greenplum等)为基础进行研究,探索符合公司业务的大规模并行数据集市企业架构,实现高负载、高可靠、高性能的分布式数据集市,更好的支撑业务挖掘应用。
3.2基于用户行为的大数据分析平台
本项目通过大数据存储、整合、计算、应用四类核心技术,驱动电力企业信息技术平台和应用系统的升级改造,提升电力公司在数据资源价值挖掘的整体水平,促进业务管理向着更精细、协同、敏捷、高效的方向发展。
通过获取解析各应用系统的系统日志,从系统运行、 人员行为、时间以及网络资源四个维度进行分析,揭示应用系统运行存在的问题,发现内部潜在的规律,更好的提高信息系统实用化水平。通过用户行为分析准确掌握用户对应用系统的需求动态,实现精准主动服务,提高信息系统的服务水平。
系统维度,分析各系统的登录情况,各模块的使用情况,发现各系统的使用规律,合理规划维护人员分配,可以对比较活跃系统、模块加强维护,对使用高峰期加强维护。人员维度从单位、用户个人、用户行为几个角度进行了分析,可以更直观的了解各单位各用户对各系统的使用情况,统计发现各地市对系统的使用规律,可对人员调动进行柔性支撑。通过用户操作发现潜在风险用户,比如频繁登录、单用户多IP登录情况。时间维度从年、月、日、时四个角度对各应用系统在各单位间的使用登录情况进行了分析,用户可根据该数据分析,当前工作状况合理安排下一步工作,如周计划,月计划等。IP地址角度,对各系统操作的IP地址进行分析,针对IP操作较频繁的地址链路加强维护。
3.3数据质量管理平台
以大数据技术为核心,提升数据资源服务能力。构建企业级的全业务数据中心,推动信息系统业务数据全量接入,完善数据模型、规范数据存储,确保“源端唯一、一处维护、多处使用”,消除数据冗余,加强企业级数据资源统一管理,提升数据共享水平,促进业务融合。为加快业务高度融合、数据充分共享,需进一步探索行之有效的管理机制与技术手段,夯实数据基础,提升数据质量,保障系统数据完整性、准确性,以及系统间数据一致性,彻底消除数据壁垒,实现数据全面共享。
为持续推进公司数据综合治理工作,提升数据质量,公司围绕营配调贯通数据质量、设备(资产)运维精益管理系统(以下简称“PMS2.0”)数据质量、一体化电量与线损管理系统(以下简称“同期线损系统”)数据质量三方面工作开展基础数据综合治理评价工作,进而研发相应平台辅助公司进行数据治理及任务考核。
以提升数据质量为目标,数据质量整改评价考核为辅,促进数据质量整改工作的高效完成,形成良性的数据治理循环机制,提升数据实用化水平,实现业务高度融合、数据充分共享。将营配调贯通、PMS2.0和同期线损系统前期梳理的数据核查逻辑固化到检查规则库,进一步完善丰富数据质量核查规则,为数据质量检查提供基础保障。利用信息化技术手段及数据质量检查规则开展业务场景数据质量监测工作,实现对信息系统数据质量问题的在线检查、分析,及时发现数据质量问题。依据检查结果生成数据质量周报,通过文字和表格等方式集中反应数据质量问题,为各单位开展数据治理工作及对各单位开展数据质量评价提供依据。
3.4信息系统标准化在线监测平台
信息系统标准化在线监测平台根据业务开展的实际情况,从业务流程、业务系统、公司全局工作等不同层面,进行数据的挖掘和整理,以饼图、柱图、折线图、统计报表等多种形式在平台上予以展现。平台用户可根据自身实际应用需要,自由定制信息展示界面、展示方式和展示内容,更好的为生产工作服务。
公司领导层可以通过平台及时获取月度指标数据和季度指标数据,实时了解公司的运营状态,对公司整体运营状况进行多角度分析。公司管理层可有重点的对所负责的工作进行多种方式的统计、分析,所针对的数据均为实时发生的数据,及时掌控所负责的项目、工作的进展状态。公司员工可通过在线监测平台获取将要进行的工作信息,并可实时浏览所有的工作痕迹。
工作在线监测为员工的工作评价提供数据基础,员工工作自动考评机制反过来促进员工在处理日常工作中认真、高效。
3.5多媒体综合大屏展示系统
多媒体综合展示系统与数字拼接墙相结合,对各类信息提供强大的处理和显示功能。可以广泛应用于企业的信息中心、数据中心、防御中心、调度指挥中心等,给人一种直观、大方,并带有视觉冲击效果的享受,具有动感、现代化的显示效果。以一种全面、特有的方式展现公司核心资源和企业形象。
系统采用先进的多媒体技术与开发技术相结合的形式,将视频、音频、动画、图形等多种软件元素融入其中,增强了系统的美观性,可视性,丰富了信息展示的样式,增强了系统表现形式,体现高技术性。
多媒体综合展示系统可以根据各行业的需求特点在公司现有产品的基础上快速进行二次开发,为各行业提供全面、细致、专业化的解决方案