摘要:鉴于大数据在电网中出现的场合越来越多,国家电网浙江省电力公司经济技术研究,创建了大数据应用创新团队,旨在研究大数据处理技术,以支撑相关科研工作。文中从团队成立的背景、建设目标、角色定位、组织管理等方面进行了详细的阐述。在此基础上,文章描述了大数据应用创新团队在技术、制度,以及人才等方面所取得的成效。
关键词:大数据应用创新 团队建设 研究与实践
1.大数据应用创新团队成立的背景
随着信息技术特别是互联网、云计算、物联网等技术的发展,引起了数据的爆炸性增长,数据已逐渐成为重要的生产因素。近年来,全球能源问题日益严峻,世界各国都开展了智能电网的研究工作。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储,以及累积的海量多源数据快速分析。[1]智能电网建设背景下,电网业务数据从总量和种类上都已初具规模,大数据“量类时”的特性明显,电力成为大数据应用的重点领域之一。
鉴于大数据在电网中出现的场合越来越多,有必要对目前的应用现状进行总结,对将来的应用前景做出预测规划,为大数据技术在智能电网建设中的应用提供有益的参考。[2]为此,国家电网浙江省电力公司经济技术研究院于2014年4月成立了院级大数据应用创新团队,旨在进一步提高大数据在电网企业中的应用理解,促进经研院大数据现状及应用前景分析和研究,确立大数据技术及应用研究方向。
2.大数据应用创新团队的建设目标
根据经研究研究院“研究为本,创新为魂”的理念,以及院信息化建设的总体指导思想和规划,结合经研院院科技研究和信息化建设的实际需求,院研院大数据应用创新团队而成立。团队作为院研院大数据应用需求的收集者、管理者和提出者以及其他研究团队在大数据应用方面的支撑者;以应用综合创新和技术持续保障为工作亮点,全面支撑并推进院以大数据为基础的科研工作的有效开展[3]。
大数据应用创新团队以“业务导向,技术创新、务求实用,全面支撑”为工作原则,以“统一的框架体系、统一基础平台、统一的运行管理,统一的应用规划”为工作要求,以“是否能支撑院科研业务开展,满足服务公司电网发展与经营管理需要”为工作评判标准,实现“以大数据技术为基础,应用为核心,充分挖掘与发挥数据应用价值,有力推动院科研工作开展,不断培育院大数据人才,打造一支创新观念强、理论基础实、应用成果丰的‘松散协作型’专家队伍,努力成为省公司大数据应用的主力军”的建设目标。
3.大数据应用创新团队的角色定位
3.1院级大数据平台的建设者和运维者
作为经研院大数据应用的基础环境支撑团队,负责经研院大数据基础环境的规划和建设,承担经研院大数据相关基础环境的日常运维工作。团队结合电力业务性质以及发展需求,对大数据平台给以定位,从数据范围、数据规模、应用范围等方面出发,积极开展前期规划。团队根据经研院的实际情况,通过研究,形成大数据技术框架设计,并搭建一套大数据框架平台,以此平台为基础,充分利用其先进特性,集成海量数据,实现数据的统一存储和管理,海量数据的计算和分析,进而完成基于电网分析的示例应用。
3.2大数据应用所需数据的管理者
作为经研院数据采集及管理的技术支撑团队,负责院内数据的收集和管理的技术支撑,主要包括:制定院级的数据管理办法并落实;规划并实现不同研究用数据的采集;研究数据质量的检查手段和提升途径并落实;研究院级数据中心向各研究团队提供数据的方式以及研究成果数据的反向收集等;研究对非结构化数据的收集和存储,研究对关键信息的提取技术。
3.3院大数据业务应用研究的技术配合者
作为经研院大数据应用研究方面的技术支撑的核心团队,负责支撑各个业务研究团队在研究过程中大数据应用技术方面的需求,内容包括:参与各个研究团队的项目中承担大数据技术的应用工作;研究大数据的典型应用过程和方法论,指导各个研究团队的大数据应用;研究大数据技术中的核心模型和技术的应用,极大地提升了大数据应用水平。
3.4省公司大数据相关研究应用的业务指导者
作为经研院同省公司大数据研究团队的接口团队,承担省公司大数据研究团队在经研院业务方向的业务专家角色,实现经研院和省公司大数据研究方面的有效协同和互动。
3.5经研院内部跨专业大数据业务应用研究牵头者
经研院内部跨专业大数据业务应用研究牵头者作为院大数据研究的牵头团队,负责经研院内大数据研究需求的收集和管理;负责牵头跨专业团队(多专业协同)以大数据应用为基础和特色的科研项目,以充分发挥各个创新团队的核心人员均是大数据创新团队的核心人员的团队的优势。
4.大数据应用创新团队的组织管理
团队成员分为三个层级,分别是:团队带头人、核心骨干成员以及普通团队成员。团队带头人全面负责团队建设和管理,核心骨干成员主要负责技术全面把关,承担项目实施;普通团队成员参与项目实施。团队建设的总体思路是:以数据为基础,以应用为核心,工程数据为特色,人才和制度为保障,推进院级大数据的技术应用和保障工作。以工程数据为切入点和特色,逐步实现各类电网业务数据和社会经济数据的接入,实现同省公司大数据系统的有效融合;通过打造技术先进、功能完善、标准统一的数据平台和综合应用平台,为院各研究业务的开展提供持续的技术和数据保障;以大数据应用为工作核心,通过收集整理、筛选评定等手段,形成大数据应用的需求清单及完整的需求的更新和管理机制;加强与外部高校或企业的联系,通过有效地协作模式,吸收外部优秀资源参与团队,建立结构合理、优势互补的创新团队。团队成员共27人,涵盖了信息管理、计算机技术、数据挖掘等方面的优秀专业技术人员,能够保证大数据应用的先进性和可实施性。
大数据应用创新团队拟建立科学的内部管理制度。对团队的研究工作开展、技术交流、日常事务等制定详细的管理办法和工作计划,并对团队成员关于研究工作的贡献和发表论文、论著等制定有效的激励措施。
大数据应用创新团队将把团队成员的培养与科技项目研究紧密结合,使团队成员在科技创新实践中加快锻炼成长,早日成为学术带头人、专业技术骨干,实现个人与团队相互促进、共同进步,保持团队的可持续发展。
5.大数据应用创新团队取得的成效
5.1技术方面
初步建立了经研院大数据应用的整体框架,包括硬件层、数据转换层、关系型数据库、数据桥接层、大数据存储和分析、大数据集群监控管理、数据源以及经研院各业务系统等模块。大数据应用框架如图1所示。
初步建立了大数据应用的基础环境。建立了以Hadoop为核心的大数据应用基础环境,基础环境包括三个部分分别为数据转换层、大数据存储集群管理和大数据分析管理,如图2所示。
初步规范了结构数据的存储模型。在借鉴国外公司发布的SG-CIM模型标准的基础上,考虑大数据存储模型在分布式存储方面的特点。初步确立了SG-CIM技术文档与营销相关的类及属性(主要涵盖了客户,电量,电价,负荷曲线,服务五个部分),并在此基础上,充分考虑类之间的关系(关联、继承、聚合等),并按照大数据存储的思路,设计Hbase存储的表结构、列簇、字段等。为后期其他业务领域的应用提供参考。
5.2制度方面
建立了一系列团队内部管理制度和运行机制。用新的用人制度、分配制度和考核、评价、激励、引导机制,激发团队成员的创新热情,通过加强管理模式和内部运行机制的建设,提高了团队工作效率,增强了团队凝聚力,发挥了团队潜力。制定了《大数据应用创新团队建设实施管理办法》,从团队带头人的权力和职责、团队成员管理、资助经费管理和使用、创新成果管理、科技创新机制、团队发展思路和方向等方面都做了具体规定,对成员进行流动式和动态管理;制定了较符合实际的绩效考核制度,对各项内容划分权重比例,较全面客观的评价出每个团队成员的功、德、能、勤,采用灵活的用人机制,重用年轻人,不搞论资排辈,级别(职务)能上能下,人员能进能出,取得了较好的效果。
5.3人才方面
大数据应用创新团队经过建设,一批中青年骨干人才脱颖而出。团队成员涵盖了信息管理、计算机技术、数据挖掘等方面的优秀专业技术人员,能够保证大数据应用的先进性和可实施性。团队设立专项创新研究课题、举办和参加学术会议、引进高层次人才、鼓励提高学历等多种形式对团队人才进行分层次培养,使团队成员的研发水平和科研竞争力明显提高。初步形成了以团队带头人、核心骨干成员、团队成员和后备梯队为主干的专业互补、层次分明、分工明确、结构合理的创新人才群体。
6.结语
通过对大数据应用创新团队的初步建设,进一步提高了大数据在电网企业应用的理解。通过对团队的角色定位,明确了经研院大数据创新团队研究领域与研究方向。通过对大数据应用创新团队工作开展方式和组织模式进行研究,制定了详细的团队规章制度,保证了团队工作顺利有序高效地进行。另外,通过前期的建设,团队还详细分析了经研院大数据现状及应用前景,规划了大数据创新团队研究课题及项目计划,形成3到5年的项目清单,为后续开展经研院大数据相关应用和研究工作提供基础和铺垫。
参考文献:
[1] 宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战 [J].电网技术,2013, 37(4):927-934.
[2] 陈超,张顺仕,尚守卫,孙飞.大数据背景下电力行业数据应用研究 [J].现代电子技术,2013,36(24):8-11.
[3] 李振元,李宝聚,王泽一.大数据技术对我国电网未来发展的影响研究 [J].吉林电力,2014, 42(1):10-13.