
金风科技数据挖掘分析平台 (私有化部署-专有云)
金风科技董事长武钢表示“与工业化时代不同,数字化时代下,风电企业要通过数字化技术的应用,实现从结果管理向过程管理转变”金风科技希望更多的业务可以用“软件+数据平台+协同”的方式来解决问题,需要在云端构建可协同的数据挖掘分析平台,为业务的转型与发展进行赋能。
平台级工具支撑每日云端海量数据接入、自动批量计算、协同代码管理等任务;数据及模型资产累积
金风科技每天都有海量自动采集的数据上传并存储在云端,面临诸多工程难题,例如大数据量接入、自动批量计算、协同代码管理等。因此需要一个平台级的工具突破上述瓶颈,更好地支撑研究人员和业务人员的分析、建模、协作和管理工作。同时,持续累积的数据及模型作为重要的公司资产,需要统一安全管理。
提升数据作用于业务的效率
降低研究人员数据分析工程难度及相关不同专业领域工作人员的沟通损耗。在公司内部形成和推广科技赋能理念,提升全员的数据科学素质水平。
依托 AWS 专有云,实现云端资源和数据的无缝接入
基于云原生和微服务的架构设计理念,平台直接对接企业现有的 AWS 专有云架构,轻松获取云端算力资源和数据。用户可通过平台直接享有云架构下弹性调度、集群调度、大数据接入等优势;持续累积的数据及模型沉淀在云端,统一安全管理。
解决定时批量场景下,大规模分布式计算的难题
风电场景下的大量不同规格的风机数据处理和分析是一个典型的大规模分布式计算问题。ModelWhale 对离线训练任务组的功能支持,不仅提高了算力资源使用率、降低了计算时间和成本,同时解放了研究人员以往需要在分布式计算场景切换编程语言、环境、工作流的繁琐问题。
数据部门与业务部门高效写协作,合作初期成果即有据可考
数据部门将梳理后的流程放入平台,相关工作者一点开就能用、会用,效率得到显著提升。平台投入应用后数据部门与业务部门在风机运行监测、风机选址等问题即快速产出大量研究报告赋能实际业务,分析成果能够直接与客户进行分享协同,初期成果即带来上亿经济价值。
数字化不是一个 IT 可以解决的问题。这里面真正的难点是,希望更多的业务可以用“软件+数据平台+协同”的方式来解决问题。数据分析的诉求,之前都是写软件来解决。报表的维度一变,程序员要 involve 进去,效率低,因此未来业务人员掌握数据分析能力非常重要,可以低代码或者无代码进行数据分析的工具能够帮助降低门槛。
我们用 ModelWhale 构建数据挖掘分析平台,目前主要的应用场景是风电业务的关键指标分析,尾端数据和前端结合起来用,订单结合实际环境,会发现某些关键指标不用那么高。如国际标准某风机温度为40度,数据分析后发现实际30度即可,做出这项调整之后,每年能够节省一个亿;还有像风机现场的问题排查、预防性维护、 管理质量检测等等;另外,实际很多分析是需要技术部门和业务部门一起进行协作讨论才能得到最后的结果,就需要用到 ModelWhale 的协作功能。
由于风电场景下需要同时处理来自不同规格风机的数据,这是一个典型的大规模分布式计算问题。按照传统的方式来,需要为一个单点问题切换成 Spark,业务人员不会写,全交给技术人员太繁琐,而 ModelWhale 离线训练任务组的功能支持,直接就解决了这个问题,业务人员直接用,不用切换语言,用起来又很简单。
