南方电网数字电网与人工智能重大科研团队的攻关成果《基础模型与知识融合的复杂电力巡检视觉智能分析关键技术及应用》获得2023年度吴文俊人工智能科技进步奖一等奖。
近年来，全球新一轮科技革命和产业变革迅猛发展，如何推动人工智能关键核心技术攻关，加快实现产业化，是业界共同关心的焦点。本报聚焦电力巡检视觉智能分析体系，展示南方电网公司对人工智能产学研用全链条融合的探索。
——编者
在广东电网机巡管理中心，技术应用推广部经理刘高展示了一张特别的照片：50米高的输电铁塔和铁塔顶部一个已经松脱且仅有小拇指指甲盖大小的螺栓销钉。工作人员从地面举着望远镜看那螺栓帽，有如在一头牛身上找一粒虱子，且仅凭肉眼很难判断虱子的生存状态。现在，指甲盖大小的螺栓帽是否影响线路安全，智能识别算法可以直接做出判断、评级，且将结果推送给生产部门。
更了不起的是，无人机从机巢自动起飞、拍摄照片、回传图片到缺陷识别，所有步骤都可以在线完成，这背后隐藏了高精度定位、人工智能等先进技术应用。2021年，南方电网公司电网管理平台机巡图像智能分析功能全面上线后，图片识别速度大幅提升，目前可每分钟处理700张图片，已累计识别图片超1.37亿张，其中2023年为9000多万张。
为什么需要人工智能？
——人眼看不过来了
事情要从2013年说起。当时南方电网公司已部署在全网推广输电线路机巡作业。无人机巡检业务逐渐在公司展开。
短短几年，从高压到低压，从东部到西部，全网逐渐形成“机巡为主，人巡为辅”的线路运维模式。无人机在电网的应用场景发生质的转变——从最早的抢险救灾配合工具变成日常巡检不可少的利器。南方电网公司输配电部高级经理樊灵孟说：“公司无人机巡检起步早、应用广、认识深。2016年，工信部启动制定无人机领域国际标准，于2020年颁布，填补了国际上该领域技术标准的空白，南方电网就是主要贡献单位。”机巡业务的大规模发展，意味着无人机采集输电线路设备航拍照片在成指数级增长。
2015年浙江大学博士毕业后，黄文琦加入南方电网公司。“那时公司做人工智能的还比较少，面试官看到我的研究方向是视觉自主导航系统与机器学习，很感慨地说，‘这个方向在南方电网大有可为，我们率先发展了无人机巡检’。”这句话，彻底打消了黄文琦对于所学恐无用武之地的顾虑。
机巡推广应用后，靠人力来看图片这件事变得颇为吃力。到2016年，这种矛盾愈发明显。巡检人员白天飞无人机，晚上回来看图片查找缺陷。巡检拍回来近万张图片，每张图片要查看十几个关键部件，班组人员根本忙不过来。而那时图片量还主要集中在广东电网公司，全网的大规模无人机自动巡检也还没有开始。
黄文琦算了一笔账：每个杆塔精细化巡检要拍约35张图片，按两座高压杆塔之间距离约500米来估计，整个南方电网架空线路超过百万公里，光是精细化巡检单次全覆盖产生的图片就超7000万张。巡检频次上按重要程度，分为半年巡、季度巡和月度巡，部分关键线路甚至需要每周巡视。积累的数据非常惊人。
怎么办？必须上人工智能。
研究人才从哪来？
——南网人工智能联合实验室聚合人才
南方电网公司一直在布局电网数字化、智能化相关的技术。早在2013年，公司就围绕芯片研发、智能微型传感器以及智能算法开展研究。2017年，公司组建了透明电网重大攻关团队（以下简称“团队”），由中国工程院院士李立浧担任团队负责人。
黄文琦加入公司后一直从事智能算法研发。经过两年的积累和观察，在团队年度会议中，黄文琦作了一次技术报告：“当时报告的主题就是怎么利用计算机视觉技术在电力巡检中找缺陷。”这份报告也引起李立浧的注意，他鼓励黄文琦在这个技术方向做下去。
同时，2015年广东电网机巡管理中心成立后，一方面大力推广无人机巡检业务，另一方面研发无人机如何脱离飞手自动巡检，这涉及巡检目标快速识别、运动跟踪、自动拍摄等一系列无人机自主巡检关键技术。如同汽车无人驾驶一样，需要激光雷达扫描、三维重建、高精度定位、神经网络学习等人工智能技术。而让机器在复杂环境中通过视觉智能分析判断，无论在机巡的前端（比如和人一样自动找到绝缘子并拍照），还是机巡后端图片分析中都至关重要。
这一关键技术的突破还是在2019年——南方电网公司提出，“数字电网”是“数字中国”在电网行业的具体实践，从顶层设计上明确了人工智能技术作为支撑电网数字转型的目标。团队正式更名为南方电网数字电网与人工智能重大科研团队，公司二级领军技术专家梁凌宇、公司三级领军技术专家吴洋等优秀的人工智能人才不断地加入进来。
南方电网公司还通过公司新型电力系统人工智能联合实验室将科研人员与生产一线以及社会上的智力资源、产业资源聚合在一起。这次获得2023年度吴文俊人工智能科技进步奖的项目组成员既有来自南方电网公司的科研、业务专家骨干，也有清华大学深圳国际研究生院、浙江大学、商汤科技等科研院所、企业的学者、研究人员。
人工智能与无人机的结合听上去高大上，做起来并不容易，每一步都需要非常脚踏实地。几年时间里，公司上下联动搭建出一套机巡智能分析系统，将线下的业务流变成线上的业务流，把所有的图片汇聚起来实现智能识别。为了解决实际业务痛点，广东电网公司广泛征集技术路线，一方面邀请高校、企业以专班的形式集中式、针对性开发一些急需的缺陷识别模型；另一方面，为了优中选优，广东电网公司在2021年举行了4次行业比拼测试，面向全社会征集。百度、阿里等实力选手都来参赛，也包括黄文琦的算法团队。
“当时主流算法对弱行业属性的图片识别能力很强，比如铁塔下面有辆卡车，能够很好识别。但遇到电力行业的设备外观缺陷，识别能力就不太行，准确率大多在30%以下。这就涉及到我们针对电力视觉的主要创新，通过基础模型与知识融合解决复杂的电力巡检视觉智能分析难题。”黄文琦说。
教会人工智能有多难？
——基础模型与知识融合是破局之法
知识融合是对算法模型的一种专业强化。电力巡检视觉智能分析主要面临两大痛点：一是应用场景开放，南方电网公司电力线路总长度近120万公里，覆盖海拔4500米，涉及森林、湖泊、村庄、城市等多种场景，环境干扰多，对模型泛化性能要求高；二是业务逻辑复杂，设备种类多、缺陷类型多、缺陷等级多、定级规则复杂，识别难度高，尤其是杆塔、绝缘子等电力设备上，通过人工智能技术解决缺陷识别难题的积累也不多。
要解决这两个难点，必须开发出足够聪明的模型。解决的方法是与生产一线的同事一起磨。
“刘高等机巡中心的专家同事，都是我们的师傅。”黄文琦和梁凌宇口中的“师傅”最常讲的例子是鸟巢。鸟巢图片识别中遇到的第一个问题是怎么判断它是否在电网的铁塔上？很有可能地上的一摊草也会被算法识别成鸟巢。第二个问题，怎么判断鸟巢是否影响到电网安全？
所以必须要将电力行业的这种针对性的逻辑关系教给机器。也就是说不仅是要识别鸟巢，还要识别它周围的设备。首先想办法解决图片更加清晰的问题，算法团队提出了多层次、多维度的大规模场景图像数据增强方法，这能让机器把图片“看”得更清楚。其次，还要想办法用一个网络将它们的位置关系构建出来，这就是多元知识嵌入的电力图像专精化理解方法，即要让算法可以用更高的思维来思考问题。
回到文章开头提到的刘高的那张图片。必须得让机器在一定范围内更强地学习，比如尺寸大小的关系等，要让机器的注意力定在尺寸比例的关系中去，不要漫天地去找无关的东西。因此，那个销钉在机器里的表述应该是“在某个部件的下方或者旁边”等，需要将机器的注意力引到这里——这种关系就叫做概率传递。但是又不能全部限死，因为人类无法枚举所有情况，只能用知识嵌入的方法“软约束”它，让机器在那个范围学习，这种方法就是知识融合。
“在具体的算法模型开发中，平衡则很重要。我们不是纯粹在实验室里搞研究，做出来的东西必须要为一线生产排忧解难。实现这点，算法一定要足够精妙。”梁凌宇认为，“算法不能太笨，比如一天要识别几十万张图片，一张图片的识别速度哪怕从2秒变成1秒，这也可以提升后续消缺速度，这就涉及非常技术层面的问题。总之，你研究出来的东西一线人员得愿意用、容易用。”
无论是平台还是算法模型开发，最终都要过生产者这一关。研发阶段要做内测，开发完毕，还要过现场人工复核。任何一关过不了都要返工。梁凌宇说起研发过程的喜乐与困难：“风光有四时。开发时，我们的算法用的主要是春天、夏天的样本，到了冬天，背景或者什么情况发生变化了，机器就会产生新的理解。那我们就要处理，为什么算法把一些背景干扰识别进来。通过类似正样本、负样本优化我们的算法。人常说学无止境，机器也一样。”
项目不落地就是“花架子”，怎么办？
——人工智能要广泛适应电力巡检场景
所有这些其实并不容易。有一段时间，算法团队很迷茫，压力很大。一方面是机巡电力设备外观缺陷的种类太多，且大部分缺陷缺乏明确的分类与量化判定规则。比如，仅仅绝缘子一类设备，常见的缺陷就包括污秽、破损、自爆和表面灼伤等等。从图片特征来看，对应着颜色异常、纹路异常与几何形态异常，叠加拍摄角度不一，缺陷的程度很难量化定义。更不用说还有小尺寸金具、绝缘子、接地装置和附属设施类缺陷，更难判断。
另一方面，缺陷总是偏少的，大部分缺陷类型的图片样本更是极其稀少，无法通过“喂”大量的图片让机器学会识别。“如果有几十亿数量的缺陷图片，我相信深度神经网络能够靠纯数据驱动的方法准确识别。但是缺陷样本往往是稀缺的。”黄文琦解释道。
怎么办？如果项目迟迟无法落地，不能给生产一线的兄弟使用，技术想得再好都是“花架子”。那段时间里，黄文琦很害怕听到南方电网公司首席技术专家李鹏的询问：“研究了这么久，为何迟迟不见落地应用的成效？”不过，帮助黄文琦拨云见雾的也是李鹏，他给了黄文琦两条建议：第一，技术要成体系，要做到能够广泛适应电力巡检场景人工智能模型，不能只解决个别问题；第二，目标是解决电力视觉领域的问题，可考虑兼顾通用视觉技术的能力与专业领域的知识。
很快，视觉基础模型与知识融合的技术路线被提了出来。“南方电网公司输配电部组织了数字输电人工智能提升专项工作，调动广东、广西、云南、贵州、海南五省区上百位业务专家参与到电力场景图像专精化理解技术研发中来，与算法专家共同梳理业务知识。”樊灵孟介绍，“公司定期召开技术研讨、生产工作会议，让业务专家与算法专家能够坐在一起，找真问题，解决真难题。”
输配电部还结合生产实际对电力巡检视觉智能分析项目的技术路线、标准化设计做了专业化指导，发动全网汇聚海量电力巡检图像数据，制定“地域全覆盖、缺陷准识别、多模态融合”的技术推进路线，构建电力巡检视觉智能分析平台体系，加速了项目成果在南方五省区的产业化落地。
商汤科技、清华大学深圳国际研究生院与浙江大学在基础模型、图片增强、目标检测等关键技术研发中发挥了重要作用。大家合力大幅提升了销钉缺失、鸟巢等关键缺陷的识别精度，项目实现了真正意义上的落地。
目前，平台已经搭建好，一些通用模型也已嵌入。对于巡线人员来说，无人机什么时候飞、做计划、图片识别等一长条的业务链条都可以数字化实现。但是，对于黄文琦和刘高等人来说，所有这些仍然只是万里长征中的第一步。
如今，在南方电网公司，每个省公司甚至地市局都可以针对量小且有特色的问题开发算法模型，并嵌入领域知识专门针对个性化缺陷识别需求。刘高已经列了很长的工作计划，它要解决500多个缺陷识别的问题，目前才解决了120多个缺陷（识别）。“这件事值得干一辈子，优化永无止境。”
广东电网机巡中心也有了新的打法——有了自己的算法团队，非常清晰的开发流程，相对固定的工作人员，这给了刘高非常大的信心。“而且我们每个算法开发出来都会经过一线人员的测评，2月底我们刚试验了两个。同时，我们现在也鼓励基层供电局自己做开发，举办内部人工智能竞赛，发掘培养人才。”
黄文琦想的则是如何将解决电网“眼睛”智能化的技术，进一步用于探索电网运行的“大脑”。“如果能够将电力系统运行的物理规律如同知识一般嵌入到深度神经网络中，那么电力系统积累的海量多源数据将释放出更大的能量。”
来源：南方电网报