NEC与东京工业大学开发"多模图像融合技术"

【天极网家电频道】NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行特定副教授的研究团队(以下简称东京工业大学)共同开发了“多模(注1)图像融合技术”，通过AI技术将一般摄像头拍摄的可见光图像与热成像相机拍摄的非可见光图像进行自动高效合成，且提高了单个图像拍摄时的视觉识别度。

在需要瞬时视觉识别的各个领域中利用此项技术，即便在恶劣条件下也可以实现正确判断。例如，夜间或浓雾等恶劣天气条件下也可以正常进行的设施监控;即便迎面行驶汽车的刺眼的车灯及黑暗造成视觉死角也可以使用的自动驾驶支持;不仅可以监测建筑表面的裂缝，还可以监测其内部异常的基础设施点检等。

以往想要合成不同种类摄像头拍摄的图像需要专家进行复杂的手动合成作业。而此技术则将各种摄像头采集的图像通过AI技术自动高效合成，无需手工操作。并且充分利用可见光图像和非可见光图像各自的优势，即便是以往人眼难以看清的场景也可以获得较高的视觉识别度。

NEC与东京工业大学今后也将继续通过产学合作形式共同研发支撑各项社会基础设施安心安全运转的图像处理以及AI相关技术。

【背景】

近年来，在图像传感器的不断升级及成本持续下降的背景下，将热成像摄像头及可捕捉物体内部构造的X光・太赫兹波・毫米波摄像头等非可见光摄像头应用到夜间、浓雾等恶劣天气、逆光、遮蔽等不利条件下的监控及诊断的情况越来越普及。但是这些非可见光摄像头比可见光摄像头的分辨率和画质都要低，视觉识别起来很困难，因此需要将可见光摄像头与之配合在一起使用，通过对比双方的图像进行监视和诊断。因此，想要快速精准地判断对象物体的状况是比较困难的。为解决这个课题，最好的办法就是将两种图像合成一个图像，但是过去的合成办法需要精通摄像头和摄影环境的专家亲自手动调整，从各自单独的图像中抽取出适于合成的部分，一边注意防止过度曝光和曝光不足以及噪点增强破坏图像等问题，一边进行复杂的图像合成作业。另外，在非可见光中包含的用于判断异常及危险物的特征很可能因为合成造成丢失，这也是一个重要课题。

NEC与东京工业大学通过学习了专家的变换技能的AI技术，将可见光摄像头与非可见光摄像头拍摄的图像自动高效统合，提高对象物・状况的视觉识别度，共同开发了即便在恶劣环境下也可以快速判断是否存在异常或危险物的“多模图像融合技术”。