本文转自:科技日报
读唇语软件识别准确率远超人类
“动动嘴皮子”,AI就能知道你在说啥
(资料图片)
视觉中国供图
可以想见,由于公益、公共安全、国家安全等领域巨大的潜在需求的牵引,以及AI技术飞速发展的强力推动作用,在不久的将来,AI读唇语有望实现快速推广与深度普及,产业前景十分可期。
——闫怀志 北京理工大学计算机学院副教授、网络与安全研究所所长
◎本报记者 翟冬冬
虽然电视剧《狂飙》已经迎来了大结局,但热度仍然没有丝毫减弱,有的网友利用剧中人物创作娱乐视频,也有的网友剪辑其中精彩片段。不过,还有一些“较真”的网友,发现《狂飙》中的一些人物对话,配音和嘴型对不上,于是便想通过人工智能进行唇语识别,还原最初的剧本情节。
然而,AI读唇语并非只能被用于破译“隐藏剧情”。据统计,我国听力残障人口超过2054万,除了主要的手语交流外,读唇语也是他们重要的沟通方式。但人工解读唇语容易受到个人经验、视觉感受能力、语言理解能力等因素影响,在正确率方面差强人意,于是人们开始尝试利用AI技术来解读唇语。
比唇语专家更懂唇语
“所谓AI读唇语,即人工智能唇语识别,其核心技术框架为视觉识别和自然语言处理。”北京理工大学计算机学院副教授、网络与安全研究所所长闫怀志介绍道,具体而言,就是利用机器视觉技术,将人脸从图像中连续识别出来,并提取其中连续的口型变化特征,输入至唇语识别模型,辨识出该人物口型对应的发音,进而输出可能性最大的表达语句。
“视觉识别和自然语言处理分别有着庞大的技术体系和不同的技术路线,但究其本质,都是通过大量的唇语数据来训练AI模型,力求文本输出的准确性。”闫怀志补充道。