搜狗发布唇语识别技术,“读唇”这事的商业价值是什么?

孙然 · 2017-12-20
去年,谷歌的研究让唇语识别取得了突破。这项技术究竟能做些什么呢?

12月初的世界互联网大会上,搜狗发布了一项“唇语识别”技术。唇语识别,简单说就是通过图像识别你的口型,转写出你说的内容。

在国外的技术界,2016年谷歌和牛津大学的深度学习项目组曾经共同研发唇语识别技术,在那一年的视频节目测试中,机器唇语识别的准确率达到46.8%,高于人类唇语专家12.4%的识别率。今年3月,数据可视化服务商海云数据也发布了类似的唇语识别技术。

放在以往,阅读唇语这件事在人们印象中,多是小说里武侠和特工的特异功能。但当我们要用机器解决这个问题,就意味着它有足够的商业空间,让公司乐于把它批量的大规模应用,做成产品。那么机器读唇究竟有什么应用价值?

接受36氪采访时搜狗语音交互中心技术总监陈伟表示,目前唇语识别的落地场景主要有两种:其一,在多数语言场景下,摄像头的覆盖率远远高于麦克风,但通过摄像头获得的是图像数据,目前主要用于监控简单的行为,但很难知道例如安防这类场景中图像中的人物在说什么,使用唇语识别技术就可以通过嘴的动作获取大量内容信息。

其二,唇语识别可以作为辅助技术,提升语音识别技术现阶段的准确率。搜狗的唇语识别技术目前在开放的口语测试级上可以达到50%-60%的准确率,在限定场景中可以达到90%。这个数字对于现阶段的唇语识别技术而言,是不错的水准,但对于商用尚欠火候。毕竟各家大厂语音识别准确率普遍达到97%后,依旧不能令消费者完全满意。不过唇语识别可以作为语音识别的辅助技术出现,比如去弥合97%的语音识别率剩余那3%的台阶。

“提升语音识别的准确率需要降低噪音,行业内有两条路在走,一条是通过麦克风阵列等硬件方式做音频信号的增强,屏蔽噪音,另一条是加入‘多模态信息’,就比如唇语识别提供的视觉信息。”陈伟解释称。 

36氪和其他媒体采访了搜狗唇语识别技术的研发团队,以下为采访内容,经36氪编辑略有删节:

问:相比麦克风阵列提升语音识别准确率,用唇语识别技术去解决,在技术上的提升空间是否更大?现实落地中是否面临增加摄像头会增加成本的问题?

陈伟:我们做的事情不是说马上就要落地,对现阶段来说,我认为麦克风阵列依然比唇语更靠谱,解决噪声的问题,落地的速度上,麦克风序列都已经是落地的阶段了,而唇语阵列刚刚研发完成了第一步,后面要跟音频做一些结合做一些进一步降噪的工作,所以这个事面向的时间段是不一样的,就是可能可是当前的,但是唇语可能是明年,我们计划在一年内有一些落地的项目在做。

在噪声的环境下,语音识别的可能不准确率不止3%,甚至在40%、50%或0。这种情况下“唇语识别”比麦克风识别强,假如说声音非常的嘈杂,麦克风阵列就算加了一些硬件也解决不了这个问题,有它的一些局限性在,但是唇语相当于绕过了噪声,通过视觉的方式来解决。

问:现在唇语识别最刚需的场景是什么?

陈伟:安防其实也很刚需,我们现在花很多的精力去解决噪声问题,关于成本,其实加一个摄像头不及加一个麦克风阵列的成本高。

问:唇语识别会涉及到用户隐私方面的限制吗?

陈伟:目前的状态还没有到那个阶段,我们还在探索这件事能和哪些刚需场景结合在一起。

问:“唇语识别”未来的应用前景会有哪些?

陈伟:未来唇语可以放在安防,还有助残上面,甚至对一些早期陌生的电影,以前的电影里面,就像卓别林的很多的电影没有声音,能不能给它配字幕,有很多新的东西,就是能不能从一个人的唇动把字读出来,目前做的事很局限,我们限定在一些交互的刚需场景里面,所以在这些特定的刚需场景里面我们想把它放进去,未来像我们车载、家居、机器人倒推唇语怎么跟它结合,但是并不是限定在这些场景。

问:你提到在限定场景唇语识别的准确率能达到90%? 

陈伟:这个是没有问题的,因为在限定场景下,比如说我们现在有一个集合,我们可以对语音做一些增强,这样的话准确率高很多,因为我们有10万词,可能和垂直场景下几千词的交流这不是一个量级。

比如说在车里面,启动音乐它的准确率就很高,因为在特定的集合里面,我们有1000多个命令词,包括古诗和绕口令。这不是一个写死的状态,而是一个可以灵活操作的事情,而且这件事情其实是可以依赖任务去定制的,我们这个技术是通用的技术而不是限定的场景。

问:你觉得做这个过程的中最大的难点是什么?

陈伟:其实是泛化性。因为我们之前的数据都是来自网上爬取的新闻类的节目,筛讯的都是类似主持人这样的,因为他们是经过标准训练的人群,唇型的发音是标准的,但是很多普通人发音是不标准的。如果发音标准的主持人(识别准确率)是60%,但是普通人的话像我们之前的那个阶段可能就20%、30%,我们后来针对这个问题去录制了很多的普通人的一些数据,把这样的数据加进来之后,在普通人的泛化性上得到很大的提升。

+1
5

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

文章提及的项目

海云数据

火候

下一篇

这项功能能够让用户了解Facebook上所有与自己有关的照片,有助于阻止假冒用户的行为。

2017-12-20

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业