仅凭唇形
你能知道他在说什么吗?
在上周的《机智过人》现场
人工智能慧眼小微就和
唇语教师邱新会展开了一场
唇语识别较量
目前
我国听力障碍人口达2000万人
每年新增听障儿童3万余人
他们渴望像正常人一样沟通交流
但大多数听障人士
都是婴幼时期失聪
很难理解唇形对应的语言是什么
因此学习唇语的难度
远高于学习手语
唇语识别系统慧眼小微
是一项新研发出来的人工智能技术
在《机智过人》现场
它迎来了唇语识别挑战
邱新会
河南省漯河市特殊教育学校校长
从事唇语教育20余年
培养出了2000多名能开口说话的听障儿童
邱老师说
对于听障孩子而言
佩戴助听器抑或做人工耳蜗手术
都无法帮助他们达到正常听力水平
邱新会在教学过程中
坚持让孩子们通过触摸声带
来感受声音的存在
王超琪,今年23岁
是邱老师的学生
她2岁时因病失聪
运用唇语迄今已20年
是河南省漯河市特殊教育学校走出的
第一位听障大学生
这次
她作为检验员与慧眼小微展开了
一番“较量”
(图为检验规则)
如果唇语识别系统能成功通过检验
将会大大减轻老师的教学难度
对于听障孩子来说
唇语识别系统也可以输出字幕
让孩子更容易理解
给他们的生活带来更多便利
其实
慧眼小微“出生”仅5个月
还处于初级学习阶段
它能成功通过检验吗?
对于王超琪来说
她比机器人更能读懂
人类的微表情、手势动作
谁将更胜一筹呢?
作为检验官
邱新会老师在隔音室内
对挑战双方
开始进行第一部分“口令题”的考察
01
“向左转”
口令结束后不久
王超琪和慧眼小微同时识别完毕
并做出了同样且正确的指令动作
↓↓↓
02
“抬左腿、举左手”
在这一“口令题”考验中
王超琪和慧眼小微做出不同的动作
······
王超琪给出的答案是:抬左腿、举左手
慧眼小微给的答案是:抬左腿、举右手
很明显这一“口令题”
王超琪回答正确
本次检验的第二部分
是对“数字题”的考察
“2049年”
01
对于仅学习过一年数字的王超琪来说
数字题稍微有点难度
她给出的答案是:“20493”
与慧眼小微的“2049年”有所不同
在本道题的检验中
王超琪错失1分
双方比分为
2:2
简单的数字无法真正体现能力
下面来一组成串数字
慧眼小微还能准确识别吗?
邱新会在隔音室内读出一个手机号码
挑战双方能准确识别
由11个数字组成的号码吗?
↓↓↓
“139213877XX”
02
由于王超琪对“1、4、7”
这几个发音唇形较为相似的数字
存在一定识别难度
在本题考察中
她要求再识别一次后
给出答案为:“139243844XX”
而慧眼小微的答案为:“139213877XX”
慧眼小微读出的电话号码
成功拨通了嘉宾手上的手机
再次赢得1分
考验还没结束
难度再升级
↓↓↓
对完整句子的解读
此次挑战
慧眼小微将与邱新会展开较量
节目组提前采录了
特殊教育学校听障儿童的语言
双方需通过观看现场大屏幕的无声视频
识别视频中听障儿童的说话内容
由于没有听力的校准
听障人士的唇形发音与常人
存在很大差别
面对不标准的唇形发音
平日里与孩子们朝夕相处的邱新会
似乎胜算更大一些
最终
慧眼小微的识别答案为17个字:
老师谢谢
跳一支舞一句话
我们永远爱您
而邱新会识别的答案是:
老师谢谢你
老师教会我们说话
老师教会我们学习
老师教会我们跳舞
我的舞蹈跳得极其棒
有声版的正确答案为↓↓
虽然双方都没有完全答对
但是都作出了部分准确的识别
从这样的测试中可以看出
想要通过唇语学习
理解对方的表达非常不容易
可想而知
这些听障孩子平时要付出多少努力
才能实现最基本的沟通
正如邱新会说
那么多的听障孩子
从不会说话到会说话
最后进入小学、高中、大学学习
经历了很多困难
作为老师
他既感动又心疼
虽然慧眼小微还有很多不足
但是这样的人工智能
给听障人群带来希望
未来经过科研人员的不断优化
慧眼小微一定可以帮助他们
像正常人一样无障碍沟通交流
快乐自信地生活
完整视频,请戳“阅读原文”
编辑:王湛琦