首页 > 资讯
搜狗在机器翻译上不断发力,尝试引领航向
众创网2018-04-11

搜狗在今年三月,发布了一款概念感十足的量产硬件:搜狗旅行翻译宝。

其实早在六年前,Google就萌生了把翻译工具装入硬件终端的念头,当时还在负责Android业务的Hugo Barra曾向媒体透露,Google正在开发的系统功能之一,就是可以让手机通话的双方可以各说各的母语,系统将自动翻译转化,让不同语种的联系一气呵成。

timg (2).jpg

但是,因为以NMT(Nueural Machine Translation)为代表的翻译技术尚未成熟,这项雄心勃勃的重建巴别塔计划最终还是搁浅了数年,直到2017年,Google才以耳机配件的形式,发布了内置语言翻译应用的Pixel Buds,重返前线。

同时,搜索引擎似乎天然适合解决这类需求,这不止是因为它的产品形态决定了本身有着与信息打交道的高密度吞吐工作,还包括用户的输入数据——无论是文字还是语音——都会向搜索公司提供几乎无穷无极的学习素材。

搜狗机器翻译团队从一开始就发力神经机器翻译技术,用了不到半年的时间把技术打磨好,使用在搜狗输入法上,输入法中的语音翻译和文本翻译上线以来日均请求量已达200万次。之后在去年11月份世界互联网大会上,语音技术部便将已有的语音技术和机器翻译技术相结合,推出了机器同传技术,目前已经在多场重要会议场中使用。

以中英文的机器同传为例,它大致需要将搜集来的中文语音信息经过语音断句,获得小的语音片段,然后会送到语音识别中获得文本,此时需要对文本进行一些顺滑处理,将这个经过语音识别后的处理文本送到端到端的神经网络(目前机器翻译的主流方法),通过翻译器进行语音翻译。

在机器翻译中,各家公司使用的算法类型基本是一样的,但是同样的数据效果却相差很多。对于搜狗来讲,重要的问题有两个,一个是怎么用好数据(比如单语数据),另一个是找到最合适的数据(甄选数据)。此外,搜狗机器翻译团队也在针对翻译里面的实体进行优化,包括多翻漏翻、数字等细节问题。

那么刚刚成立1年多的机器翻译团队,相比其他机器翻译团队、或者科大讯飞,搜狗的优势何在?智东西了解到,一方面是人才,搜狗主做机器翻译的员工经验大都在5年以上;第二,语音识别中有许多经验可以借鉴,依托于之前语音团队的技术优势,对机器翻译帮助也很大;第三,搜狗在输入法的场景下面积累大量的用户数据,可以快速把数据壁垒做起来,而算法是很难形成壁垒的。

2012年之后,原有统计机器翻译上的技术框架逐渐被推倒,需要从新布局新的技术框架。再加上搜狗有国内最大的输入法,在这方面积累的语音数据量比科大讯飞还要多。难怪陈伟称搜狗在机器翻译方面与科大讯飞是持平的或是有优势的。

就机器同传而言,目前搜狗的语音识别率已达97%,而机器翻译的准确率则要略低一些,这也是业界的难题。机器翻译最难的部分在于盲传,翻译本身是严重依赖上下文的,而机器翻译却没有任何背景知识。此外机器同传也要尽可能的做到低延迟,搜狗在这方面已经把延迟控制在2、3秒以内。

而搜狗机器同传接下来的发展,一方面需要保证稳定的语音识别率,比如噪音场景下;另一方面是机器翻译如何能更好的找到一个完整的语译边界。同传系统最核心的就是建立一个连接语音识别和机器翻译文本的处理系统,这个处理系统可以接收语音识别的结果,去做容错。此外,就是如何处理更多口语化的表达,如“这个”、“那个”,以及如何断句问题,确保翻译出来的是一个完成的语义句子。当这些问题都解决的时候,机器同传的效果才会提升很多。

搜狗IOT事业部首席产品经理李健涛将临界点标注于神经网络的大规模训练开始成为互联网公司的突破日程上,它意味着只要给予足够丰富的学习资源和能够自主运行的智能程序,加上远远小于代际尺度的时间成本,调教出能够满足日常会话的即时翻译产品已经不是难以企及的预期。

李健涛拿搜狗旅行翻译宝的OCR功能举例:“如果你在卢浮宫博物馆,看到举世闻名的蒙娜丽莎画作,但它背后代表着什么、有怎样的艺术意义,对着一堆英文法文如果看不懂,那么旅游的乐趣和价值就会大打折扣,而我们的产品,其实是可以实拍实译,直接把它的背景故事同步呈现在屏幕上,这就要比那些没有屏幕、没有摄像头的翻译硬件要更有效率一些。”

阅读:
分享
用微信扫描二维码分享
请点击右上角分享给微信朋友或朋友圈