Token导航 LogoToken导航

有道R2T2与T3PO登顶Hugging Face语音翻译双榜

更新时间 2026-09-25来源 搜狐科技正文 4122字阅读约 13分钟14 张图片
有道R2T2与T3PO登顶Hugging Face语音翻译双榜

新智元报道

刚刚,Hugging Face的热榜,被一个中国团队屠了!

全球开源社区的语音和翻译两条黄金赛道上,骤然杀出一匹中国黑马,硬生生把OpenAI、谷歌、英伟达这帮国际大厂全给踹到了身后。

它就是网易有道。

对,就是你考四六级那年,天天开着查单词的那个有道。

语音识别Trending榜,R2T2登顶

翻译Trending榜,T3PO登顶

发布仅仅5天,有道开源的真流式语音识别模型R2T2和流式翻译模型T3PO,就在全球极客用脚投票的Hugging Face上暴力登顶,双双坐上语音识别和翻译两张Trending榜的王座!

两张榜单摆在一起,排面直接拉满。

  • 语音识别榜,R2T2排第一,OpenAI家的大杀器Whisper-large-v3屈居第六,英伟达Nemotron掉到了第八。

  • 翻译榜,T3PO同样是榜首,谷歌、Meta那些名震江湖的翻译界老前辈,全被挤到了后头。

这两个模型背后,藏着有道的大野心。

从说,到听,到译,Voice Agent要用到的语音本事,它要一口气全部配齐。刚一亮相,就锋芒毕露,势不可挡。

全球极客排队给它搞基建

官方亲自下场送算力

登顶之后的这一周,海外开发者圈子一下子沸腾了。

R2T2开源还没几天,全世界的极客就像发现了新大陆一样扑了上来,争先恐后地给它「修路」。

第一个动手的硬核大佬叫davidxifeng。他给近3000 star的C++音频框架audio.cpp提交代码,把R2T2的核心机制用C++从头重写了一遍。9月19日,代码正式合入主分支。

这下R2T2彻底甩掉了Python,连昂贵的显卡都用不着,在苹果M3芯片上就能狂飙出8倍实时速度。

紧接着,一连串离线工具像下饺子一样冒了出来。Core ML适配版出了,能把30种语言实时翻成英文的全离线字幕工具也做出来了,Mac语音输入工具TypeWhisper还专门给它写了离线插件。

这波热潮,连Hugging Face官方都被惊动了。他们亲自下场,主动给R2T2搭了个ZeroGPU在线Demo,还倒贴了免费算力。

Hugging Face上的ZeroGPU在线Demo

海外量化圈也加班加点,赶出了从Q2到Q8的全套GGUF量化版本,llama.cpp、Ollama拿来就能跑。

这待遇,过去只有顶流开源大模型才能享受到。

Streamlit的布道师Charly Wargnier连夜码了一篇长帖,开头一行大写加粗,语音Agent有个要命的转写bug,它们老爱把已经吐出来的字偷偷改掉。现在,中国团队开源了一个模型,直接把这个问题给秒了!

AI博主Alvaro Cintas感慨道,只有2B参数,200毫秒延迟,每个词只要一吐出来就当场定稿,绝不反悔,而且100%开源。

一个语音识别模型,凭什么让全世界的极客像疯了一样抢着搬?就凭它身上一个多数同行还没练成的硬核本事。

力压OpenAI登顶,R2T2凭什么

「给张伟转三百块,不对,是三千块,备注写九月房租。」

这种说到一半突然改口的破事儿,谁都干过。

我们把这句话同时喂给Whisper和R2T2。Whisper用的是常见的「伪流式」做法,每隔零点几秒把整句话从头再认一遍。好戏开场了。

Whisper那边,字幕疯狂闪烁,边听边改。金额一度被改成了九千元,过了半秒多才改回三千,要是助手手快,这笔钱就按九千转出去了。

R2T2这边,字只要一上屏就纹丝不动,收款人、金额、备注一次全对,稳如泰山。

换个场景,定闹钟。「明天早上六点半叫我起床,算了,七点吧,每隔五分钟再响一次。」

Whisper的起床时间在六点半、七点半、七点之间来回横跳,最后把「七点吧」听成了「七点八」,「再响一次」也成了「再想一次」。R2T2依然一次到位。

点外卖也好不到哪去,Whisper的菜名在「公保鸡丁」和「宫宝鸡丁」之间来回改了好几次,就是没写对。

场景换了一个又一个,Whisper每一回都在边听边改,R2T2一个字都没回头改过。

平时看剧开字幕,前面几个字突然闪一下变了,忍忍也就过去了。

但如果字幕后面接的是一个会转账、会买票、会导航的AI Agent,前面偷偷改一个字,就是一场灾难。

所以到了Voice Agent时代,「不反悔」成了最致命的刚需。

人类同传圈有条老规矩,说出口的话绝不能收回,译错了只能硬着头皮往下补。这条规矩,AI过去死活学不会,R2T2偏偏把它拿捏了。

R2T2的全称是Real Real-Time Tranion,意思是「真·真·实时转写」,名字本身就透着一股底气。

它的解法堪称暴力美学,逼模型学会两个动作,Commit(落子)和Wait(闭嘴)。

每溜进来80毫秒的音频碎片,模型就得做一次灵魂拷问,这几个字我听死准了吗?

听准了,直接Commit,提交出去的字就像刻在了石头上,再也不准动。没听清,就果断Wait,按住不发,再多听80毫秒。

实测显示,同一个基础模型,不做这套训练,直接硬逼它每160毫秒边听边出字,中文字错率高达39.72%,基本属于胡言乱语。

用这套「最长稳定前缀」(LSP)方法训过之后,错误率直接暴降到3.48%,差了整整十倍!

拉上其他模型一比,更是降维打击。

同样是每160毫秒出一次字,英伟达Nemotron 3.5错误率20.64%,Mistral的Voxtral Mini 29.59%,R2T2只有6.42%。

中文测试集,160毫秒配置下的字错误率与延迟

不仅如此,团队还把两家头部商业API拉进来打擂台。

它们可以随时回头改字,英文错误率6.20%,延迟0.95秒起步。R2T2死守「落子无悔」,错误率硬是压到了6.13%,延迟只有0.55秒。

又准,又快,还绝不反悔。对手悔棋都下不过它,这找谁说理去?

英文测试集,真流式与伪流式两组对比

准确率与延迟的帕累托前沿,R2T2都在左下角

光看论文不过瘾,我们直接上了有道的官方在线Demo,把各种刁钻的说法挨个喂给它。

不管怎么测,屏幕上的字只往后长,一次都没有回头改过。「落子无悔」这四个字,果然不是白叫的。

中英夹杂的购物指令,「在京东买一根Type-C的充电线,一米五的,别买成Lightning的」,一个英文词都没落下。

遇到人名、产品名这类生僻词,在Demo的「技术词汇」里填一下就行,周枫、Hugging Face、魔搭这些词,填上之后全部认对。

T3PO,你负责听,我负责译

如果说R2T2摆平的是「听」,那么T3PO搞定的就是「译」。

T3PO的全称是simulTaneous Translation via pareTo Policy Optimization,和R2T2凑在一起,摆明了是在致敬星战里那对无敌机器人搭档R2-D2和C-3PO。

同传里最要命的矛盾,译得快就容易错,想译准就得等。

T3PO的绝招是让模型自己拿主意,上下文够了就开译,不够就再等一等,再把这个「读还是写」的决策练到最优。

T3PO在五个测试集上的质量与延迟,红线是T3PO

这两个模型一串起来,奇迹就发生了。R2T2负责把定了稿的增量文字一块块扔过来,T3PO拿到就当场开译。

整条链路从「说完,识别,翻译」的串行模式,直接进化成了「边说,边听,边理解,边翻译」的极速全流式管道。

我们拿T3PO实测了一圈,中文英文来回切,原话说完一秒多,译文就跟了上来,丝滑得就像旁边真坐着一位人类同传。

再来一个同传最怕的场景,说话人自己改口。

「明天上午十点,哦不对,是下午两点,在三楼会议室开会,大家记得带电脑。」

T3PO已经把「上午十点」译了出去,收不回来,它就像真人同传一样,顺口接了一句「oh, sorry」,再把下午两点补上。

报财报也难不倒它。

「今年第三季度,公司营收三十七亿五千万元,同比增长百分之二十三点六,净利润一亿两千万元」,它等数字说完才开口,3.75 billion、23.6%、120 million,一个没错。

就连「So, um, basically, like, you know」这种满嘴口头禅的英文,它也不硬译,直接提炼成一句干净的「我们或许应该把发布日期推迟到下周」。

中国AI的下一场恶战

打在Voice Agent的入口

过去两年,大家夸「中国模型厉害」,夸的基本都是通用大模型主榜。

Hugging Face今年夏天的报告里有个数字,2026年的大部分月份里,中国实验室发布的最大开源模型在参数规模上都超过了美国同行。

如今,中国模型的领先正从主榜一路蔓延到语音、翻译、多模态、视频这些刺刀见红的细分赛道。网易有道这次双登顶,就是从「主榜领先」走向「全谱系领先」最锋利的一块拼图。

而这块拼图,有道早就开始布局了。

2023年,有道推出国内首个教育大模型「子曰」。今年5月开源多模态推理引擎,6月开源支持14种语言零样本语音克隆的TTS引擎Confucius4-TTS,9月又用R2T2和T3PO补齐了识别和翻译两端。

从说到听再到译,语音交互的完整闭环,有道用一年半时间硬生生打通了。

这套能力早已在真实场景里真刀真枪地上岗。有道的AI同传累计服务了2500万用户,使用次数一年就翻了一倍。

9月16日的有道AI Open Day上,CEO周枫曾表示,「模型体现的是聪明,Agent体现的是能干,而工作流体现的是靠谱」。

未来的AI,要替人开会、做同传、接电话。在这场争夺Voice Agent终极入口的战争里,谁拥有一双听得准、又落子无悔的耳朵,谁就卡住了时代的咽喉。

而这双耳朵,中国团队已经造出来了,还彻底开源给了全世界。

中国AI的故事,也从主榜上的一枝独秀,走到了全谱系的多点开花。

目前R2T2和T3PO已在GitHub和Hugging Face全面开源,赶快去在线Demo爽一把,感受一下什么叫真正的赛博同传吧!

参考资料:

https://github.com/netease-youdao/Confucius4-R2T2

https://github.com/netease-youdao/Confucius4-T3PO

https://huggingface.co/netease-youdao/Confucius4-R2T2

https://huggingface.co/netease-youdao/Confucius4-T3PO

编辑:摩西 所罗门

秒追ASI

文章标签OpenAIGoogle
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多