文章总结： 国外团队利用超声波记录舌头运动实现静默语音识别，在50小时数据集上训练模型，开放词汇词错误率达15.6%，接近唇读技术。该技术优势在于私密性和舌位信息丰富，但当前硬件需小型化且对非美式口音识别效果不佳。研究采用ResNet-18和Whisper模型，训练分两阶段，未来需解决探头体积和耦合材料问题。 综合评分： 80 文章分类： AI安全,其他

---

超声波实现静默语音识别

原创

黑鸟 黑鸟

黑鸟

2026年7月12日 23:38 广东

在小说阅读器读本章

去阅读

国外一团队训练了一个模型，能够在说话者保持静默的状态下，通过舌头的超声记录预测语音内容。在开放词汇语音任务中，这套系统的词错误率达到 15.6%。（alephneuro.com/blog/silent-speech）

作为对比，唇读技术在 100 万小时数据集上训练后，词错误率为 12.5%。令研究团队惊喜的是，尽管这只是一项基于 50 小时数据集、耗时仅一个月完成的早期研究，他们的系统性能已经接近现有技术水平。

研究人员将超声探头放置在下巴下方，采集舌头的动态影像，再将影像内容转换为文字。

已关注

关注

重播 分享 赞

关闭

观看更多

更多

退出全屏

切换到竖屏全屏退出全屏

黑鸟已关注

分享视频

，时长00:03

0/0

00:00/00:03

切换到横屏模式

继续播放

[ ]

进度条，百分之0

播放

00:00

/

00:03

00:03

倍速

全屏

倍速播放中

0.5倍 0.75倍 1.0倍 1.5倍 2.0倍

超清 流畅

继续观看

超声波实现静默语音识别

观看更多

转载

,

超声波实现静默语音识别

黑鸟已关注

分享点赞在看

已同步到看一看写下你的评论

视频详情

数日前，研究团队发现该模型还能适配新的使用者，前提是使用者操美式口音，团队身边来自东欧的朋友对这一适配限制并不满意。符合口音要求的受试者只需拿起探头，就能直接使用这套系统。团队此前并未料到，仅靠如此少的数据就能实现跨使用者的泛化效果。

详细视频见下：

静默语音的价值

语音输入的速度大约是打字的四倍，是人与计算机交互最快的方式之一。随着 AI 理解自然语言的能力不断提升，人们开始像科幻作品中设想的那样，仅通过对话就能与计算机交互。Wispr Flow 和 ChatGPT 语音版等工具已经拉开了这一趋势的序幕。

但常规语音输入存在一个明显局限。多数时候人们身边都有其他人，无论是咖啡店邻座的同事与陌生人，还是地铁上的乘客，使用者并不希望旁人听到自己与计算机的对话内容。

正如耳机让听音变得私密，静默语音技术可以让发声输入也成为私密行为。

目前静默语音检测有多种技术路径，包括肌电信号、雷达、唇读等，安迪・马图夏克曾在个人主页与 Patreon 平台发布过该主题的精简综述，内容详实。超声波技术的独特优势在于，影像可以直接清晰地呈现舌头状态，无需像肌电信号或雷达技术那样，从带有噪声的间接测量数据中推断口腔内部的动作。同时这项技术可以实现完全隐蔽的静默语音输入，从原理上讲，旁人甚至无法察觉使用者正在进行静默语音输入。

此外，舌头承载了大量语音相关信息。英语共有 40 个音素，其中约 34 种不同的音素类别对应不同的舌位形态。部分音素对例如 /t/ 与 /d/、/s/ 与 /z/ 的核心差异在于声带是否振动，而非舌位区别，但二者在舌根处仍存在细微差异，超声波技术可以捕捉到这些细节。相比之下，可通过视觉区分的唇形仅有 10 到 14 种左右。

颏下超声脉冲穿过口底向上传导至舌头，可拖动旋转查看结构。

已关注

关注

重播 分享 赞

关闭

观看更多

更多

退出全屏

切换到竖屏全屏退出全屏

黑鸟已关注

分享视频

，时长00:06

0/0

00:00/00:06

切换到横屏模式

继续播放

[ ]

进度条，百分之0

播放

00:00

/

00:06

00:06

倍速

全屏

倍速播放中

0.5倍 0.75倍 1.0倍 1.5倍 2.0倍

超清 流畅

继续观看

超声波实现静默语音识别

观看更多

转载

,

超声波实现静默语音识别

黑鸟已关注

分享点赞在看

已同步到看一看写下你的评论

视频详情

数据与基础设施

研究团队自行采集了静默语音对应的舌头超声影像数据集。

要训练出性能优异的模型，数据需要满足两个条件。第一，超声记录必须清晰呈现舌头；第二，受试者必须准确读出指定文本。两项要求的实现难度都远超预期，受试者会产生疲劳、发音含糊，或是探头握持姿势不当。

搭建数据采集方案时，团队面临的首个问题是，应当让受试者静默发音还是出声朗读。

团队的最终目标是解码静默语音，但出声朗读的语音可以方便研究人员校验受试者的发音是否准确。通过观察舌头影像记录，研究人员发现静默发音与出声朗读的舌部运动规律高度相似。团队因此判断，可以采集出声朗读的超声语音数据，借助音频完成数据质量校验，最终训练出的模型依然能够适配静默语音场景。

为了校验出声数据的质量，研究团队要求受试者出声朗读，再将音频转写为文本，核对内容是否与指定语句一致。团队还部署了实时超声质量分类器，用于检测探头位置偏移或耦合不佳的情况，同时安排督导人员通过实时仪表盘全程监控采集过程。

团队最终采集了 50 小时的受试者朗读数据，朗读材料为人工生成的短篇故事。

团队选择故事而非孤立短语作为采集素材，因为故事更易朗读，也能产生更自然的语音。受试者可以保持流畅的阅读状态，同时研究人员仍能控制数据覆盖范围，包括丰富的词汇、多样的句式，以及冠词、缩约形式等识别难点。

模型训练

这项任务描述简单但实现难度很高，输入舌头的超声视频，输出对应的语音文本。

研究团队没有从零开始训练整套模型，而是基于已有成熟模型搭建框架。视频编码采用 ResNet-18 2+1d 模型，文本解码则使用 Whisper Base 模型，负责将类语音嵌入向量转换为文本。

Whisper 是性能优异的语音转文本模型。研究团队发现，它的预训练解码器可以直接将语音嵌入向量转换为文本，实用性很强。团队只需将视频编码得到的嵌入向量映射到 Whisper 的嵌入空间即可。为实现这一点，团队训练舌部视频编码器，使其输出的嵌入向量，与对应音频经 Whisper 编码器输出的嵌入向量尽可能接近。

由于数据集规模有限，团队选用了参数量最小的 Whisper 解码器。训练初期模型状态很不稳定，要么出现模式崩溃，要么过度依赖自身的语言先验。但在训练约 2 万个样本后，模型开始出现符合预期的错误类型，例如把 acoustic 识别成 a key stick，把 hard 识别成 heart 等。

相比此前大量完全正确的识别结果，这类错误反而更让团队振奋。这说明模型开始从信号本身学习泛化规律，掌握了语音结构，而非单纯预测概率最高的词语序列。

训练分为两个阶段。第一阶段完成嵌入向量对齐，第二阶段实现端到端文本解码。

通过扩充数据集、开展更多消融实验、优化模型结构、改进后处理流程，包括生成多候选输出、采用集束搜索、加入句长感知机制、引入大语言模型作为判别器，团队在内部开放词汇跨说话人验证集上实现了 15.6% 的词错误率。不同研究中的静默语音识别指标可比性较低，各论文的任务设定差异极大，许多低词错误率的系统采用固定指令集、可见唇部视频或是植入式传感器。团队找到的最具可比性的纯超声跨说话人基线，在 TaL 数据集上的词错误率为 83.8%，而这套系统仅依靠约 50 小时的舌部超声数据就取得了远超基线的效果。

随着数据集规模扩大，词错误率持续下降。训练样本为 1.5 万时词错误率为 102%，样本量提升至 5 万时降至 15.6%，且目前仍没有趋于平稳的迹象。

目前这套系统仍处于早期原型阶段，尚未达到消费级产品标准。硬件层面最大的两个挑战，是缩小超声探头的体积与重量，以及用更实用的耦合材料替代超声耦合剂，例如水凝胶。团队认为两项问题都有解决方案，未来探头最终可以做成轻量化可穿戴设备，或是贴片式产品。

仅用 50 小时数据和一个月的开发周期，团队就实现了可跨使用者泛化的开放词汇转写功能。当前版本对非美式口音的识别效果仍不理想。但随着数据积累、模型优化和超声硬件小型化，这项技术将从研究演示走向日常实用场景。

往期：QuadRF项目：能穿墙 “看见” WiFi，还能追踪无人机

更多前沿情报信息：

---

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：黑鸟 黑鸟 黑鸟《超声波实现静默语音识别》