跳到主要内容
AI 与大模型资讯

英伟达发布 Nemotron 3.5 Transcribe,录音转写可标注不同说话人

支持最长 1 小时的录音,普通话可转写并与英语互译;音频问答仅在英语中评估。

麦克风与空白纸页的录音整理概念插画|来源:AI 生成
麦克风与空白纸页的录音整理概念插画|来源:AI 生成

英伟达 10 月 28 日发布语音模型 Nemotron 3.5 Transcribe,并开放模型权重供开发者下载。据官方介绍,该模型可将录音转成文字、翻译内容、区分不同发言者,并回答与录音有关的问题。

开发者可以用自然语言指定输出方式,例如要求按发言人转写、把录音译成英语,或回答会议中作出了什么决定。模型也支持词级时间戳,将转写文字对应到录音中的具体位置。

官方模型卡列出 40 种语言的覆盖情况,其中普通话支持转写、与英语双向翻译及多人转写。各项任务支持的语言不同,音频理解和问答仅在英语中评估,在其他语言中的表现可能不可靠。

这款模型面向已经录好的音频,支持最长 1 小时的录音,不提供实时流式转写。说话人标签的作用是区分同一段录音中的发言者,不能确认其现实身份。

与模型一同发布的 Granary v2 提供多语言语音数据的标注清单和处理工具,供开发者准备转写、翻译及音频问答等训练材料。发布内容不含原始录音,开发者需从各数据源另行获取,并遵守相应条款。

英伟达已在 Hugging Face 提供模型权重下载和在线演示入口,并给出自行部署及微调的文档。

参考信息

NVIDIA《NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt》(在新窗口打开)

NVIDIA《NVIDIA-Nemotron-3.5-Transcribe-30B-A4B — Model Card》(在新窗口打开)

NVIDIA《Granary-v2: Multilingual Speech Recognition, Translation and Instruction Data》(在新窗口打开)

配图署名:AI 生成(OpenAI 原生图像生成)

更新于

本文由 AI 辅助编写

这篇文章对你有帮助吗?

微信扫码分享

用微信扫一扫,发给朋友或分享到朋友圈。

文章链接的微信分享二维码

/articles/nvidia-nemotron-35-transcribe-granary-v2