AI 参与的语音世界真神奇，既可以将一个人的语音换成任何其他人的语音，也可以与动物之间的语音互换。

我们知道，语音转换的目标是将源语音转换为目标语音，并保持内容不变。最近的任意到任意（any-to-any）语音转换方法提高了自然度和说话者相似度，但复杂性却大大增加了。这意味着训练和推理的成本变得更高，使得改进效果难以评估和建立。

问题来了，高质量的语音转换需要复杂性吗？在近日南非斯坦陵布什大学的一篇论文中，几位研究者探究了这个问题。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/pdf/2305.18975.pdf
• GitHub 地址：https://bshall.github.io/knn-vc/

研究亮点在于：他们引入了 K 最近邻语音转换（kNN-VC），一种简单而强大的任意到任意语音转换方法。在过程中不训练显式转换模型，而是简单地使用了 K 最近邻回归。

具体而言，研究者首先使用自监督语音表示模型来提取源话语和参照话语的特征序列，然后通过将源表示的每个帧替换为参照中的最近邻来转换成目标说话者，最后使用神经声码器对转换后的特征进行合成以获得转换后的语音。

从结果来看，尽管 KNN-VC 很简单，但与几个基线语音转换系统相比，它在主观和客观评估中都能媲美甚至提高了清晰度和说话者相似度。

我们来欣赏一下 KNN-VC 语音转换的效果。先来看人声转换，将 KNN-VC 应用于 LibriSpeech 数据集中未见过的源说话者和目标说话者。

源语音00:11

合成语音100:11

合成语音200:11

KNN-VC 还支持了跨语言语音转换，比如西班牙语到德语、德语到日语、汉语到西班牙语。

源汉语00:08

目标西班牙语00:05

合成语音300:08

更令人称奇的是，KNN-VC 还能将人声与狗吠声互换。

源狗吠00:09

源人声00:05

合成语音400:08

合成语音500:05

我们接下来看 KNN-VC 如何运行以及与其他 jixian 方法的比较结果。

方法概览及实验结果

kNN-VC 的架构图如下所示，遵循了编码器 - 转换器 - 声码器结构。首先编码器提取源语音和参照语音的自监督表示，然后转换器将每个源帧映射到参照中它们的最近邻，最后声码器根据转换后的特征生成音频波形。

其中编码器采用 W*LM，转化器采用 K 最近邻回归、声码器采用 HiFiGAN。唯一需要训练的组件是声码器。

对于 W*LM 编码器，研究者只使用预训练的 W*LM-Large 模型，并在文中不对它做任何训练。对于 kNN 转换模型，kNN 是非参数，不需要任何训练。对于 HiFiGAN 声码器，采用原始 HiFiGAN 作者的 repo 对 W*LM 特征进行声码处理，成为唯一需要训练的部分。

图片

在实验中，研究者首先将 KNN-VC 与其他基线方法进行比较，使用了最大可用目标数据（每个说话者大约 8 分钟的音频）来测试语音转换系统。

对于 KNN-VC，研究者使用所有目标数据作为匹配集。对于基线方法，他们对每个目标话语的说话者嵌入求平均。

下表 1 报告了每个模型的清晰度、自然度和说话者相似度的结果。可以看到，kNN-VC 实现了与最佳基线 FreeVC 相似的自然度和清晰度，但说话者相似度却显著提高了。这也印证了本文的论断：高质量的语音转换不需要增加复杂性。

此外，研究者想要了解有多少改进得益于在预匹配数据上训练的 HiFi-GAN，以及目标说话者数据大小对清晰度和说话者相似度的影响有多大。

下图 2 展示了两种 HiFi-GAN 变体在不同目标说话者大小时的 WER（越小越好）和 EER（越高越好）关系图。

图片

网友热评

对于这个「仅利用最近邻」的语音转换新方法 kNN-VC，有人认为，文中使用了预训练语音模型，因此用「仅」不太准确。但不可否认，kNN-VC 仍然要比其他模型简单。

结果也证明了，与非常复杂的任意到任意语音转换方法相比，kNN-VC 即便不是最好，也同样有效。

图片

还有人表示，人声与狗吠互换的例子非常有趣。

图片

以上就是支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇的详细内容，更多请关注其它相关文章！

# 语音  # fig  # ai  # 使用了  # 越好  # 站上  # 提高了  # 德语  # 西班牙语  # 腾讯  # 有多  # 声码  # peech  # 高质量  # 招远品牌网站营销推广  # 可推广的免费网站  # 贵州提升关键词排名  # 湖北全网营销推广  # 便宜网站建设口碑推荐  # 沧州网站建设大全  # 抖音开始seo时间多长  # 成都桥下seo整站优化  # 服装营销推广的爆点  # 新网站建设经验分享范文 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： linux如何调出命令行  选哪个折叠屏手机好用  开机如何进入命令行模式  ai显示无法找到链接的文件是什么意思  公司的tm市盈率为负是什么意思  新装固态硬盘如何安装  html怎么使用typescript  安装固态硬盘如何设置  单片机显存怎么设置最佳  夸克为什么老是投屏失败  oracle中datediff函数怎么用 Oracle中DATEDIFF函数详解  element ui的好处  品道音响上的power键是什么意思  一帧是多少秒  什么是泛域名解析  命令行如何打开打印机  金色cmyk色值是多少  12306退票手续费最新规定  typescript是什么类型的语言  typescript有哪些版本  单片机程序负数怎么表示  ai怎么找链接文件位置教程  j*a数组求和怎么算  复制 命令如何撤销  苹果16有哪些改善  征信信誉不好如何恢复 如何修复不良征信方法  如何显示固态硬盘  阿里云盘修复工具怎么用  j*a怎么处理json数组  单片机log怎么看  苹果16多有哪些功能  分享一个稳定的ao3镜像网址  360n5锁屏壁纸怎么设置  春运抢票最快几天能成功  5G手机导航怎么旋转  喇叭上标的power30w是什么意思  苹果手机16系统有哪些  gs是什么意思  显示器power接口是什么意思  j*a数组对象怎么取  旧固态硬盘如何卖出  typescript怎么用  单片机怎么连接电路图  如何找出命令行  j*a对数组怎么使用  如何自己加装固态硬盘  typescript怎么使用map  单片机for循环怎么用  电脑如何查看固态硬盘  市盈率300是什么意思