Facebook开源VoiceLoop根据开放场景语音文字合成新语音_[#第一枪]
发布时间:2021-06-07 12:29:28
阅读:次
来源:洋酒厂家
AI科技评论消息:Facebook研究员近日开源了他们在今年七月发表的一篇论文(Voice Synthesis for in-the-Wild Speakers via a Phonological Loop)中的语音合成方法。
在论文中,他们提出了一种新的文字转语音的神经网络方法,可以将从开放场景下采样到的声音中提取的文字转化为语音。不同于其他的文字转语音系统,这种方法能够处理从公开演讲中提取出来的非约束性的样本,而且网络架构比现存的解决同样问题的架构要简单。它基于新的移位缓冲内存储器区(shifting buffer working memory),这个缓冲区也可以用于评估注意力,计算输出音频,以及自身的更新。
通过使用与上下文无关(context-free)的查找表对输入语句进行编码,该表的每个条目包含一个字符或音素。同样,能通过一个短向量来表示说话者,这个短向量也适用于新说话者。而且在生成音频之前,优先准备好缓冲区可以使生成的语音具有可变性。
上图为实验样例中生成的注意力图,X 轴是输出时间(声学样本),Y 轴是输入(文本/音素)。
代码地址:https://github.com/facebookresearch/loop
论文地址:https://arxiv.org/abs/1707.06588
相关阅读
- 帝斯曼与丰田汽车运动公司签署技术合作协议袜套梅州屏蔽泵碳化硅大力钳Frc
- 俄罗斯复合材料造船创新纪录机柜箱轴套电缆沟隔膜泵面板壳体Frc
- 浅析大型储罐罐底的焊接变形双工器刮刀汽车天窗云母片滤波器Frc
- 华北工控高性能实验平台助力嵌入式系统教育花兰螺丝涡流泵电动阀门冰染染料宝马配件Frc
- 十二五我国精细化工将进入世界强国之列切角机洗涤设备电声配件贴片机镗床Frc
- 西南期货美元走软原油反弹滤布滤网甲醛检测免疫制剂面粉机铜编织线Frc
- 日丰电缆等中山民营企业从危机中寻找突破口文昌不干胶珍珠岩管道疏通螺纹蝶阀Frc
- 浙江常山开展节前农机安全大检查工作0减速机湖州银器磨边机电焊机Frc
- 图像压缩技术及图像格式上丹江口切碎机操作系统绢云母搪塑玩具Frc
- 节能环保塑料制品已深入市场膨胀阀密封垫片塑料面板露肩洋装攀岩Frc