亚洲中文字幕无码久久2021,杂交bucsm人类ssba,99国内精品久久久久久久,国内少妇人妻偷人精品免费视频

網(wǎng)絡(luò)消費(fèi)網(wǎng) >  科技 > > 正文
3秒復(fù)制任何人的嗓音!微軟音頻版DALL·E細(xì)思極恐 連環(huán)境背景音也能模仿
時(shí)間:2023-01-11 16:35:48

只需3秒鐘,一個(gè)根本沒(méi)聽(tīng)過(guò)你說(shuō)話的AI,就能完美模仿出你的聲音。


(資料圖片)

是不是細(xì)思極恐?

這是微軟最新AI成果——語(yǔ)音合成模型VALL·E,只需3秒語(yǔ)音,就能隨意復(fù)制任何人的聲音。

它脫胎于DALL·E,但專攻音頻領(lǐng)域,語(yǔ)音合成效果在網(wǎng)上放出后火了:

有網(wǎng)友表示,要是將VALL·E和ChatGPT結(jié)合起來(lái),效果簡(jiǎn)直爆炸:

看來(lái)與GPT-4在Zoom里聊天的日子不遠(yuǎn)了。

還有網(wǎng)友調(diào)侃,(繼AI搞定作家、畫(huà)家之后)下一個(gè)就是配音演員了。

所以VALL·E究竟怎么做到3秒鐘模仿“沒(méi)聽(tīng)過(guò)”的聲音?

用語(yǔ)言模型來(lái)分析音頻

基于AI“沒(méi)聽(tīng)過(guò)”的聲音合成語(yǔ)音,即零樣本學(xué)習(xí)。

語(yǔ)音合成趨于成熟,但之前零樣本語(yǔ)音合成效果并不好。

主流語(yǔ)音合成方案基本是預(yù)訓(xùn)練+微調(diào)模式,如果用到零樣本場(chǎng)景下,會(huì)導(dǎo)致生成語(yǔ)音相似度和自然度很差。

基于此,VALL·E橫空出世,相比主流語(yǔ)音模型提出了不太一樣的思路。

相比傳統(tǒng)模型采用梅爾頻譜提取特征,VALL·E直接將語(yǔ)音合成當(dāng)成了語(yǔ)言模型的任務(wù),前者是連續(xù)的,后者是離散化的。

具體來(lái)說(shuō),傳統(tǒng)語(yǔ)音合成流程往往是“音素→梅爾頻譜(mel-spectrogram)→波形”這樣的路子。

但VALL·E將這一流程變成了“音素→離散音頻編碼→波形”:

具體到模型設(shè)計(jì)上,VALL·E也和VQVAE類(lèi)似,將音頻量化成一系列離散tokens,其中第一個(gè)量化器負(fù)責(zé)捕捉音頻內(nèi)容和說(shuō)話者身份特征,后幾個(gè)量化器則負(fù)責(zé)細(xì)化信號(hào),使之聽(tīng)起來(lái)更自然:

隨后以文本和3秒鐘的聲音提示作為條件,自回歸地輸出離散音頻編碼:

VALL·E還是個(gè)全能選手,除了零樣本語(yǔ)音合成,同時(shí)還支持語(yǔ)音編輯、與GPT-3結(jié)合的語(yǔ)音內(nèi)容創(chuàng)建。

那么在實(shí)際測(cè)試中,VALL·E的效果如何呢?

連環(huán)境背景音都能還原

根據(jù)已合成的語(yǔ)音效果來(lái)看,VALL·E能還原的絕不僅僅是說(shuō)話人的音色。

不僅語(yǔ)氣模仿到位,而且還支持多種不同語(yǔ)速的選擇,例如這是在兩次說(shuō)同一句話時(shí),VALL·E給出的兩種不同語(yǔ)速,但音色相似度仍然較高:

同時(shí),連說(shuō)話者的環(huán)境背景音也能準(zhǔn)確還原。

除此之外,VALL·E還能模仿說(shuō)話者的多種情緒,包括憤怒、困倦、中立、愉悅和惡心等好幾種類(lèi)型。

值得一提的是,VALL·E訓(xùn)練用的數(shù)據(jù)集不算特別大。

相比OpenAI的Whisper用了68萬(wàn)小時(shí)的音頻訓(xùn)練,在只用了7000多名演講者、6萬(wàn)小時(shí)訓(xùn)練的情況下,VALL·E就在語(yǔ)音合成相似度上超過(guò)了經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)音合成模型YourTTS。

而且,YourTTS在訓(xùn)練時(shí),事先已經(jīng)聽(tīng)過(guò)108個(gè)演講者中的97人聲音,但在實(shí)際測(cè)試中還是比不過(guò)VALL·E。

有網(wǎng)友已經(jīng)在暢想它可以應(yīng)用的地方了:

不僅可以用在模仿自己的聲音上,例如幫助殘障人士和別人完成對(duì)話,也可以在自己不想說(shuō)話時(shí)用它代替自己發(fā)語(yǔ)音。

當(dāng)然,還可以用在有聲書(shū)的錄制上。

不過(guò),VALL·E目前還沒(méi)開(kāi)源,要想試用可能還得再等等。

作者介紹這篇論文所有作者均來(lái)自微軟,其中有三位共同一作。

一作Chengyi Wang,南開(kāi)大學(xué)和微軟亞研院聯(lián)合培養(yǎng)博士生,研究興趣是語(yǔ)音識(shí)別、語(yǔ)音翻譯和語(yǔ)音預(yù)訓(xùn)練模型等。

共同一作Sanyuan Chen,哈工大和微軟亞研院聯(lián)合培養(yǎng)博士生,研究方向包括自監(jiān)督學(xué)習(xí)、NLP和語(yǔ)音處理等。

共同一作Yu Wu,微軟亞研院NLP小組研究員,在北航獲得博士學(xué)位,研究方向是語(yǔ)音處理、聊天機(jī)器人系統(tǒng)和機(jī)器翻譯等。

關(guān)鍵詞: vall 語(yǔ)音合成 vall·e dall

版權(quán)聲明:
    凡注明來(lái)網(wǎng)絡(luò)消費(fèi)網(wǎng)的作品,版權(quán)均屬網(wǎng)絡(luò)消費(fèi)網(wǎng)所有,未經(jīng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明"來(lái)源:網(wǎng)絡(luò)消費(fèi)網(wǎng)"。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
    除來(lái)源署名為網(wǎng)絡(luò)消費(fèi)網(wǎng)稿件外,其他所轉(zhuǎn)載內(nèi)容之原創(chuàng)性、真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考并自行核實(shí)。
熱文

網(wǎng)站首頁(yè) |網(wǎng)站簡(jiǎn)介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
 

Copyright © 2000-2020 www.ffpps.com All Rights Reserved.
 

中國(guó)網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書(shū)面授權(quán) 不得復(fù)制或建立鏡像
 

聯(lián)系郵箱:920 891 263@qq.com

備案號(hào):京ICP備2022016840號(hào)-15

營(yíng)業(yè)執(zhí)照公示信息

一本色道久久综合亚洲精品| 无人在线完整免费高清观看| 一本一道波多野结衣AV中文| 双乳被一左一右的吸着| 国产精品女人呻吟在线观看| 柔术美女全婐体一丝不一挂| 亚洲av国产爽歪歪无码| 日本无码sm凌虐强制m字开腿| 可以免费看美女隐私的app| 无码欧美多人性站交大战| 亚洲综合欧美在线一区在线播放| 玉蒲团夜宵魂免费观看| 国产精品亚洲精品日韩已方| 女人与zzzooooxxxx| 啊灬啊灬啊灬快灬高潮了听书 | 黑人超级bigblack| 手机在线看片| 亚洲欧美日本| 3男s调教玩弄一女m文| 欧美激情一区二区三区| 成人白浆超碰人人人人| 免费a级毛片18禁网站免费| 精品人妻系列无码人妻在线不卡| 老牛精品亚洲成av人片| 亚洲av无码一区二区三区四区| 精品香蕉一区二区三区 | 免费高清视频在线观看| 国产成人久久精品激情| 一女被多男玩喷潮视频免费看 | japanese成熟丰满熟妇| 久久兔费黄a级毛片高清| 日产精品一卡2卡三卡4乱码| 脱胱了曰批30分钟免费app| 免费无码一区二区三区a片百度 | 沦为黑人的泄欲工具| 国产精品久久人妻互换| python人狗大csdn| 最近中文版字幕2019日本| 在教室伦流澡到高潮h免费视频| 超级yin荡的公司聚会| 亚洲欧美国产精品专区久久|