本日讲一下3种体验Bark文本转语音的方法
1、本地电脑安装
2、google colab云端支配
3、hugging face及replicate在线体验
1、本地安装
这个工具没有软件客户端,如果想利用的话须要自己配置环境,首先安装Python环境,打开Python网站下载页面:https://www.python.org/downloads/windows/ 下载稳定版3.10.11,如果是其它操作系统请对应选择。
下载到电脑上之后双击运行安装,把稳在安装时一定要勾选add python.exe to path,如果不会自定义安装全都默认即可
然后按键盘win+R键打开运行,输入cmd,点击确定,打开命令提示符界面。复制下面命令,然后鼠标右键单击命令提示符界面自动粘贴代码,然后回车运行,安装bark程序
pipinstallgit+https://github.com/suno-ai/bark.git
安装须要下载很多文件,韶光是非取决于你的网速,等到涌现下面的提示界面就表示bark安装完成了。
接下来安装代码编辑工具vs code,这个是微软出品的工具,打开网站下载链接:https://code.visualstudio.com/Download,.zip这个是免安装版的,解压后可以直接运行的。
vs code下载完成并打开它,点击左上角【文件】-【新建文本文件】,然后复制输入如下命令,然后保存为bark.py
frombarkimportSAMPLE_RATE,generate_audio,preload_modelsfromscipy.io.wavfileimportwriteaswrite_wavfromIPython.displayimportAudio#downloadandloadallmodelspreload_models()#generateaudiofromtexttext_prompt="""Hello,mynameisSuno.And,uh—andIlikepizza.[laughs]ButIalsohaveotherinterestssuchasplayingtictactoe."""audio_array=generate_audio(text_prompt)#saveaudiotodiskwrite_wav("bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)
系统提示有缺点,有个包没有导入,在cmd窗口中输入如下命令,回车安装ipython就可以了。
pipinstall-UIPython
再次返回vs code里,已经没有缺点提示了,然后点击右上角运行按钮,首次运行会下载模型文件,比较大,而且多个,大约超13G,须要一些韶光。
text_prompt 内容便是须要转换成音频的文本,音频天生完成后会保存在bark.py这个文件的相同文件夹内,如需天生其它文本,直接修正text_prompt 内容,如果须要改换发音人如v2/zh_speaker_7,可以在generate_audio里设置,如下面代码所示:
#generateaudiofromtexttext_prompt="""你知道本日星期几吗?"""audio_array=generate_audio(text_prompt,history_prompt="v2/zh_speaker_7")#saveaudiotodiskwrite_wav("bark_generation2.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)
在提示词前后加上音乐符号♪,音频将以歌唱的形式天生。还可以天生音效和非语音声音,如下显示
[laughter][laughs][sighs][music][gasps][clears throat]— or … for hesitations♪ for song lyricsCAPITALIZATION for emphasis of a word[MAN] and [WOMAN] to bias Bark toward male and female speakers, respectively
所有可用发音人列表:https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c
这个用的是CPU,没有利用显存。
2、google colab云端支配
首先打开谷歌Colaboratory,网站地址:https://colab.research.google.com/,如果没登录的话,点击页面右上角登录按钮登录google账号,然后点击页面左上角【文件】-【新建条记本】
然后点击页面左侧文件夹图标,然后点击谷歌云盘文件夹图标,链接谷歌云盘,
然后点击确定链接google云盘,接下来按提示操作就可以。
链接到谷歌云盘后创建的文件会自动保存到云盘,关闭colab也不会丢失了。然后在colab内右侧输入bark安装命令,然后点击左侧的三角号运行命令。
pipinstallgit+https://github.com/suno-ai/bark.git
这个过程42秒,安装完成后左侧三角号不再转圈了,下面显示successfully installed…..这个就代表安装成功了。
然后点击三角号上方【+代码】按钮新建代码输入框,输入如下命令:
frombarkimportSAMPLE_RATE,generate_audio,preload_modelsfromscipy.io.wavfileimportwriteaswrite_wavfromIPython.displayimportAudio#downloadandloadallmodelspreload_models()#generateaudiofromtexttext_prompt="""Hello,mynameisSuno.And,uh—andIlikepizza.[laughs]ButIalsohaveotherinterestssuchasplayingtictactoe."""audio_array=generate_audio(text_prompt)#saveaudiotodiskwrite_wav("/content/drive/MyDrive/ColabNotebooks/bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)
然后运行代码,系统就会开始将:Hello, my name is Suno. And, uh — and I like pizza. [laughs]But I also have other interests such as playing tic tac toe.这段文本转针言音,这个过程耗时时间会长一点,
语音天生完成后可以直接点击播放按钮播放音频,点击三个点可以将音频下载到本地。
路径设置为谷歌云盘路径/content/drive/MyDrive/Colab Notebooks,天生的文件会自动保存到云盘,
再次运行命令天生语音的话只输入下面这部分指令即可:
#generateaudiofromtexttext_prompt="""这里输入待转换针言音的文本内容。"""audio_array=generate_audio(text_prompt,history_prompt="v2/zh_speaker_7")#saveaudiotodiskwrite_wav("bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)
所有可用发音人列表:https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c
3、hugging face及replicate在线体验
https://huggingface.co/spaces/suno/bark
replicate在线体验链接:https://replicate.com/suno-ai/bark
这个网站须要先登录才能利用,用github账号登录,设置完成后点击下方的【submit】按钮即可天生,觉得这个网站天生速率比较快,但是是收费的。
如果电脑配置比较高的话可以在自己电脑上操作,其次的话荐用Google colab支配,速率适中,也无需付费。以上演示为15秒短音频天生教程。下期会做一期长音频天生教程。
bark上手略微有些难度,不像其它文本转语音那么大略,但是bark天生语音的功能确实很强大,目前英语发音比较好,其它措辞发音会带一些口音,比如就像老外说中文那样的发音,不过程序也在逐步完善过程中,期待往后会更强大。
原文:https://dyss.top/555