#进入虚拟环境& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1#安装py包pip install -r requirements.txt#启动对接b站直播程序#一:1.b站直播间 2.api web#二:1.fastgpt 1.text-generation-webui#三:输入你的B站直播间编号python bilibili-live-api.py
配置内容须知:人工智能名称:Ai_Name=34;吟美"B 站直播间鉴权:yml 配置-room_id、sessdata、ACCESS_KEY_ID、ACCESS_KEY_SECRET、APP_ID、ROOM_OWNER_AUTH_CODEroom_id:B 站直播间编号sessdata:直播间会话值ACCESS_KEY_ID、ACCESS_KEY_SECRET:在开放平台申请的开拓者密钥APP_ID:在开放平台创建的项目 IDROOM_OWNER_AUTH_CODE:B 站身份码Vtuber Studio 表情 websocket 做事:ws = websocket.WebSocketApp("ws://127.0.0.1:8001",on_open = on_open)以下是表情鉴权,详细看文档【十三、Vtuber 表情掌握-获取令牌和授权】:vtuber_pluginName="自定义插件名称"vtuber_pluginDeveloper="winlone"vtuber_authenticationToken="这个令牌从获取令牌接口获取"鉴黄做事:nsfw_server="192.168.2.198:1801"语音合成:gtp_vists_url="192.168.2.58:9880"语音合成线程池:speech_max_threads: 5舞蹈功能:OBS 软件的 websocket 做事【用于舞蹈、表情播放、场景切换、背景音乐播放等】obs = ObsWebSocket(host="192.168.2.198",port=4455,password="123456")舞蹈视频抽取路径【支持子文件夹】dance_path = 'H:\人工智能\ai\舞蹈视频\横屏'表情视频抽取路径【支持子文件夹】emote_path = 'H:\人工智能\ai\舞蹈视频\表情'场景音乐:song_background={"海岸花坊":"J:\ai\背景音乐\海岸花坊.rm", "神社":"J:\ai\背景音乐\神社.mp3", "清晨房间":"J:\ai\背景音乐\清晨房间.mp3", "粉色房间":"J:\ai\背景音乐\粉色房间.rm", "花房":"J:\ai\背景音乐\花房.mp3"}唱歌做事 Auto-Convert-Music地址:singUrl = "192.168.2.58:1717"打消不须要学习的歌曲【支持正则】:song_not_convert绘画做事 stable-diffusion-webui地址:drawUrl = "192.168.2.58:7860"谈天做事 text-generation-webui地址:tgwUrl = "192.168.2.58:5000"谈天做事 fastgpt知识库地址:fastgpt_url = "192.168.2.198:3000"fastgpt 令牌:fastgpt_authorization="Bearer fastgpt-GNtIO9ApmbiFdC0R5IVkoXN5TGdGyiURh7bJ8i8CTyVINpU3GjN4Wr"搜索做事代理:duckduckgo_proxies="socks5://127.0.0.1:10806"搜图做事代理:proxies = {"http": "socks5://127.0.0.1:10806", "https": "socks5://127.0.0.1:10806"}流式分割字符:split_flag=",|,|。|!|!
|?|?|\n"流式分割字符数量:split_num = 4
fastgpt:https://github.com/labring/FastGPTone-api:https://github.com/songquanpeng/one-apiXinference:https://github.com/xorbitsai/inference启动:利用 window WSL 的 docker 启动,启动流程看教程文档第 23 点教程视频:https://www.bilibili.com/video/BV1SH4y1J7Wy/
2-2、(可选)启动 LLM 谈天做事 text-generation-webui项目 github:https://github.com/oobabooga/text-generation-webui
#进入虚拟环境& 盘符:py虚拟空间路径/Scripts/Activate.ps1#安装py包pip install -r requirements.txt#启动text-generation-webui程序,start.bat是我自定义的window启动脚本./start.bat
window 的 bat 启动命令:
python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16
API 访问:http://127.0.0.1:5000/
3、(必选)语音合成-Ai 发声项目地址:https://github.com/fishaudio/Bert-VITS2启动:利用 Bert-VITS2-clap-novq-ui 里面的 start.bat 启动定制页面:hiyoriUI.py 包含中英日稠浊语音合成方法,须要放到对应项目,不一定兼容效果:Ai 与用户的语音互动,包括:谈天、绘画提示、唱歌提示、舞蹈提示等
4、(可选)启动绘画做事 stable-diffusion-webui项目地址:https://github.com/AUTOMATIC1111/stable-diffusion-webui
#进入虚拟环境& 盘符:py虚拟空间路径/Scripts/Activate.ps1#安装py包pip install -r requirements.txt#配置api做事webui-user.bat@echo offset PYTHON=.\pydraw\Scripts\python.exeset GIT=set VENV_DIR=.\pydraw\set COMMANDLINE_ARGS=--apicall webui.bat#启动text-generation-webui程序,start.bat是我自定义的window启动脚本./webui-user.bat
6、(可选)启动唱歌做事 Auto-Convert-Music
原创开拓者:木白 Mu_Bai、宫园薰ヾ(≧∪≦)ノ〃项目地址:https://github.com/MuBai-He/Auto-Convert-Music启动:利用 Auto-Convert-Music 里面的 start.bat 启动效果:输入“唱歌 歌曲名称”,触发 Ai 从歌库学习唱歌
7、(必选)皮肤启动,安装 steam,安装 VTube Studio这个自行下载 steam 平台,在平台里面有一个 VTube Studio 软件,它便是启动 live2D 的虚拟主播皮肤
8、(必选)虚拟声卡驱动安装虚拟声卡:虚拟声卡驱动(Virtual Audio Cable)4.66 官方版效果:Ai 主播的发声来源
9、(可选)AI 回答框【HTML 插件】把项目文件:ai-yinmei\html\chatui.html 放入 OBS 浏览器插件展示效果:Ai 的回答内容会在回答插件显示
10、(可选)歌单显示【HTML 插件】把项目文件:ai-yinmei\html\songlist.html 放入 OBS 浏览器插件展示效果:用户点歌的歌单会在上面以列脸色势显示:'xxx 用户'点播《歌曲名称》[正在播放]'xxx 用户 2'点播《歌曲名称》
11、(可选)韶光显示【HTML 插件】把项目文件:ai-yinmei\html\time.html 放入 OBS 浏览器插件展示
此外,须要在 text-generation-webui/models 路径放入 LLM 模型,我这里放的是 chatgml2 的模型,大家可以任意选择底层 LLM 模型,例如,千问、百川、chatglm、llama 等更多详细技能细节,请看技能文档:https://note.youdao.com/s/1k0x7BLt
12、(可选)舞蹈能力舞蹈视频的存放地址【支持子文件夹存放】:dance_path = 'J:\ai\舞蹈视频\横屏'效果:输入舞蹈,立即进行舞蹈视频随机抽取播放;输入\停滞舞蹈,可以立即停滞舞蹈
13、(可选)弹出视频表情表情视频的存放地址【支持子文件夹存放】:emote_path = 'H:\人工智能\ai\舞蹈视频\表情'效果:输入#rnd 或者 #表情视频文件名,立即进行表情视频播放,#rnd 为随机播放表情视频表情视频的名称展示【支持子文件夹存放】:emote_font = 'H:\人工智能\ai\舞蹈视频\表情\表情符号'效果:表情名称会显示在 obs 的字体控件,提示用户可以输入这些表情名称
14、(可选)funasr 语音识别客户端打开客户端页面:./funasr/html-client/index.html做事端:须要根据阿里 funasr进行配置, 建议安装容器,参考做事器支配文档:
docker run -p 10095:10095 --name funasr -it --privileged=true -v /j/ai/ai-code/funasr/models:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.9
项目链接
https://github.com/worm128/AI-YinMei