AI确实可以改变天下。对付一个音乐爱好者，AI能帮助做什么呢？实在上上目前AI确实已经能做很多事情了，这便是本日要先容的一个大模型AITabs。AITabs是由专业人士创建的基于Transformer的稠浊多模态模型，利用各种Transformer模型办理音乐信息检索领域各种专业问题，依赖模型天生相应的相互影响的信息依赖关系。这是一个专注于音乐的人工智能驱动的多模式项目。 可以根据任何歌曲，自动天生其和弦、节拍、歌词、旋律和标签。
技能架构其底层的技能架构如下：
U-Net用于从原始音视频源等分离出网络模型用来进行各种任务，包括Pitch-Net, Beat-Net, Chord-Net和Segment-Net均为基于Transformer的专业大模型。除了建立频率和韶光之间的干系性之外，最主要的是可以建立不同网络之间的相互影响。
全体人工智能驱动的流程是在aitabs.py，而各种网络构造模型可以参考model文件夹。
U-Net和Segment-Net利用音频的stft频谱作为输入。Beat-Net利用鼓、贝司和其他乐器的三个频谱图作为输入，Chord-Net利用背景音乐的一张频谱图。
功能和弦：音乐和弦检测，包括大调、小调、7、maj7、min7、6、m6、sus2、sus4、5、倒和弦。确定歌曲的调子。
节拍：音乐节拍、强拍检测和节奏 (BPM)跟踪
音高：跟踪音轨中旋律的音高。
音乐构造：音乐片段边界和标签，包括前奏、主歌、副歌、桥段等。
歌词：音乐歌词识别和自动歌词到音频对齐，利用ASR（耳语）来识别声乐轨道的歌词。歌词和音频的对齐是通过微调wav2vec2预演习模型来实现的。目前支持英语、中文、西班牙语、葡萄牙语、俄语、日语、韩语、阿拉伯语等数十种措辞。
AI Tabs：利用和弦、节拍、音乐构造信息、歌词、节奏等天生可播放的乐谱，包括和弦图和六线五线谱，支持和弦、节奏、歌词的编辑功能。
其他：音源分离、速率调节、变调等。
模型和试用模型目前在Github（github：/AIAudioLab/AITabs）开放了源代码，为Python编写，目前不愿定是不是可以完全运行的代码（后续有空可以可以研究一下）。其余供应了网站，可在其站点（lamucal.ai）上试用基本功能，虫虫试了一下功能都是正常而且强大。
只需通过其搜索框搜索歌曲的名称，比如搜索刘欢的《豪杰歌》
然后选择其结果（油管来源）中对应的歌就会自动启动AI模型天生各种音乐元素，还可以选择天生歌词。
末了就会给出一个综合界面，可以选择旋律和Tabs标签页显示干系内容，其右上角有个V选择，可以选择吉他，钢琴等乐器种类天生对应乐器的乐谱表示形势。最右边为播放按钮、速率按钮和其他功能按钮（有些须要下载其APP才能用）
有试了下其他歌：
是否要天生歌词和旋律模式：
目前创造一个问题便是由于歌曲来自油管，可以进行AI天生操作，但是不是播放，利用分外办法可以播放时，歌词、曲谱都是和播放同步进行的，对付不懂乐谱和乐器同学，那他来当卡拉ok看歌词也是棒棒的。
末了试了一首老歌《红梅赞》，播放一下，特殊选了一个老外来唱，歌词也是跟上调子的！
总结
AI改变天下，紧张是对行业和专业领域的革命性改造，而不仅仅是对个话、天生一个图片，天生一个视频。本文提到这个模型便是在音乐领域的打破，确实比较震荡，希望各个专业领域类似的模型都能百花齐放，一起欢迎AI的春天。