奇喵相机主页图。
近日，天琴实验室正式发行MUSELight 2.0版本，这一业内领先的大模型推理加速运用，将从技能层面帮忙行业办理大措辞模型（Large Language Models，LLMs）及Stable Diffusion（SD）模型在实际支配运用上的难点，为LLM和SD模型在多个领域的运用落地供应了有力支持，助推企业和机构更好实现数字化转型和智能化升级。
1
助力办理大模型支配难点，MUSELight 2.0版技能再升级
近一年来，在自然措辞处理（Natural Language Processing，NLP）领域，随着ChatGPT等大措辞模型问世，国内外开源大措辞模型生态逐渐丰富，在不同领域均涌现了弘大的需求和运用落地案例。此外，SD模型也在视觉天生领域掀起了一场“工业革命”，带动了一批新的AI画图需求和落地运用。然而，大模型支配所需的本钱及硬件哀求，让多数企业望而生畏。如何提高模型的推理速率，并在一卡难求的情形下提高显卡利用率，降落大模型支配本钱，已成为业内关注的热点问题。
作为腾讯音乐首个音视频实验室，天琴实验室针对大模型运用落地的痛点，已于今年5月发布了MUSELight大模型推理加速框架1.0版本，得到业内诸多好评。
据理解，天琴实验室本次研发的MUSELight加速框架2.0版本引入了Flash Attention 2、Flash Decoding，启示式自动选择不同的 Attention 实现算子等技能，支持多个主流开源LLM及SD模型的推理加速，且加速速率在业内遥遥领先。MUSELight通过对模型重新进行自顶向下的独创性优化，合理安排显存内存间数据交流、显存复用、优化打算流程，针对不同GPU架构，对不同类型打算层进行数据和打算线程的重排，以及特殊的推理场景算子优化等技巧，使得其能够大幅提升显存利用率和打算效率，减少大量非必要的访存、打算开销，为办理模型推理支配中的瓶颈问题供应了强有力支持。
2
助推多个模型运用落地，MUSELight 2.0版广受认可
据悉，MUSELight 2.0版对SD模型加速版本lyraSD也进行了升级，新增了支持所有SD1.X 以及SDXL 版本模型加速的功能，且加速性能与业内其他加速框架比较提升了5%-40%不等。此外，lyraSD还支持多种主流SD绘图场景以及插件，如文生图、图生图、模型热切换，各种插件热切换（如Lora，LCM Lora，ControlNet，IPAdapter）等，并支持stable-diffusion-webui和diffusers框架下的推理。
lyraSD与目前开源的、利用广泛加速框架测速比拟图。
在奇喵相机之外，MUSELight更与腾讯云进行深度互助，向行业互助伙伴进行赋能，助力行业供应更快的大模型推理体验，同时大幅度降落本钱。此外，MUSELight还与作为环球数字科创领域独角兽的APUS达成了云上云下全方位互助，提升绘图中台能力30%-40%，APUS卖力人评价道：“MUSELight的加速效果和利用都非常好，很好地知足我们的需求。”
LLMs方面，升级版的MUSELight推理加速引擎可实现对ChatGLM-6B模型进行5.5倍加速，最大吞吐量达9000+ tokens/s。除了实现更高效的打算外，MUSELight 2.0版本还支持长序列场景下的推理，能知足更高的推理需求，扩充了LLM产品的运用处景，为用户供应更精良的利用体验。
以lyraLLaMA-13B为例，MUSELight与行业内其他加速框架测速比拟图。
在实际运用落地方面，MUSELight为微信键盘的文本润色模块供应了支配支持，模型加速收益显著，达到了大措辞模型的上线标准。详细而言，短文本可以基本“秒”天生，用户“险些”无需等待；同时产品场景也得到扩充，能够支持长文本润色，排版优化等功能，进一步提升了用户体验。微信键盘文本润色模块干系卖力人表示：“整体上看MUSELight为微信键盘文本润色模块带来了大约100%的速率提升以及50%的本钱降落，很好地知足了业务快速上线的需求”。
除微信键盘外，天琴实验室还与腾讯会议、科恩实验室等业务团队互助完成了多个模型的大规模支配上线，得到了客户的广泛认可和高度评价。同时，MUSELight 2.0版本已为直播礼物实时绘图、壁画悬浮歌词音箱绘图等供应理解决方案。通过运用MUSELight加速框架，支配LLM及SD模型的本钱大幅降落，让更多企业承担得起大模型的支配和运用用度，进一步推动了科技成果有效落地转化，“智赋”各行各业。天琴实验室表示，“未来会持续同步新功能和支持的新模型”，进一步降落企业大模型支配本钱，助推大模型运用落地。
作为中国在线音乐娱乐做事开拓者，腾讯音乐娱乐集团始终致力于推动科技创新，通过技能和数据的赋能，为用户带来更好的产品体验。未来，AI领域和数字音乐家当势必将面临诸多新寻衅，相信天琴实验室能够为行业的大模型运用带来更多案例与赋能，引领数字音乐行业高质量发展。