先来直不雅观感想熏染一下效果（右侧为新方法）：
【此处无法插入视频，遗憾……可到量子位"大众号查看～】
这是团队在Open-Sora上，利用5个4s（192帧）480p分辨率视频进行的测试。
新方法名为Pyramid Attention Broadcast（PAB），由新加坡国立大学尤洋以及3位学生推出。
详细来说，PAB通过减少冗余把稳力打算，可实现高达21.6FPS和10.6倍加速，并且不会捐躯基于DiT的盛行视频天生模型（包括Open-Sora、Open-Sora-Plan和Latte）的质量。
作为一种免演习方法，PAB可为将来任何基于DiT的视频天生模型供应实时功能。
看完效果比拟，网友们纷纭惊叹：
这将是新纪元。
也引来了浩瀚专业人士的转发和点评，如MIT博士Yilun Du表示：
是一个展示了如何将视频天生加速到实时速率的酷炫事情！
可能会为视频策略和仿照的现实天下用例开辟新的领域。
那么，新方法详细如何破解实时天生视频这个难题的呢？
减少冗余把稳力打算一开始，团队比较了当前扩闲步骤与前一步骤的把稳力输出差异。
这些差异通过均方偏差（MSE）进行量化，并对每个扩闲步骤的所有层进行均匀。
团队捕捉到两个关键信息：
随着韶光推移，把稳力差异遵照U形模式，中间70%差异较小把稳力差异的排序为：空间>韶光>交叉详细而言，不同韶光步骤的把稳力差异呈现出U形模式，在第一步和末了一步的15%步骤中发生显著变革，而中间70%的步骤非常稳定，差异很小。
其次，在稳定的中间部分，不同类型的把稳力表现出差异：空间把稳力变革最大，涉及高频元素，如边缘和纹理；韶光把稳力显示出与视频中的运动和动态干系的中频变革；跨模态把稳力最为稳定，它将文本与视频内容联系起来，类似于反响文本语义的低频旗子暗记。
对此，团队正式提出用PAB来减少不必要的把稳力打算。
PAB通过根据每种把稳力的差异将把稳力输出到不同的后续步骤，从而节省打算量。
举个例子，就像广播电台把一个旗子暗记发送给多个听众一样，如果某个步骤的把稳力结果在接下来的几个步骤中仍旧适用，就不须要重新打算，而是直策应用之前的结果。
团队创造，纵然没有后期演习，这种大略策略也能实现高达35%的加速，并且质量丢失可以忽略不计。
为了进一步增强PAB，团队基于动态序列并行（DSP）改进了序列并行。
序列并行通过在多个GPU上分割视频以降落延迟，但DSP带来的韶光把稳力需两次全对全通信，导致高通信开销。
而PAB由于韶光把稳力不再须要被打算，使这些通信开销减少了50%以上，从而优化了实时视频天生的分布式推理效率。
借助并行功能，PAB可实现高达21.6FPS和10.6倍加速，并且不会捐躯基于DiT的盛行视频天生模型（包括Open-Sora、Open-Sora-Plan和Latte）的质量。
展开来说，团队丈量了PAB在8个英伟达H100 GPU上为不同模型天生单个视频的总延迟。
利用单个GPU时，PAB实现了1.26倍到1.32倍的速率提升，这一提升在不同调度器中保持稳定。
扩展到多个GPU时，PAB实现了高达10.6倍的速率提升，且这一提升险些与GPU数量成线性关系。
背后团队
大略先容一下提出PAB的团队成员，统共有4位。
尤洋教授想必大家都比较熟习了，清华打算机系硕士，UC伯克利博士，毕业后加入新加坡国立大学打算机系，担当校长青年教授 （Presidential Young Professor）。
2021年7月，在北京中关村落创办了“潞晨科技”。
作者之一Xuanlei Zhao（赵轩磊），华科大打算机科学与电子信息专业工程学士，硕博均在新国立（目前为博一），导师为尤洋，研究方向包括但不限于算法、数据构造、打算机网络、旗子暗记处理、通信系统等方面。
作者之一Kai Wang（王锴），新国立HPC-AI实验室博士生，导师为尤洋，本科就读于北师大珠海分校电气工程与自动化系，硕士就读于中科院深圳前辈技能研究院(MMLAB-SIAT)，研究重点因此数据为中央的人工智能和高效机器学习。他和尤洋教授共同辅导了这个项目。
末了一位Xiaolong Jin（金小龙），本科就读于中国科学技能大学少年班学院，目前是普渡大学在读博士生。
目前干系研究已公开，感兴趣可以进一步理解。
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态