继谷歌的 GameNGen AI 模型展示了利用图像扩散技能天生可玩版《毁灭战士》（Doom）的能力后，一个新研究项目又将目光投向了另一款经典游戏——任天国的《超级马里奥兄弟》（Super Mario Bros）。
这个项目展示了 AI 如何通过视频天生技能来仿照这款 1985 年发行的经典游戏，为未来的游戏开拓开辟了新的可能性。
公开资料显示，MarioVGG 项目紧张由 GitHub 用户欧尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其干系论文由加密货币干系的 AI 公司 Virtuals Protocol 揭橥。
该项目紧张利用机器学习技能，通过研究游戏视频和输入数据，来推断游戏的物理规则和游戏动态。
研究职员利用了一个包含 280 个游戏关卡的公开数据集，游戏画面超过 737000 帧。
为了简化游戏情形，他们只关注两种潜在输入：向右跑和向右跑并跳跃。经由约 48 小时的演习（利用单块 RTX 4090 显卡），模型就能够从静态的初始游戏图像和文本输入天生新的视频帧序列。
MarioVGG 采取了文本到视频天生的方法来重现《超级马里奥兄弟》。模型通过学习游戏画面，能够根据玩家的文本输入（“跑”或“跳”）天生相应的游戏画面序列。
详细来说，模型只须要吸收一个初始的游戏画面帧和所需动作的文本描述（例如“跳跃”），然落后修天生一系列可视化描述所需动作的帧。
为了提高效率，研究职员将输出帧的分辨率从原始 NES（注：Nintendo Entertainment System，是任天国生产的第一代家用游戏机）的 256×240 降落到了 64×48 或 128×96。
此外，他们将 35 帧的视频韶光压缩为仅 7 个天生帧，这些帧以均匀的间隔分布，从而创造出比实际游戏画质更粗糙的游戏视频。
只管采取了这些方法，MarioVGG 模型仍旧面临着靠近实时视频天生的寻衅。研究职员只用了一张 RTX 4090 显卡，须要大约 6 秒钟才能天生 6 帧视频序列，视频长度仅仅超过半秒，这还是在极其有限的帧率下。
研究职员承认这“对付交互式视频游戏来说既不实用也不友好”，但他们希望未来的优化可以改进这一速率。
只管存在上述限定，MarioVGG 仍旧展现出了一些令人印象深刻的特性。
首先，模型能够纯粹从演习数据中学习游戏的物理规则，包括马里奥从峭壁边跌落时的重力效果，以及在碰着障碍物时停滞提高。
其次，虽然 MarioVGG 紧张关注仿照马里奥的动作，但它也能有效地为马里奥天生新的障碍物，这些障碍物“与游戏的图形措辞相同等”。
此外，MarioVGG 能够天生独特的马里奥关卡，只有第一帧输入来自真实游戏状态。
然而，MarioVGG 也面临着一些显著的寻衅，比如研究职员不雅观察到，输入动作文本并不总是被模型所遵守。
有时还会涌现明显的视觉问题，如马里奥有时会穿过障碍物和仇敌、颜色闪烁、在帧之间缩小/增大，或在多个帧中完备消逝后又重新涌现。
模型并不睬解游戏逻辑，纵然在马里奥去世掉之后，它还是会连续渲染视频帧，而不是回到末了的检讨点。此外，关卡和物体的天生也不可控，只能通过程序化天生。
MarioVGG 项目为未来游戏开拓开辟了新的可能性，展示了 AI 如何通过学习视频数据来理解和重现繁芜的游戏机制。
研究职员希望这代表着“产生和展示可靠和可控的视频游戏天生器”的第一步，乃至可能在未来“完备利用视频天生模型取代游戏开拓和游戏引擎”。
然而，要实现这一愿景，还须要办理诸如实时性能、画面质量、游戏逻辑同等性等一系列寻衅。例如，如何在天生的游戏中决定终止状态，这仍旧是一个开放的研究问题。
只管如此，考虑到 MarioVGG 项目仅利用了相对较小的演习数据集和单个消费级图形处理器（GPU，Graphics Processing Unit），其取得的成果已经相称令人印象深刻。
Virtual Protocols 公司在推特上乐不雅观地表示：“无限交互天下的时期已经到来。”
总的来说，虽然视频天生制作游戏的方法还无法完备替代传统的游戏开拓方法，但它为游戏家当注入了新的活力，让我们得以一窥 AI 驱动的游戏未来。
这些新项目为游戏设计和开拓供应了新的思路，展示了 AI 如何通过学习视频数据来理解和重现繁芜的游戏机制。
未来，我们可能会看到，随着技能的发展有望涌现更多 AI 赞助的游戏开拓工具，乃至是完备由 AI 天生的游戏天下。
参考资料：
https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/
https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator
运营/排版：何晨龙