继谷歌的 GameNGen AI 模型展示了利用图像扩散技能天生可玩版《毁灭战士》(Doom)的能力后,一个新研究项目又将目光投向了另一款经典游戏——任天国的《超级马里奥兄弟》(Super Mario Bros)。

这个项目展示了 AI 如何通过视频天生技能来仿照这款 1985 年发行的经典游戏,为未来的游戏开拓开辟了新的可能性。

公开资料显示,MarioVGG 项目紧张由 GitHub 用户欧尼·周(Ernie Chew)和布瑞恩·林(Brian Lim)管理,其干系论文由加密货币干系的 AI 公司 Virtuals Protocol 揭橥。

该项目紧张利用机器学习技能,通过研究游戏视频和输入数据,来推断游戏的物理规则和游戏动态。

只用一张RTX 4090显卡开拓者用视频生成模拟超级马里奥兄弟

研究职员利用了一个包含 280 个游戏关卡的公开数据集,游戏画面超过 737000 帧。

为了简化游戏情形,他们只关注两种潜在输入:向右跑和向右跑并跳跃。
经由约 48 小时的演习(利用单块 RTX 4090 显卡),模型就能够从静态的初始游戏图像和文本输入天生新的视频帧序列。

MarioVGG 采取了文本到视频天生的方法来重现《超级马里奥兄弟》。
模型通过学习游戏画面,能够根据玩家的文本输入(“跑”或“跳”)天生相应的游戏画面序列。

详细来说,模型只须要吸收一个初始的游戏画面帧和所需动作的文本描述(例如“跳跃”),然落后修天生一系列可视化描述所需动作的帧。

为了提高效率,研究职员将输出帧的分辨率从原始 NES(注:Nintendo Entertainment System,是任天国生产的第一代家用游戏机)的 256×240 降落到了 64×48 或 128×96。

此外,他们将 35 帧的视频韶光压缩为仅 7 个天生帧,这些帧以均匀的间隔分布,从而创造出比实际游戏画质更粗糙的游戏视频。

只管采取了这些方法,MarioVGG 模型仍旧面临着靠近实时视频天生的寻衅。
研究职员只用了一张 RTX 4090 显卡,须要大约 6 秒钟才能天生 6 帧视频序列,视频长度仅仅超过半秒,这还是在极其有限的帧率下。

研究职员承认这“对付交互式视频游戏来说既不实用也不友好”,但他们希望未来的优化可以改进这一速率。

只管存在上述限定,MarioVGG 仍旧展现出了一些令人印象深刻的特性。

首先,模型能够纯粹从演习数据中学习游戏的物理规则,包括马里奥从峭壁边跌落时的重力效果,以及在碰着障碍物时停滞提高。

其次,虽然 MarioVGG 紧张关注仿照马里奥的动作,但它也能有效地为马里奥天生新的障碍物,这些障碍物“与游戏的图形措辞相同等”。

此外,MarioVGG 能够天生独特的马里奥关卡,只有第一帧输入来自真实游戏状态。

然而,MarioVGG 也面临着一些显著的寻衅,比如研究职员不雅观察到,输入动作文本并不总是被模型所遵守。

有时还会涌现明显的视觉问题,如马里奥有时会穿过障碍物和仇敌、颜色闪烁、在帧之间缩小/增大,或在多个帧中完备消逝后又重新涌现。

模型并不睬解游戏逻辑,纵然在马里奥去世掉之后,它还是会连续渲染视频帧,而不是回到末了的检讨点。
此外,关卡和物体的天生也不可控,只能通过程序化天生。

MarioVGG 项目为未来游戏开拓开辟了新的可能性,展示了 AI 如何通过学习视频数据来理解和重现繁芜的游戏机制。

研究职员希望这代表着“产生和展示可靠和可控的视频游戏天生器”的第一步,乃至可能在未来“完备利用视频天生模型取代游戏开拓和游戏引擎”。

然而,要实现这一愿景,还须要办理诸如实时性能、画面质量、游戏逻辑同等性等一系列寻衅。
例如,如何在天生的游戏中决定终止状态,这仍旧是一个开放的研究问题。

只管如此,考虑到 MarioVGG 项目仅利用了相对较小的演习数据集和单个消费级图形处理器(GPU,Graphics Processing Unit),其取得的成果已经相称令人印象深刻。

Virtual Protocols 公司在推特上乐不雅观地表示:“无限交互天下的时期已经到来。

总的来说,虽然视频天生制作游戏的方法还无法完备替代传统的游戏开拓方法,但它为游戏家当注入了新的活力,让我们得以一窥 AI 驱动的游戏未来。

这些新项目为游戏设计和开拓供应了新的思路,展示了 AI 如何通过学习视频数据来理解和重现繁芜的游戏机制。

未来,我们可能会看到,随着技能的发展有望涌现更多 AI 赞助的游戏开拓工具,乃至是完备由 AI 天生的游戏天下。

参考资料:

https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/

https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator

运营/排版:何晨龙