谷歌出品:大模型生成 RPG 游戏,情节角色全自定义
现在,大模型能生成 RPG 角色扮演游戏了。根据初始用户输入,它能设置游戏模拟环境,并在环境中生成角色动作。
来自谷歌,北卡罗来纳大学教堂山分校新研究,他们尝试的第一款游戏叫作 Unbounded,灵感来自《模拟人生》。
用户可以自定义角色的人生,比如这位名叫 Archibus 的巫师,他的饥饿度、能量和兴趣度会随着环境进行相应更新。
角色可以自由探索各种环境,进行各种可能的动作和互动。游戏按照交互速度,每秒就会刷新一次。
用大模型生成无限游戏
研究团队引入了一个生成无限游戏这个概念。
“无限游戏”指以延续游戏为目的游戏,生成无限游戏就是即通过使用生成式模型,超越传统受限的视频游戏。
无界(Unbounded)就是一款完全由生成式模型封装的角色生活模拟游戏。你可以虚拟世界中通过喂养、玩耍和引导角色,与他互动,但需要保证它的健康状态。
基于此,他们生成游戏的主要属性包括:角色个性化、游戏环境生成、开放式互动、实时生成。
在语言方面,他们开发了一个基于 LLM 的游戏引擎。这个游戏引擎能够保持游戏机制的一致性,生成连贯的叙事,并实时生成上下文角色响应。
他们的专业模型是在两个协作性强的 LLM Agent 自动生成的数据基础上进行微调的,无需人工注释。
以 Gemma-2B 为例,经过微调之后的游戏引擎,在状态更新、环境相关性、故事连贯性和指令遵循方面都表现得更为出色。
在视觉生成方面,他们引入了新型动态区域图像提示适配器(Regional IP-Adapter)。该适配器可在保持多幅图像视觉一致性的同时,生成一致的角色和环境。
具体来说,它将游戏环境和角色外观作为图像生成的条件,而游戏环境和角色外观则由交叉注意力层中注意力输出所获得的动态掩码调制。
这是为了减少环境和角色之间的干扰,使两者都能可靠地出现在场景中。
与之前的方法相比,他们的区域 IP 适配器采用了区块丢弃技术,能持续生成具有高度字符一致性和环境一致性的图像。
一作为上海交大校友
这篇研究主要来自谷歌以及北卡罗来纳大学教堂山分校团队。
其中一作 Jialu Li 目前是北卡罗来纳大学教堂山分校五年级博士生,本科毕业于上海交大,随后在康奈尔大学获得硕士学位。
对于这项研究,谷歌导师 Nataniel Ruiz 兴奋表示了对生成游戏的看好:未来大多数游戏都将完全由生成游戏组成。
想想《龙与地下城》等桌面角色扮演游戏的无限性 —— 并试着想想这将如何应用于《上古卷轴》或《艾尔登法环》等游戏。
论文链接:
https://arxiv.org/abs/2410.18975
https://generative-infinite-game.github.io/
参考链接:
[1]https://x.com/JialuLi96/status/1849869554719260721
[2]https://x.com/natanielruizg/status/1849807021131874583
本文来自微信公众号:量子位(ID:QbitAI),作者:白小交
相关文章
- 2024 胡润中国人工智能企业 50 强公布:寒武纪 2380 亿
- 阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频
- 开源媒体播放器 VLC 下载破 60 亿次,预览本地 AI 字幕
- 英伟达迷你超算遭友商嘲讽:宣传 FP4 算力,实际“不如买
- 银河通用发布全球首个端到端具身抓取基础大模型 Grasp
- 雷蛇推出“AI 游戏伴侣”Project AVA:支持实时指导 +
- 京东方 CES 2025 发布行业首款 65 英寸 4K 超高清“AI
- 微软开源 140 亿参数小语言 AI 模型 Phi-4,性能比肩 GP
- 微软承认必应 AI 图像生成器 PR16“开倒车”,现回滚至
- 西藏地震期间“小孩被埋”等 AI 图大量传播,严重可追责