GenEx: Generating an Explorable World
Published:
任务表述：
将探索生成世界转化成，先生成一个初始的全景世界观测 \(\mathbf{x}_0\) 和一个用全景视频表示的世界观测 \(\mathbf{x}_{1:T}\) 的序列，总的来说就是 \(\mathbf{x}_{0:T}\) 。
包含了一个图-全景生成器，一个全景视频生成器。
数据整理： 这里采用物理引擎UE5、Unity来获取数据。采用Cubemap的全景格式来获取数据。当视频生成的时候用Equirectangular panorama格式，当改变探索角度时采用Sphere格式。
全景图：从一个固定视点，以完整的360度乘以180度视野拍摄一个场景。
全景图包含三种表示。 Sphere、Equirectangular panorama、cubemaps。
图-全景： 这里finetune了一个基于FLUX的新模型。
全景视频：
探索方式：
参考