3D版DALL-E来了！谷歌发布文本3D生成模型DreamFusion，重点是zero-shot

来源：新智元

导读：给一个文本提示就能生成3D模型！

自从文本引导的图像生成模型火了以后，画家群体迅速扩张，不会用画笔的人也能发挥想象力进行艺术创作。

但目前的模型，如DALL-E 2, Imagen等仍然停留在二维创作（即图片），无法生成360度无死角的3D模型。

想要直接训练一个text-to-3D的模型非常困难，因为DALL-E 2等模型的训练需要吞噬数十亿个图像-文本对，但三维合成并不存在如此大规模的标注数据，也没有一个高效的模型架构对3D数据进行降噪。

最近Google研究员另辟蹊径，提出一个新模型DreamFusion，先使用一个预训练2D扩散模型基于文本提示生成一张二维图像，然后引入一个基于概率密度蒸馏的损失函数，通过梯度下降法优化一个随机初始化的神经辐射场NeRF模型。

论文链接：https://arxiv.org/abs/2209.14988

训练后的模型可以在任意角度、任意光照条件、任意三维环境中基于给定的文本提示生成模型，整个过程既不需要3D训练数据，也无需修改图像扩散模型，完全依赖预训练扩散模型作为先验。

，时长00:36

从文本到3D模型

以文本为条件的生成性图像模型现在支持高保真、多样化和可控的图像合成，高质量来源于大量对齐的图像-文本数据集和可扩展的生成模型架构，如扩散模型。

虽然二维图像生成的应用场景十分广泛，但诸如游戏、电影等数字媒体仍然需要成千上万的详细的三维资产来填充丰富的互动环境。

目前，3D资产的获取方式主要由Blender和Maya3D等建模软件手工设计，这个过程需要耗费大量的时间和专业知识。

2020年，神经辐射场（NeRF）模型发布，其中体积光线追踪器与从空间坐标到颜色和体积密度的神经映射相结合，使得NeRF已经成为神经逆向渲染的一个重要工具。

最初，NeRF被发现可以很好地用于「经典」的三维重建任务：一个场景下的不同角度图像提供给一个模型作为输入，然后优化NeRF以恢复该特定场景的几何形状，能够从未观察到的角度合成该场景的新视图。

很多三维生成方法都是基于NeRF模型，比如2022年提出的Dream Fields使用预训练的CLIP模型和基于优化的方法来训练NeRF，直接从文本中生成3D模型，但这种方式生成的三维物体往往缺乏真实性和准确性。

DreamFusion采用了与Dream Field类似的方法，但模型中的损失函数基于概率密度蒸馏，最小化基于扩散的前向过程的共享的高斯分布族与预训练的扩散模型所学习的分数函数之间的KL散度。

扩散模型是一个隐变量生成模型，学习如何逐步将一个样本从简单的噪声分布转换到数据分布。

扩散模型的包括一个前向过程（forward process），缓慢地从数据中添加噪声并移除结构，两个时间步之间的过渡通常服从高斯分布，并在反向过程（reverse process）或生成式模型中在噪声上逐渐添加结构。

现有的扩散模型采样方法产生的样本与模型训练的观测数据类型和维度相同，尽管有条件的扩散采样能够实现相当大的灵活性，但在像素上训练的扩散模型传统上只用来对像素进行采样。

但像素采样并不重要，研究人员只希望创建的三维模型在从随机角度渲染时，看起来像是一张好的图像。

可微分图像参数化（DIP）允许模型表达约束条件，在更紧凑的空间中进行优化（例如任意分辨率的基于坐标的MLPs），或利用更强大的优化算法来遍历像素空间。

对于三维来说，参数θ是三维体积的参数，可微生成器g是体积渲染器，为了学习这些参数，需要一个可以应用于扩散模型的损失函数。

文中采用的方法是利用扩散模型的结构，通过优化实现可操作的取样，当损失函数最小化时生成一个样本，然后对参数θ进行优化，使x=g(θ)看起来像冻结扩散模型的样本。

为了进行这种优化，还需要一个可微的损失函数，其中可信的图像具有较低的损失，而不可信的图像有高的损失，与DeepDream的过程类似。

在实践中，研究人员发现即使是在使用一个相同的DIP时，损失函数也无法生成现实的样本。但同期的一项工作表明，这种方法可以通过精心选择的时间步长来实现，但这个目标很脆弱，其时间步长的调整也很困难。