「扩散模型」也能攻克算法难题？
图片
一位博士研究人员做了一个有趣的实验，用「离散扩散」寻找用图像表示的迷宫中的最短路径。
图片
作者介绍，每个迷宫都是通过反复添加水平和垂直墙生成的。
其中，起始点和目标点随机选取。
从起点到目标点的最短路径中，随机采样一条作为解决方案的路径。最短路径是通过精确算法算出来的。
图片
然后使用离散扩散模型和U-Net。
将起点和目标的迷宫被编码在一个通道中，而模型在另一个通道中用解来消除迷宫的噪声。
图片
再难一点的迷宫，也能做的很好。
图片
为了估算去噪步骤 p(x_{t-1} | x_t)，算法会估算 p(x_0 | x_t)。在这个过程中可视化这一估计值（底行），显示「当前假设」，最终聚焦在结果上。
图片
英伟达高级科学家Jim Fan表示，这是一个有趣的实验，扩散模型可以「渲染」算法。它可以仅从像素实现迷宫遍历，甚至使用了比Transforme弱得多的U-Net。
我一直认为扩散模型是渲染器，而Transformer是推理引擎。看起来，渲染器本身也可以编码非常复杂的顺序算法。
图片
这个实验简直惊呆了网友，「扩散模型还能做什么？！」
图片
还有人表示，一旦有人在足够好的数据集上训练扩散Transformer，AGI就解决了。
图片
不过这项研究还未正式发布，作者表示稍后更新在arxiv上。
值得一提的是，这个实验中，他们采用了谷歌大脑团队曾在2021年提出的离散扩散模型。
图片
就在最近，这项研究重新更新了一版。
离散扩散模型
「生成模型」是机器学习中的核心问题。
它既可用于衡量我们捕获自然数据集统计数据的能力，也可用于需要生成图像、文本和语音等高维数据的下游应用程序。
GAN、VAE、大型自回归神经网络模型、归一化流等方法，在样本质量、采样速度、对数似然，以及训练稳定性方面都各有千秋。
最近，「扩散模型」已成为图像、音频生成，最受欢迎的替代方案。
它可以用更少的推理步骤，实现了与GAN相当的样本质量，以及与自回归模型相当的对数似然。
图片
论文地址：https://arxiv.org/pdf/2107.03006.pdf
虽然已有人提出了离散和连续状态空间的扩散模型，但最近的研究主要集中在，连续状态空间中运行的高斯扩散过程（如实值图像和波形数据）。
离散状态空间的扩散模型，已在文本和图像分割领域进行了探索，但是还没有在文本和图像的大规模生成任务中，证明是一个有竞争力的模型。
谷歌研究团队提出了一种全新的离散去噪扩散概率模型（D3PM）。
研究中，作者证明了过度矩阵的选择是一个重要的设计决策，它能改善图像和文本领域的结果。
此外，他们还提出了一种新的损失函数，它结合了变分下界和辅助的交叉熵损失。
在文本方面，这个模型在字符级文本生成方面取得了很好的效果，同时可以扩展到大词汇量的LM1B数据集上。
在CIFAR-10图像数据集上，最新模型接近了连续空间DDPM模型的样本质量，并超过了连续空间 DDPM 模型的对数似然。
图片
项目作者
Arnaud Pannatier
Arnaud Pannatier从2020年3月在导师François Fleuret的机器学习小组开始攻读博士学位。
他最近开发了HyperMixer，使用超级网络让MLPMixer能够处理各种长度输入。这使得模型能够以一种排列不变的方式处理输入，并证明了它给了模型一种随着输入长度线性扩展的注意力行为。
在EPFL，他先后获得了物理学学士学位和计算机科学与工程硕士学位（CSE-MASH）。
参考资料：
https://arxiv.org/pdf/2107.03006.pdf
https://x.com/DrJimFan/status/1762888644933902681?s=20