Meta的Transfusion模型：融合Transformer与扩散方法的多模态人工智能

Meta的新Transfusion模型融合了Transformer和Diffusion技术，旨在打造一个统一的文本和图像生成系统。这一整合有望在真正的多模态AI领域迈出重要一步。

Transfusion在一个Transformer框架内结合了语言建模（预测下一个文本标记）和扩散（生成图像）。它预训练于混合的文本和图像数据，在单模态和多模态基准测试中均能有效扩展。

关键创新包括用于文本的全局因果注意和图像内的双向注意，提升了性能和压缩效果。Transfusion在生成高质量图像的同时保持强大的文本能力，使其脱颖而出。

实验显示，Transfusion在图像生成方面超越了DALL-E 2和Stable Diffusion XL等模型。它还在图像编辑和文本生成方面表现出色，展示了其多功能性和效率。

这一进展预示着未来AI能够无缝处理各种数据类型，从文本到视频，为内容创作和交互开辟新的可能性。