Meta发布强大开源AI模型Llama 3.1 405B

Meta公司发布了Llama 3.1 405B，这是一款强大的开源AI模型。该模型在1.6万个H100 GPU上训练了15万亿个标记，与GPT-4o和Claude 3.5 Sonnet等顶级专有模型相媲美。

其关键特性包括128K标记的上下文长度和增强的多语言能力。Meta公司通过使用FP8量化和迭代后训练调整等技术，优化了训练堆栈的可扩展性和效率。

该模型支持从图像编辑到编程辅助等多种应用，并已集成到Meta的平台如WhatsApp和Meta AI中。它是一个更广泛的开源生态系统的一部分，有超过25个合作伙伴参与其开发和部署。

马克·扎克伯格强调了开源AI的好处：更大的开发者控制权、更低的成本和更广泛的可用性。他认为开源模型更安全、更公平，确保技术利益得到广泛分配。

这一发布标志着开源和专有AI模型之间竞争的重要一步。Meta对开源创新的承诺可能会重塑行业格局，使先进的AI更加易于获取和适应。