Meta确认开源大模型LLaMA 3下月登场 多版本齐发,参数量或超1400亿
Meta即将推出新一代开源大模型LLaMA 3。在伦敦的一场活动上,Meta宣布计划于下月发布LLaMA 3。尽管具体参数规模尚未披露,但Meta人工智能研究副总裁Joelle Pineau强调,公司致力于使LLaMA驱动的Meta AI成为全球最实用的助手,为此还需付出大量努力。
据科技媒体The Information报道,LLaMA 3作为与GPT-4相抗衡的模型,其大规模版本参数量可能超过1400亿,远超LLaMA 2最大版本的700亿。LLaMA 3将具备多模态处理能力,能同时处理文本和图像。
值得注意的是,LLaMA 3将继续沿袭Meta的开源传统。当前开源模型市场竞争日益激烈,众多参与者如谷歌、马斯克旗下的xAI、Mistral AI、StabilityAI等已发布强大的开源大模型。然而,Meta在AI基础设施投资方面展现出显著实力,其计算能力储备仅逊色于微软。Meta透露,到2024年底,将增购350000个英伟达H100 GPU,总计算能力相当于约600000个H100。
LLaMA 3的推出标志着Meta在开源模型领域的持续领导地位,并将持续推动LLM的小型化和平民化研究。Meta坚信,开源模型在安全性、效率和成本效益上具有优势,通过社区审查和开发,能够促进技术的广泛传播和应用。此外,小型模型对于移动设备上的AI软件开发具有重要意义,这也是LLaMA系列模型自开源以来备受开发者青睐的原因。
尽管LLaMA 2在回答某些争议性问题时表现出保守,但Meta正致力于使LLaMA 3在应对争议性问题时更加开放且准确。尽管Meta未公布LLaMA 3的具体参数规模,但据The Information推测,其大规模版本参数量可能超过1400亿,较最大版本的LLaMA 2翻倍。
随着谷歌、xAI等公司近期纷纷转向开源策略,开源大模型的竞争愈发激烈。谷歌推出的Gemma和马斯克的Grok-1在多项基准测试中超越了同等规模的LLaMA 2。众多科技公司如谷歌、xAI、Mistral AI、DataBricks和StabilityAI等均已加入开源大模型的阵营。