Meta确认开源大模型LLaMA 3下月登场 多版本齐发,参数量或超1400亿

2024-04-11每日热点

  Meta即将推出新一代开源大模型LLaMA 3。在伦敦的一场活动上,Meta宣布计划于下月发布LLaMA 3。尽管具体参数规模尚未披露,但Meta人工智能研究副总裁Joelle Pineau强调,公司致力于使LLaMA驱动的Meta AI成为全球最实用的助手,为此还需付出大量努力。

  

  据科技媒体The Information报道,LLaMA 3作为与GPT-4相抗衡的模型,其大规模版本参数量可能超过1400亿,远超LLaMA 2最大版本的700亿。LLaMA 3将具备多模态处理能力,能同时处理文本和图像。

  值得注意的是,LLaMA 3将继续沿袭Meta的开源传统。当前开源模型市场竞争日益激烈,众多参与者如谷歌、马斯克旗下的xAI、Mistral AI、StabilityAI等已发布强大的开源大模型。然而,Meta在AI基础设施投资方面展现出显著实力,其计算能力储备仅逊色于微软。Meta透露,到2024年底,将增购350000个英伟达H100 GPU,总计算能力相当于约600000个H100。

  LLaMA 3的推出标志着Meta在开源模型领域的持续领导地位,并将持续推动LLM的小型化和平民化研究。Meta坚信,开源模型在安全性、效率和成本效益上具有优势,通过社区审查和开发,能够促进技术的广泛传播和应用。此外,小型模型对于移动设备上的AI软件开发具有重要意义,这也是LLaMA系列模型自开源以来备受开发者青睐的原因。

  尽管LLaMA 2在回答某些争议性问题时表现出保守,但Meta正致力于使LLaMA 3在应对争议性问题时更加开放且准确。尽管Meta未公布LLaMA 3的具体参数规模,但据The Information推测,其大规模版本参数量可能超过1400亿,较最大版本的LLaMA 2翻倍。

  随着谷歌、xAI等公司近期纷纷转向开源策略,开源大模型的竞争愈发激烈。谷歌推出的Gemma和马斯克的Grok-1在多项基准测试中超越了同等规模的LLaMA 2。众多科技公司如谷歌、xAI、Mistral AI、DataBricks和StabilityAI等均已加入开源大模型的阵营。

标签: 每日热点

“Meta确认开源大模型LLaMA 3下月登场 多版本齐发,参数量或超1400亿” 的相关文章

男子未拔充电器将枕头烧出洞 如果晚一点会烧得更严重

男子未拔充电器将枕头烧出洞 如果晚一点会烧得更严重

  2月27日消息,据国内多家媒体报道,一男子没拔充电器,结果枕头烧出洞。   当事人周先生表示,如果晚一点会烧得更严重。   ...

男子送货途中捡到一只呆萌猫头鹰,因体能不够飞不起来

男子送货途中捡到一只呆萌猫头鹰,因体能不够飞不起来

  随着城市生态环境不断优化,   吸引了不少珍稀鸟类和保护动物   在城市中驻足停留。   几天前,   快递小哥...

一女子打车误付17万车费!广州的哥急寻失主

一女子打车误付17万车费!广州的哥急寻失主

     12月14日凌晨,广州出租车司机杜利朋在珠江新城接到一名女乘客。杜利朋发现这位女子似乎喝了酒,路上一直沉...

海底捞锅底发现塑料碎片被罚:没收违法所得65元

海底捞锅底发现塑料碎片被罚:没收违法所得65元

  海底捞锅底发现塑料碎片被罚   近日,杭州捞派餐饮有限公司宜兴第一分公司因销售混有异物的火锅锅底,被宜兴市市场监督管理局罚款2万元、没收违法所得65元。海底捞锅底发现...

林书豪17+5:末节仅2分仍率国王3连胜高居第一 加盟双线全胜

林书豪17+5:末节仅2分仍率国王3连胜高居第一 加盟双线全胜

  北京时间11月19日,2023-24赛季P联赛,林书豪在赛季首次背靠背第二战,他率领新北国王主场对阵领航猿。国王前两节连续遭领航猿压制,次节中段一度落后两位数差距,林书豪率队上半场追到...

加拿大山猫航空突然倒闭 有乘客“到机场才知道”

加拿大山猫航空突然倒闭 有乘客“到机场才知道”

  近日,不少消费者在社交平台上发帖求助,加拿大廉航Lynx Air倒闭导致机票退费难,有网友称到了机场才被告知航司倒闭航班取消。对此,昨天(2月27日),去哪儿网、飞猪方面均回应称,预订...