清华大学教授汪玉:算法与芯片协同优化,推动大模型行业可持续发展

2024-01-09每日热点

  凤凰网科技讯(作者/杨倩)近日,知乎在北京举办首届“知乎AI先行者沙龙”, 清华大学电子工程系长聘教授兼系主任汪玉围绕“大模型行业如何可持续发展”分享观点。汪玉分析了大模型面临的三个主要挑战,包括美国2022年107新规和2023年的1017法案对算力和芯片的限制,模型训练和推理的高昂成本,以及如何推进中国独特的算法和芯片生态。

  

清华大学电子工程系长聘教授兼系主任汪玉

  

清华大学电子工程系长聘教授兼系主任汪玉

  在算力成本的讨论中,汪玉通过提供具体的数据和情景分析了大模型运营的成本压力。汪玉表示,即便对国际顶尖学府来讲,大模型的研究也是不小的挑战。从训练端看,180B参数量的大模型,在3.6T tokens的数据集上训练,花费超1亿。50B参数量的垂类大模型,训练成本也要400万元。

  同时,汪玉也简述了大模型在推理侧,服务大量用户时依然面临的巨大成本问题。并指出这样的成本结构对于广大公司乃至个人用户而言都是难以承受的。

  此外,为适应大模型发展的需求,需要更高的数据联网带宽。汪教授提到,根据理论计算,互联带宽的需求远远超过当前技术供应水平,业界需要更好的互联方式来连接硬件共同完成模型的计算。在这个前景下,如何连接中国AI系统中的算力机器成为一个亟待解决的问题。

  上海交通大学副教授张拳石、硅星人/品玩CEO骆轶航、彩云科技创始人袁行远、知乎COO张宁等悉数到场,共同探讨AI新时代下的技术创新与产业应用,为行业发展带来新的思维和灵感。随着行业对AI关注度的提高,知乎上人工智能相关话题浏览量已超过226亿,知乎答主中也不乏机器学习和深度学习的从业者、专家,其中更有OpenAI最年轻的工程师。首届“知乎AI先行者沙龙”的成功举办,为AI技术创新与产业应用搭建了桥梁,为行业未来发展提供了新的思路和方向。

  

/

  

知乎COO张宁

  

知乎COO张宁

标签: 今日热榜

“清华大学教授汪玉:算法与芯片协同优化,推动大模型行业可持续发展” 的相关文章

高德充电地图2.0全新升级:上线充电排队预测功能

高德充电地图2.0全新升级:上线充电排队预测功能

  快科技2月6日消息,春节将至,高德携手国网e充电特别推出《春节假期电动汽车高速出行充电指南》。   高德充电地图2.0全新升级,上线充电排队预测功能,提前预知高速充电...

堆料、不极致、有遗憾,国内XR行业大佬们如何看待苹果Vision Pro?

堆料、不极致、有遗憾,国内XR行业大佬们如何看待苹果Vision Pro?

  “多么令人激动人心的早晨,在苹果第五大道店庆祝Apple Vision Pro的发布!空间计算时代已经到来!”在Apple Vision Pro发售的第一天,苹果公司CEO库克在社交平...

安徽一国资企业发商品房以旧换新公告:可用一套或多套旧房换新,支持收购款分批次支付

安徽一国资企业发商品房以旧换新公告:可用一套或多套旧房换新,支持收购款分批次支付

  近日,安徽宣城城市建设集团发布商品房以旧换新公告:凡主城区水阳江大道围合区域及周边部分区域、建筑面积144平方米以下、具有独立不动产权证,无抵押无担保、无纠纷、无违建、无质量安全隐患的...

奔驰大G纯电动版来了EQG

奔驰大G纯电动版来了EQG

  奔驰的EQ系列最近备受争议,销量低迷和产品质量问题让该系列雪上加霜。有报道称,奔驰可能停止EQ系列的研发。然而,奔驰也在积极推进其电动汽车计划,并计划推出新款EQG...

三星目标今年将Galaxy AI推广到1亿台设备

三星目标今年将Galaxy AI推广到1亿台设备

  IT之家 1 月 30 日消息,三星 Galaxy S24 系列旗舰手机于本月发布,首发搭载了 Galaxy AI。三星已经确认,Galaxy AI 将于今年上半年下放到 2023 年...

微软将使用甲骨文Oracle云服务器,优化Bing对话式搜索

微软将使用甲骨文Oracle云服务器,优化Bing对话式搜索

  IT之家 11 月 8 日消息,今年 9 月,微软和甲骨文 Oracle 发布联合公告,正在创建一项新的基于云的服务:Oracle Database Azure。  ...