你见过晶圆大小的芯片嘛?这家AI独角兽推新品对标英伟达H100

2024-03-14每日热点

  ①半导体初创公司Cerebras Systems公司周三(3月13日)推出了一款新的芯片WSE-3;②而它的尺寸却类似晶圆大小,是目前最大GPU面积的56倍;③该芯片拥有4万亿个晶体管数,定位为比英伟达显卡更为高效的替代品。

  财联社3月14日讯(编辑 周子意)当芯片制造商都在试图将芯片往小了设计时,而这家公司却反其道而行之。

  半导体初创公司Cerebras Systems公司周三(3月13日)推出了一款新的芯片WSE-3,而它的尺寸却类似晶圆大小,或者说比一本书还要大,单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。

image

  据悉,该款芯片将4万亿个晶体管组织在90万个核心中。

  该芯片针对人工智能训练的工作负载进行了优化。Cerebras公司声称,配备了2048个WSE-3芯片的服务器集群可以在一天内训练出市场上最先进的开源语言模型之一Llama 2 70B。

  替代英伟达

  Cerebras是一家美国人工智能芯片的独角兽企业,它背后的投资团队也都实力够硬。最新一笔融资是在2021年由Alpha Wave Venture和阿布扎比增长基金领投,融资金额2.5亿美元,其他的投资人士包括:OpenAI创始人山姆·奥特曼、AMD前首席技术官Fred Weber等。

  2021年,Cerebras公司首次亮相了WSE-2芯片,集成了1.2万亿个晶体管、40万个核心。在同行都在将晶圆分割成数百颗独立芯片之时,Cerebras公司则是选择将整个晶圆做成一颗芯片。

  而最新发布的WSE-3则是从WSE-2改进而来的。它较WES-2又增加了1.4万亿个晶体管,并拥有90万个计算核心、44GB的板载SRAM内存。强化部分是通过从7纳米制造工艺更新到5纳米节点所实现的。

  据该公司称,WSE-3在人工智能工作负载方面的性能是其前身的两倍,它的峰值速度可以达到每秒125千万亿次计算。

  Cerebras还将WSE-3定位为比英伟达显卡更为高效的替代品。根据Cerebras官网的数据,该芯片4万亿个晶体管数完全碾压了英伟达H100 GPU的800亿个;核处理器数是单个英伟达H100 GPU的52倍;片上存储量是H100的880倍。

image

  WSE-3芯片为Cerebras公司的CS-3超级计算机提供动力,CS-3可用于训练具有多达24万亿个参数的人工智能模型,对比由WSE-2和其他常规人工智能处理器驱动的超级计算机,这一数据是个重大飞跃。

  加速数据传输

  虽说将晶圆大小的芯片和单个英伟达H100 GPU相比较并不公平,不过若从数据传输速度的角度来看,不将晶圆切割成单独的芯片确实有它的优势。

  根据Cerebras公司的说法,使用单一的大型处理器可以提高人工智能训练工作流程的效率。当WSE-3上的4万亿个晶体管在晶圆上互连时,将会大大加快生成式人工智能的处理时间。

  人工智能模型就是相对简单的代码片段的集合,这些代码片段被称为人工神经元。这些神经元被重新组织成集合(称为层)。当人工智能模型接收到一个新任务时,它的每一层都会执行任务的一部分,然后将其结果与其他层生成的数据结合起来。

  由于神经网络太大,无法在单个GPU上运行,因此,这些层需要分布在数百个以上的GPU上,通过频繁地交换数据来协调它们的工作。

  基于神经网络架构的具体特性,只有获得前一层的全部或部分激活数据,才能在开始分析数据,并提供给下一层。也就意味着,如果这两层的数据运行在不同的GPU上,信息在它们之间传输可能需要很长时间。芯片之间的物理距离越大,数据从一个GPU转移到另一个GPU所需的时间就越长,这会减慢处理速度。

  而Cerebras的WSE-3有望缩短这一处理时间。如果一个人工智能模型的所有层都在一个处理器上运行,那么数据只需要从芯片的一个角落传输到另一个角落,而不是在两个显卡之间传输。减少数据必须覆盖的距离可以减少传输时间,从而加快处理速度。

  该公司指出,在如今的服务器集群中,数以万计的GPU被用来处理一个问题,而若是将芯片数量减少50倍以上,就可以降低互连成本以及功效,同时或许也可以解决消耗大量电力的问题。

  Cerebras联合创始人兼CEO Andrew Feldman称,“当我们八年前开始这一旅程时,每个人都说晶圆级处理器是白日梦…WSE-3是世界上最快的人工智能芯片,专为最新的尖端人工智能工作而打造。”

  对于新推出地WSE-3芯片,分析公司Intersect360 Research首席执行官Addison Snell认为,Cerebras的WSE-3人工智能芯片和CS-3系统可以使部分高性能计算用户受益。

  他指出,“该芯片在相同的成本和功率下将性能提高了一倍。”

  不过,Tirias Research创始人Jim McGregor则较为现实地指出,尽管这家初创公司增长迅速,并且有能力提高其平台的可扩展性,但与占主导地位的人工智能供应商英伟达相比,它仍然是一家规模较小的公司。

  他还指出,Cerebras专注于人工智能的一个方面,那就是训练,不过训练只是大型语言模型市场的一个利基市场。而英伟达提供了许多其他方面产品。

标签: 今日热榜

“你见过晶圆大小的芯片嘛?这家AI独角兽推新品对标英伟达H100” 的相关文章

CES 2024:车企画饼失败,一个存在了数十年的老物件,成为全场最大亮点

CES 2024:车企画饼失败,一个存在了数十年的老物件,成为全场最大亮点

  在刚刚开幕的 2024 国际电子消费展(CES)上,索尼本田移动出行公司(Sony Honda Mobility)的社长川西泉,使用 PS5 的 DualSense...

阿维塔汽车售后部门裁员95%?官方回应:未受影响

阿维塔汽车售后部门裁员95%?官方回应:未受影响

  近日,在求职招聘软件脉脉上,有一位职业认证为“前阿维塔科技员工”的用户曝光了阿维塔裁员的消息,他表示,因为公司架构调整,阿维塔全国售后95%的人员被裁。甚至评论区有人曝光,其实裁的是1...

一夜之间被周鸿祎打回原型,年变现近千万的网红程前是何许人也?

一夜之间被周鸿祎打回原型,年变现近千万的网红程前是何许人也?

  近两年,在抖音上,一个名为“程前朋友圈”的账号迅速蹿红。和其他账号不同,这个账号主要集结了大量年轻创业者的成功经历,所以不少想要创业的或者已经在创业的朋友们都关注了。主持人程前成为了人...

成龙迎70岁生日,刘浩存、娜扎晒合照送祝福:大哥生日快乐!祝大哥永远开心快乐

成龙迎70岁生日,刘浩存、娜扎晒合照送祝福:大哥生日快乐!祝大哥永远开心快乐

  4月7日,著名影星成龙迎来70岁生日。   公开资料显示,成龙1954年4月7日出生于香港,华语影视男演员、导演、制作人、编剧、歌手,国家一级演员...

特斯拉Model Y在美国临时降价,马斯克称人们不喜欢在冬季买车

特斯拉Model Y在美国临时降价,马斯克称人们不喜欢在冬季买车

  IT之家 2 月 13 日消息,特斯拉近日宣布,从现在到 2 月底,Model Y 后轮驱动版和长程版在美国的售价将分别下调 1000 美元(IT之家备注:当前约 7200 元人民币)...

美股芯片股几乎全线溃败,Arm收跌超8%跌幅靠前,并创历史上最差单日表现

美股芯片股几乎全线溃败,Arm收跌超8%跌幅靠前,并创历史上最差单日表现

  英伟达收跌2.73%,创2023年12月20日以来最大单日跌幅,报481.68美元,逼近12月20日收盘位481.11美元。软银旗下芯片软件设计公司Arm收跌8.28%,报68.92美...