英特尔开源NPU加速库,方便使开发人员优化其AI应用

2024-03-03每日热点

  IT之家 3 月 3 日消息,@Tony MongkolsmAI 发现,英特尔已经在 GitHub 上开源了其 NPU 加速库,支持 Windows 和 Linux。

  开发人员可以按照相应文档对其软件进行优化,从而适配新一代 AI 模型,包括 TinyLlama 和 Gemma-2b-it。

  根据官方描述:英特尔 NPU 加速库是一个 Python 库,旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。

  英特尔还表示其 NPU 加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至IT之家发稿已经实现了 8bit 量化、Float16 支持、torch.compile 支持等,后续还将支持 NPU / GPU 异构计算等功能。

标签: 今日热榜

“英特尔开源NPU加速库,方便使开发人员优化其AI应用” 的相关文章

华为Mate60系列价格终于松动 第三方渠道最高优惠1千

华为Mate60系列价格终于松动 第三方渠道最高优惠1千

  【手机中国新闻】随着P70系列即将到来,华为去年亮相的经典旗舰——Mate60系列也在价格上迎来了松动。不仅不再“一机难求”,而且在第三方渠道,部分配置版本还有较大的优惠幅度,最高达到...

金山软件2023年营收85.3亿元增长12%,净利润4.835亿元扭亏为盈

金山软件2023年营收85.3亿元增长12%,净利润4.835亿元扭亏为盈

  IT之家 3 月 20 日消息,金山软件今日发布公告,2023 年营收为人民币 85.336 亿元,较上年同期增长 12%。来自办公软件及服务和网络游戏及其他的收益分别占集团 2023...

华为、小鹏“AEB之争”仍未结束:何小鹏喊话“不知道他急什么”

华为、小鹏“AEB之争”仍未结束:何小鹏喊话“不知道他急什么”

  IT之家 11 月 5 日消息,小鹏汽车 CEO、董事长何小鹏昨晚在朋友圈发文:“我最近评价了一个行业乱象,结果行业没急,非行业的倒急了,不知道他急什么。”   ...

格力回应花1个亿给矿工造20台空调:完全自主知识产权

格力回应花1个亿给矿工造20台空调:完全自主知识产权

  快科技11月29日消息,近日格力矿井空调引起了社会的广泛关注。   董明珠表示,格力花费一个多亿成功开发了矿井空调,虽然才卖了20台,但认为这非常有价值,因为这些矿工...

微星推出新款Wi-Fi 7无线网卡:传输速率达5.8Gbps

微星推出新款Wi-Fi 7无线网卡:传输速率达5.8Gbps

  快科技2月22日消息,微星推出了Herald-BE NCM865 Wi-Fi 7无线网卡。   据悉,用户通过安装PCIe扩展卡,让旧款台式机能轻松支持Wi-Fi 7...

又有传闻,小米最新回应

又有传闻,小米最新回应

  来源 | 第一财经 小米公司发言人官博 雷军官博 王化官博   3月18日,小米官方辟谣,“网传小米su7的产能,从10.7万提升至13.3万”为...