构建当前的人工智能聊天机器人依赖于 Nvidia 开创的专用计算机芯片，该公司在市场上占据主导地位，并使自己成为 AI 热潮的典型代表。

　　但是，使这些图形处理器芯片 （GPU） 在从头开始创建强大的 AI 系统方面如此有效的相同品质，使它们在将 AI 产品投入使用时的效率较低。

　　这为人工智能芯片行业打开了大门，这些竞争对手认为他们可以在销售所谓的人工智能推理芯片方面与英伟达竞争，这些芯片更适应人工智能工具的日常运行，旨在降低生成式人工智能的一些巨大计算成本。

　　“这些公司看到了这种专用硬件的机会，”乔治城大学（Georgetown University）安全和新兴技术中心（Center for Security and Emerging Technology）的分析师雅各布·费尔德戈斯（Jacob Feldgoise）说。“这些模型的采用范围越广，推理所需的计算就越多，对推理芯片的需求就越大。”

　　制作 AI 聊天机器人需要大量的计算能力。它从一个称为训练或预训练的过程开始——ChatGPT 中的“P”——涉及 AI 系统从大量数据的模式中“学习”。GPU 擅长完成这项工作，因为它们可以在相互通信的设备网络上一次运行许多计算。

　　但是，一旦经过训练，生成式 AI 工具仍然需要芯片来完成这项工作——例如当您要求聊天机器人撰写文档或生成图像时。这就是推理的用武之地。训练有素的 AI 模型必须吸收新信息，并根据它已经知道的信息进行推理才能产生响应天博体育官网。

　　GPU 也可以完成这项工作。但这有点像用大锤敲碎一个坚果。

　　“通过训练，你会做更重、更多的工作。通过推理，重量更轻，“Forrester 分析师 Alvin Nguyen 说。

　　这导致 Cerebras、Groq 和 d-Matrix 等初创公司以及 Nvidia 的传统芯片制造竞争对手（如 AMD 和 Intel）推出更多有利于推理的芯片，因为 Nvidia 专注于满足大型科技公司对其高端硬件的巨大需求。

　　D-Matrix 本周推出其第一款产品，成立于 2019 年——正如首席执行官 Sid Sheth 最近在加利福尼亚州圣克拉拉的公司总部接受采访时所解释的那样，人工智能芯片游戏有点晚，该硅谷城市也是 AMD、英特尔和英伟达的所在地。

　　“已经有 100 多家公司。所以当我们走出去时，我们得到的第一反应是'你来得太晚了，'“他说。六个月后，新冠疫情的到来并没有起到任何作用，因为科技行业转向专注于软件来为远程工作服务。

　　然而，现在，Sheth 看到了 AI 推理的巨大市场，将机器学习的后期阶段与人类应用他们在学校获得的知识的方式进行了比较。

　　“我们生命中的前 20 年都在上学，自学。这就是训练，对吧？“然后，在你人生的下一个 40 年里，你会走出去应用这些知识——然后你会因为效率而得到回报。

　　这款名为 Corsair 的产品由两个芯片和每个芯片四个小芯片组成，由台湾积体电路制造公司（Nvidia 大多数芯片的同一制造商）制造，并以有助于保持冷却的方式封装在一起。

　　这些芯片在圣克拉拉设计，在台湾组装，然后在加利福尼亚进行测试。测试是一个漫长的过程，可能需要六个月的时间——如果有任何偏差，可以将其送回台湾。

　　D-Matrix 的工作人员最近访问了一个实验室，该实验室的蓝色金属桌子上摆满了电缆、主板和计算机，隔壁有一个冷服务器机房，当时他们正在对芯片进行最终测试。

　　虽然亚马逊、谷歌、Meta 和 Microsoft 等科技巨头一直在吞噬昂贵的 GPU 供应，以在 AI 开发方面超越彼此，而 AI 推理芯片制造商的目标是更广泛的客户群。

　　Forrester 的 Nguyen 表示，这可能包括希望利用新的生成式 AI 技术而无需构建自己的 AI 基础设施的财富 500 强公司。Sheth 说，他预计人们对 AI 视频生成会有浓厚的兴趣。

　　“许多企业公司的 AI 梦想是你可以使用自己的企业数据，”Nguyen 说。“购买（AI 推理芯片）应该比从 Nvidia 和其他公司购买终极 GPU 更便宜。但我认为在整合方面会有一个学习曲线。

　　Feldgoise 说，与以训练为重点的芯片不同，AI 推理工作优先考虑一个人获得聊天机器人响应的速度。

　　他说，另一套公司正在开发用于推理的 AI 硬件，这些硬件不仅可以在大型数据中心运行，还可以在台式电脑、笔记本电脑和手机上本地运行。

　　设计更好的芯片可以降低企业运行 AI 的巨大成本。这也可能会影响其他所有人的环境和能源成本。

　　Sheth 说，现在最大的担忧是，“我们是否会为了追求人们所说的 AGI（类人智能）而烧毁地球？

　　AI 何时会达到通用人工智能的地步仍然很模糊——预测范围从几年到几十年不等。但是，Sheth 指出，只有少数科技巨头正在寻求这一目标。

　　“但是，其余的呢？”“他们不能走上同样的道路。”

　　另一组公司不想使用非常大的 AI 模型——它成本太高，而且消耗太多能源。

　　“我不知道人们是否真的、真的意识到推理实际上真的会是一个比训练大得多的机会。我认为他们并不欣赏这一点。真正占据所有头条新闻的仍然是训练，“Sheth 说。