D-Matrix独特的计算平台，即CorsairC8，可以说已经取代了Nvidia行业领先的H100GPU——至少根据该初创公司发布的一些令人震惊的测试结果来看是这样。
CorsairC8专为生成式AI工作负载而设计，与GPU的不同之处在于它使用d-Matrix独特的数字内存计算机(DIMC)架构。
结果?与业界领先的NvidiaH100相比，吞吐量提高了9倍，与A100相比，吞吐量提高了27倍。
这家初创公司是硅谷最受关注的初创公司之一，在最新一轮融资中从投资者那里筹集了1.1亿美元，其中包括来自微软的资金。与此同时，2022年4月，微软、SK海力士等支持者又进行了4400万美元的一轮投资。
其旗舰产品CorsairC8卡包括2,048个DIMC内核、1300亿个晶体管和256GBLPDDR5RAM。它可以拥有2,400至9,600TFLOPS的计算性能，间带宽为1TB/s
与传统GPU相比，这些独特的卡可为大型语言模型(LLMS)生成推理提供高达20倍的高吞吐量，将LLM的推理延迟降低高达20倍，并节省高达30倍的成本。
随着生成式人工智能的迅速发展，该行业正陷入一场竞赛，打造日益强大的硬件来为未来几代技术提供动力。
主要组件是GPU，更具体地说，是Nvidia的A100和更新的H100单元。但根据d-Matrix的说法，GPU并未针对LLM推理进行优化，并且需要太多GPU来处理AI工作负载，从而导致能耗过高。
这是因为运行AI推理的带宽需求导致GPU花费大量时间空闲，等待来自DRAM的数据输入。将数据移出DRAM还意味着更高的能耗以及吞吐量降低和延迟增加。这意味着冷却需求随之提高。
该公司声称，解决方案是其专门的DIMC架构，可以缓解GPU中的许多问题。D-Matrix声称其解决方案可以将成本降低10到20倍，在某些情况下甚至可以降低60倍。
除了d-Matrix的技术之外，其他厂商也开始加入到超越NvidiaH100的竞争中。IBM在8月份推出了一款新的模拟，它可以模仿人脑，执行效率提高14倍。