近期，人工智能技术的发展引发了对于算力资源消耗的深思。除了计算芯片外，每个token的生成也需要频繁读取模型权重，并管理不断增加的上下文信息。在这样的背景下，前ASML CEO Peter Wennink在离开光刻机巨头两年后，再次踏入欧洲芯片行业。这一次，他的任务不再是开发更先进的芯片生产设备，而是构建一种新型计算系统，以减少AI推理的成本。

9月15日，荷兰的AI芯片初创公司Euclyd宣布成功募集超过2亿欧元的A轮融资，该轮融资由三星及其他投资方共同领投。尽管Euclyd成立时间不长，且尚未公布其商用芯片或正式客户，但其获得的融资规模引人注目。这笔投资不仅与三星的晶圆制造和存储业务有关，还得到了众多半导体基金和资深设计师的支持。

Euclyd正对AI产业中一个重要变化进行探讨：随着大模型的持续运行，计算能力的竞争从单纯追求性能，转向关注每个token的能耗、内存带宽和相应的成本。因此，越来越多的企业开始在GPU之外探索新的推理架构，以应对这些挑战。 龙8头号玩家

为了理解Euclyd所要解决的问题，首先需要认识到大模型在训练与推理阶段对硬件的不同要求。训练过程需要不断调整模型参数，因此对硬件的通用性要求较高。在这一阶段，GPU因其处理并行任务的卓越能力而成为主流选择。而在推理阶段，已经训练好的模型响应用户请求时，模型参数相对固定，需要进行大量重复计算。此时，单位时间内生成token的速度和每个token的成本成为企业关注的重点。

在生成token的过程中，芯片需要反复从内存中读取模型权重，同时保存上下文信息。然而，尽管计算单元的处理速度在不断提高，数据传输速度却可能跟不上，导致芯片在等待数据时无法发挥其计算能力。这种计算能力与数据供给速度不匹配的问题，被俗称为“内存墙”。相关研究表明，即使扩大批处理规模，GPU推理也可能受到DRAM带宽的限制，导致大量计算资源未被有效利用。因此，随着模型规模和上下文信息的增加，数据保存与移动的需求也相应增加。