清华团队推出开源大模型推理引擎“赤兔 Chitu”，性能大幅提升

清华大学的高性能计算研究所一直以来在计算技术领域内表现出色，近日，该所的翟季冬教授团队与清华系科创企业清程极智共同推出了一款名为“赤兔 Chitu”的开源大模型推理引擎。该引擎的上线标志着中国在大模型推理技术方面又向前迈出了一大步，尤其是其在各类非英伟达架构及国产芯片上的应用潜力，使得其受到广泛关注和期待。

“赤兔 Chitu”引擎是清华团队经过多年努力研发的成果，旨在提供高效的性能同时，兼容多种硬件环境。首创的在非英伟达 Hopper 架构的 GPU 上以及各类国产芯片上原生运行 FP8 精度模型，不仅实现了深度学习推理成本的显著降低，达到了一半的成本节省，同时，还实现了推理性能的翻倍。这对于希望在不同设备上进行大规模推理应用的企业和科研机构，是一项显著的技术优势。

从功能上讲，“赤兔 Chitu”引擎具有多元算力适配的特点，支持从最新的NVIDIA旗舰产品到多款较旧型号的GPU，并对国产芯片进行了优化支持。这一设计极大提高了引擎的适用性，使得用户不再局限于特定的GPU厂商。在当前全球硬件供应紧张、成本上升的背景下，这种多元适配能力意味着企业能够更灵活地选择硬件配置，以满足自身的推理需求。

“赤兔 Chitu”引擎还提供了全场景可伸缩的部署方案。无论是纯 CPU 部署，还是单 GPU 部署，以及大规模集群部署，赤兔引擎都能提供相应的解决方案。这种灵活性让用户能够按照实际需求和资源条件，选择最适合的部署方案，为各类应用提供了更高的可操作性。

稳定性是生产级大模型推理引擎所必须具备的重要特性。经过多次优化，“赤兔 Chitu”能够在实际生产环境中长期稳定运行，确保能够承载高并发的业务流量。这一特性对于希望将大模型推理技术应用于实际业务场景的企业至关重要，能够极大降低因系统不稳定而导致的业务损失。

在性能方面，清华团队针对“赤兔 Chitu”引擎进行了详尽的测试。在部署 DeepSeek-R1-671B 满血版的过程中，A800 集群测试显示，相比某些国外开源框架，使用赤兔引擎后，GPU的使用量减少了50%，而推理速度则提升了3.15倍。这一数据不仅显示了其卓越的性能，更表明了清华团队在优化算法和系统架构方面的深厚技术积累。

为了让更多的开发者和研究人员能够使用这一先进的推理引擎，清华团队决定将“赤兔 Chitu”引擎开源。这意味着任何人都可以自由使用、修改和分享这一引擎，进而促进大模型推理技术的广泛应用与发展。同时，开源也能够集结更多的力量来不断优化和提升引擎的性能，形成良性循环。

开源的另一个重要优势在于能够让社区内的研究者共同参与进来，带来更多创新的想法和需求，进而推动技术进步。清华团队期待能够通过开源，吸引更多的开发者参与到赤兔引擎的改进和应用中，形成一个开放、合作的技术生态。

“赤兔 Chitu”引擎的推出不仅是清华大学在高性能计算领域的又一里程碑，更是中国整个技术生态在大模型推理方面取得的重要进展。随着该引擎的开源发布，预计将会有越来越多的企业和研究机构开始尝试并实施这项技术，为推动人工智能的普及与应用做出贡献。

对此感兴趣的开发者可以在GitHub上找到“赤兔 Chitu”的开源地址（https://github/thu-pacman/chitu），并利用这一引擎进行相关创新与开发。清华团队的这一努力，必将在未来的计算领域中继续发挥影响，助力推进中国在人工智能技术上的进一步发展。