
云端大算力推理芯片

針對百萬(wàn)長(cháng)上下文Prefill性能優(yōu)化 高并行計算,大顯存容量

針對 Decode 吞吐優(yōu)化 大帶寬、高吞吐

針對 Decode FFN 計算路徑 極低延時(shí)
PRODUCT FORM

為百萬(wàn)級長(cháng)上下文 Prefill 而生
最大支持256卡Scale-Up,構建統一可擴展的Prefill Pool,融合高密算力、大容量?jì)却媾c高帶寬互聯(lián)。面向超長(cháng)Prompt、RAG、多輪Agent等場(chǎng)景優(yōu)化,顯著(zhù)提升長(cháng)上下文推理效率,降低部署成本,支撐大規模高并發(fā)AI應用。

面向高吞吐Decode的推理引擎

面向Decode FFN加速的極低時(shí)延推理底座