首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

是石科技最新发布TokenFleet调度框架,可将首Token延迟降低32.4%,大幅提升国产大模型推理运行效率。

阅读原文 · 量子位 →