KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

港科、CMU联合岩山科技开源新模型，KV Cache占用砍掉99%，单卡推理吞吐提升6倍，单张显卡可同时运行512路长推理任务。