Show HN: Maple – Sub-2-BPW MoE剪枝,6GB GPU跑Gemma 4 26B达45 TPS
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
开发者推出Maple方案,采用Sub-2-BPW MoE剪枝技术,可在6GB显存的GPU上运行Gemma 4 26B,实现45 TPS吞吐量。
阅读原文 · Hacker News →Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
开发者推出Maple方案,采用Sub-2-BPW MoE剪枝技术,可在6GB显存的GPU上运行Gemma 4 26B,实现45 TPS吞吐量。
阅读原文 · Hacker News →