Bonsai 2 27B：近乎无损压缩，占地面积缩小 9 倍

Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

我对 Bonsai 2 27B 的评论：以 9 倍更小的占用空间进行近乎无损压缩 — 黑客新闻。如果您想尝试 https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf#th 中的 GGUF...请注意，您需要 Prism 的 llama.cpp 分支才能使它们工作，来自 h