smevals:用于评估模型、提示词与测试框架的小型评估套件

smevals - a small eval suite for evaluating models, prompts, and harnesses

smevals 是一款用于评估模型、提示词和测试框架的小型评测套件。我一直和 Jesse Vincent 的 Prime Radiant 应用AI研究实验室合作开发这套评测框架,用于解答不同模型的能力相关问题,最终成果就是 smevals。

阅读原文 · Simon Willison →