api-ai-promptfoo
@agents-inc · 收录于 3 周前
Testing and evaluation framework for LLM prompts and applications -- promptfooconfig.yaml, assertions, model-graded evals, red teaming, CI/CD integration, custom providers, and comparative evaluation
适合你，如果你需要系统化测试和比较不同 LLM 提示或模型的效果。
/ 通过 npx 安装 校验哈希
npx oh-my-skill add agents-inc/skills/api-ai-promptfoo/ 通过 bash 安装
curl -fsSL https://oh-my-skill.com/install.sh | bash -s -- agents-inc/skills/api-ai-promptfoo/ 已经装过?验证本机副本,不用重装
npx oh-my-skill verify agents-inc/skills/api-ai-promptfoo安装目标可用 --agent / --scope 或 --to 明确指定;省略时只会在唯一已存在的 agent 目录上自动选择,零命中或多命中会停止并提示。content_hash 缺失或不一致均拒装。
15GitHub stars
~3.4K最小装载
~10.8K含声明引用
~10.8K文本包总量
索引托管
怎么用
商店整理自技能原文 · 版本 279811b · 表述以原文为准它做什么
安装后，Claude 能帮你编写和运行 LLM 测试。它会生成 promptfooconfig.yaml 配置文件，定义提示词、模型和测试用例，并执行评估命令，输出测试结果。
什么时候触发
当你需要测试或比较不同 LLM 的提示词效果，或者想对 LLM 输出进行自动化质量检查时触发。
装好后可以这样说
Claude 会生成包含提示词、模型和测试用例的配置文件。
Claude 会添加模型评分断言来评估主观质量。
评论
登录即可评论;带「已验证安装」的,是发布者名下有本店的安装或持有记录。
…