ai-observability-promptfoo
@agents-inc · 收录于 3 周前
Testing and evaluation framework for LLM prompts and applications -- promptfooconfig.yaml, assertions, model-graded evals, red teaming, CI/CD integration, custom providers, and comparative evaluation
适合你，如果你需要系统化测试和比较不同 LLM 提示的效果
/ 通过 npx 安装 校验哈希
npx oh-my-skill add agents-inc/skills/ai-observability-promptfoo/ 通过 bash 安装
curl -fsSL https://oh-my-skill.com/install.sh | bash -s -- agents-inc/skills/ai-observability-promptfoo/ 已经装过?验证本机副本,不用重装
npx oh-my-skill verify agents-inc/skills/ai-observability-promptfoo安装目标可用 --agent / --scope 或 --to 明确指定;省略时只会在唯一已存在的 agent 目录上自动选择,零命中或多命中会停止并提示。content_hash 缺失或不一致均拒装。
15GitHub stars
~3.3K最小装载
~10.7K含声明引用
~10.7K文本包总量
索引托管
怎么用
商店整理自技能原文 · 版本 279811b · 表述以原文为准它做什么
安装后，Claude 能帮你用 YAML 文件定义测试用例，自动运行 LLM 提示词评估，并检查输出是否满足指定条件（如包含特定文本、是 JSON 格式、成本低于阈值等）。
什么时候触发
当你需要测试或比较不同 LLM 提示词的效果，或者想在代码提交前自动检查提示词质量时触发。
装好后可以这样说
Claude 会生成配置文件，包含提示词、模型和测试断言。
Claude 会添加一个模型评分断言来评估主观质量。
评论
登录即可评论;带「已验证安装」的,是发布者名下有本店的安装或持有记录。
…