1.5K ·GitHub
这是什么?
一套智能体技能(agent skills),用来引导 AI 编程助手为具体产品构建 AI 评估(evals)——而不是基础模型基准测试。它凝聚了作者在 AI Evals 课程中从 50 多家公司和数千名学员那里看到的常见错误。
一套智能体技能(agent skills),用来引导 AI 编程助手为具体产品构建 AI 评估(evals)——而不是基础模型基准测试。它凝聚了作者在 AI Evals 课程中从 50 多家公司和数千名学员那里看到的常见错误。那这是我自己运行的工具,还是我的编程助手照着执行的说明?不是一个应用——而是一套由你的 AI 编程助手加载并遵循的技能。'evals-start' 是入口:它会分析你的情况,把你引导到合适的技能上。
不是一个应用——而是一套由你的 AI 编程助手加载并遵循的技能。'evals-start' 是入口:它会分析你的情况,把你引导到合适的技能上。怎么安装这些技能?运行 'npx skills' 即可安装到你的编程助手中。你也可以只安装某一个技能,并用另外的命令检查更新。
运行 'npx skills' 即可安装到你的编程助手中。你也可以只安装某一个技能,并用另外的命令检查更新。除了编程助手,还需要安装别的东西吗?不需要——用你现有的 AI 编程助手就行。唯一的运行时接触点是 error-discovery 生成的审阅页面:一个单文件 HTML 页面,由 Python 标准库服务器提供,零依赖。
不需要——用你现有的 AI 编程助手就行。唯一的运行时接触点是 error-discovery 生成的审阅页面:一个单文件 HTML 页面,由 Python 标准库服务器提供,零依赖。这些技能不覆盖评估工作的哪些部分?只覆盖能跨项目通用的部分。生产环境监控、CI/CD 回归测试套件和成本优化都明确不在范围内——团队的 AI Evals 课程会讲这些。
只覆盖能跨项目通用的部分。生产环境监控、CI/CD 回归测试套件和成本优化都明确不在范围内——团队的 AI Evals 课程会讲这些。我在做一个 AI 产品,但对评估完全没经验,该从哪里入手?这些技能面向为自己的产品构建评估的开发者,凝聚了帮助 50 多家公司、教过数千名学员过程中积累的错误经验。如果你已经有一条评估流水线,evals-start 会把你引到 eval-audit;如果你还有没分析过的对话记录(traces),则会引到 error-discovery。
这些技能面向为自己的产品构建评估的开发者,凝聚了帮助 50 多家公司、教过数千名学员过程中积累的错误经验。如果你已经有一条评估流水线,evals-start 会把你引到 eval-audit;如果你还有没分析过的对话记录(traces),则会引到 error-discovery。这个集合里有哪些技能?八个:evals-start(入口,负责路由)、eval-audit(审计现有的评估流水线,按严重程度标出问题)、error-discovery(构建审阅应用,把对话记录归入各类失败模式)、generate-synthetic-data(基于维度的元组生成)、write-judge-prompt(设计 LLM-as-Judge 评估器)、validate-evaluator(用 TPR/TNR 和偏差校准把评估器与人工标注对齐)、evaluate-rag(检索和生成质量),以及 build-review-interface(自定义标注界面)。
八个:evals-start(入口,负责路由)、eval-audit(审计现有的评估流水线,按严重程度标出问题)、error-discovery(构建审阅应用,把对话记录归入各类失败模式)、generate-synthetic-data(基于维度的元组生成)、write-judge-prompt(设计 LLM-as-Judge 评估器)、validate-evaluator(用 TPR/TNR 和偏差校准把评估器与人工标注对齐)、evaluate-rag(检索和生成质量),以及 build-review-interface(自定义标注界面)。为什么说 error-discovery 是最重要的技能?因为你应该先做错误分析,然后再写评估。你把它指向一个包含 LLM 输出或对话记录的 JSONL/CSV/JSON 文件:它会构建一个审阅应用,对数据聚类并挑选多样化的样本,然后进入交互式循环——你的自由文本笔记会被归入各种失败模式,同时它会挑选新样本填补覆盖空白。
因为你应该先做错误分析,然后再写评估。你把它指向一个包含 LLM 输出或对话记录的 JSONL/CSV/JSON 文件:它会构建一个审阅应用,对数据聚类并挑选多样化的样本,然后进入交互式循环——你的自由文本笔记会被归入各种失败模式,同时它会挑选新样本填补覆盖空白。为什么用技能,而不是直接读一篇评估指南?评估里有很多很容易踩的坑。这些技能把 AI Evals 课程团队在帮助 50 多家公司时看到的常见错误固化了下来,让你的智能体在为你的具体产品构建评估时能避开它们。
评估里有很多很容易踩的坑。这些技能把 AI Evals 课程团队在帮助 50 多家公司时看到的常见错误固化了下来,让你的智能体在为你的具体产品构建评估时能避开它们。我可以写自己的评估技能吗?可以,而且作者也鼓励你这么做:这些技能只覆盖跨项目通用的内容,而扎根于你自己的数据和领域的技能效果会更好。Matt Pocock 的 writing-for-ai-agents 是一个不错的入门资源。
可以,而且作者也鼓励你这么做:这些技能只覆盖跨项目通用的内容,而扎根于你自己的数据和领域的技能效果会更好。Matt Pocock 的 writing-for-ai-agents 是一个不错的入门资源。What are similar projects?skills, SwiftUI-Agent-Skill, ruflo, jev-align, claude-plugins-official, superpowers-zh, Coding-Agent-Skills, compound-engineering-plugin
skills, SwiftUI-Agent-Skill, ruflo, jev-align, claude-plugins-official, superpowers-zh, Coding-Agent-Skills, compound-engineering-pluginWhich topics is it in?annotation-tool, ai-skills, claude-plugin, annotation, llm-evaluation, human-in-the-loop, best-practices, evaluation, prompt-engineering, rag, skills, testing
annotation-tool, ai-skills, claude-plugin, annotation, llm-evaluation, human-in-the-loop, best-practices, evaluation, prompt-engineering, rag, skills, testing