千条任务一次跑完：AgentScope 分布式并行评估的完整路径

千条任务一次跑完：AgentScope 分布式并行评估的完整路径

【免费下载链接】agentscopeBuild and run agents you can see, understand and trust.项目地址: https://gitcode.com/GitHub_Trending/ag/agentscope

AgentScope 的评估框架支持分布式并行评估：借助 Ray 并行调度，同一个智能体可以在完整的基准测试集上同时跑起来，不用逐条等任务执行完。这里以 ACEBench 为例，把从安装、启动到读结果的流程走一遍。

把评估拆成调度和打分两半

先说清楚评估框架里的分工：任务层决定"跑哪些任务、并行多少"，指标层决定"每条执行轨迹怎么打分"。这两层解耦之后，并行只是调度问题，业务代码不用自己处理。

串行能跑，但撑不住千条任务

单条任务本身就不短——模型多轮调用、工具执行，一条可能要好几分钟。基准集里几百上千条任务串着跑，算下来是以天计的，还要叠加n_repeat重复验证。串行方式调试时够用，规模一上来就顶不住。

调度交给 RayEvaluator

RayEvaluator 继承评估器基类，把任务切片后派发给 Ray 集群上的 worker，每个 worker 独立执行任务并把结果写回本地存储，并行度由 worker 数决定，多节点部署也天然可用。只想在单机上验证少量任务时，可以退回到 GeneralEvaluator 顺序执行，两套入口共用同一套指标与存储实现，切换成本低。

评估框架建在 AgentScope 2.0 的整体架构之上，图中可以看到智能体引擎、工作区与中间件这些评测所依赖的底座。

跑通一次 ACEBench 评测

安装依赖，准备最小配置

git clone https://gitcode.com/GitHub_Trending/ag/agentscope cd agentscope pip install -e .[evaluation]

评估相关模块位于src/agentscope/evaluate/，ACEBench 示例在examples/evaluation/ace_bench/。装好包后看目录里的 README 确认配置项：数据目录放任务集，结果目录放落盘数据。

⚡ 八个 worker 拉起并行评估

cd examples/evaluation/ace_bench python main.py --data_dir ./data --result_dir ./results --n_workers 8

--n_workers控制并行 worker 数。CPU 密集型任务从核心数的 1.5 倍左右起步比较稳；跑 GPU 任务则要看显存，并发开太大容易爆。

评测跑起来之后，怎么观察和解读结果

评估不是黑盒。任务执行过程可以在 Web UI 里逐条查看，智能体每步的输出与工具调用都有据可查——定位某条失败任务时，先看它的完整轨迹再谈分数，这是评估结果可视化最直接的用法。

汇总层面重点盯三个数：完成率与失败率、任务耗时分布、错误类型统计。跑完后可以按任务类别、难度等维度切分对比，判断是某一类任务偏弱还是整体漂移。结果由 FileEvaluatorStorage 负责持久化，聚合报告的生成接口可以参考官方文档。

中途断了：断点续跑

存储层会记录每条任务的状态，中断后重新执行同一命令，已完成的任务直接跳过，从断点继续——对动辄几小时的基准集来说，这比从头重跑省心得多。关键任务把n_repeat设到 3 及以上，多轮结果稳定了再下结论，比单次分数更可信。

给评估框架加一个自定义指标

内置指标覆盖了常见的判定方式，比如答案精确匹配的 CheckEqual。业务有自己的打分口径时——比如按字段给部分分——自己实现一个指标即可。

🧩 指标骨架长这样

from agentscope.evaluate import MetricBase, MetricResult class CustomMetric(MetricBase): async def __call__(self, solution): score = compute_score(solution.output) # 自己的打分逻辑 return MetricResult(result=score, message=f"score: {score}")

指标注册进评估器后，会和内置指标一起随任务并行跑，不需要改调度逻辑。写的时候可以参考 CheckEqual 的完整实现。

一次完整的评估旅程，说到底就是三件事：任务并着跑、结果存得下、口径换得动。框架跑顺之后，新增基准或指标的成本主要花在数据和打分逻辑上，调度这一层基本不用动。

• ACEBench 示例：examples/evaluation/ace_bench/
• 评估模块源码：src/agentscope/evaluate/
• 官方文档：docs/

【免费下载链接】agentscopeBuild and run agents you can see, understand and trust.项目地址: https://gitcode.com/GitHub_Trending/ag/agentscope