项目测评

BFCL V4 工具调用、搜索与记忆

BFCL · 伯克利工具调用 · 109 条配置有公开分数，按独立指标查看结果和测试条件。

报告身份与条件

资料日期 2026-10-19 · 报告发布日期 —。运行日期与测试条件见各条记录。

榜单资料更新于 2026-04-12

综合与各任务保留官方成绩；本报告覆盖工具调用、多轮交互、联网搜索和记忆，不代表所有通用能力。
FC 为原生函数／工具调用，Prompt 为以文本生成实现调用；Thinking 配置单独保留。未标明模式的配置不推定调用方式。
整套测试估算费用以 USD 表示，延迟以秒表示，格式敏感度以百分点表示；三者分别比较，不当作 API 报价。
榜单资料更新日不等于每条配置的实际测试日。报告中的机构、型号链接与许可按原榜声明展示，许可适用范围以对应型号条款为准。
成绩事实引用 BFCL 官方公开榜单；不复制测试题、答案、模型输出或基准实现。

访问报告原文 ↗

左侧指标右侧指标

同一报告内分别比较指标，方向与口径见图表说明。
完整数值和运行条件见明细。

综合准确率

保留官方公布的综合准确率，不由本站分项重算；只在 BFCL V4 相同配置范围比较。图示 8 / 109 条有值记录；运行配置与日期见明细。

查看图表数据 ·8项

名称	%
Claude-Opus-4-5-20251101 (FC)	77.47
Claude-Sonnet-4-5-20250929 (FC)	73.24
Gemini-3-Pro-Preview (Prompt)	72.51
GLM-4.6 (FC thinking)	72.38
Grok-4-1-fast-reasoning (FC)	69.57
Claude-Haiku-4-5-20251001 (FC)	68.7
Gemini-3-Pro-Preview (FC)	68.14
o3-2025-04-16 (Prompt)	63.05

整套测试估算费用

整套基准测试的估算总费用，USD；不是每任务成本、每成功任务成本或当前 API 单价。图示 8 / 109 条有值记录；运行配置与日期见明细。

查看图表数据 ·8项

名称	USD
Qwen3-0.6B (FC)	0.46
Llama-3.1-Nemotron-Ultra-253B-v1 (FC)	0.72
Qwen3-14B (Prompt)	1.35
Granite-4.0-350m (FC)	1.44
Command R7B (FC)	1.5
Qwen3-30B-A3B-Instruct-2507 (Prompt)	1.56
Llama-3.2-1B-Instruct (FC)	1.64
Falcon3-1B-Instruct (FC)	1.72

完整结果与对象版本

109 / 109 条配置有本范围的公开分数；列表展示有分数的配置，缺项保留“未提供”。同名型号的不同运行配置分别列出。

GLM-4.6 (FC thinking)

报告所列型号

原生工具调用 · FC · 思考模式

多轮调用综合原榜第 5 名 · 综合准确率原榜第 4 名

报告所列机构：Zhipu AI · 许可：MIT · 型号资料 ↗

综合准确率: 72.38%
整套测试估算费用: 4.64 USD
平均延迟: 4.34 秒
延迟标准差: 7.22 秒

展开其余指标

延迟 P95: 13.5 秒
非实时 AST 综合: 87.56%
非实时简单调用: 74.25%
非实时多函数选择: 95%
非实时并行调用: 91.5%
非实时多函数并行: 89.5%
实时 AST 综合: 80.9%
实时简单调用: 89.53%
实时多函数选择: 78.92%
实时并行调用: 81.25%
实时多函数并行: 75%
多轮调用综合: 68%
多轮基础任务: 74.5%
多轮缺少函数: 68%
多轮缺少参数: 63%
多轮长上下文: 66.5%
联网搜索综合: 77.5%
含摘要搜索: 79%
无摘要搜索: 76%
记忆综合: 55.7%
键值记忆: 43.87%
向量记忆: 56.13%
递归摘要记忆: 67.1%
相关函数识别: 75%
无关函数识别: 84.96%
格式变化最大差值: 未提供
格式变化标准差: 未提供

CoALM-8B

报告所列型号

多轮调用综合原榜第 73 名 · 综合准确率原榜第 84 名

报告所列机构：UIUC + Oumi · 许可：Meta Llama 3 Community · 型号资料 ↗

综合准确率: 26.81%
整套测试估算费用: 25.33 USD
平均延迟: 20.36 秒
延迟标准差: 73.74 秒

展开其余指标

延迟 P95: 138.04 秒
非实时 AST 综合: 84.87%
非实时简单调用: 69.5%
非实时多函数选择: 93.5%
非实时并行调用: 88%
非实时多函数并行: 88.5%
实时 AST 综合: 66.77%
实时简单调用: 70.54%
实时多函数选择: 66.19%
实时并行调用: 62.5%
实时多函数并行: 54.17%
多轮调用综合: 8%
多轮基础任务: 10%
多轮缺少函数: 7%
多轮缺少参数: 8%
多轮长上下文: 7%
联网搜索综合: 0%
含摘要搜索: 0%
无摘要搜索: 0%
记忆综合: 2.8%
键值记忆: 3.23%
向量记忆: 3.87%
递归摘要记忆: 1.29%
相关函数识别: 87.5%
无关函数识别: 86.9%
格式变化最大差值: 79 百分点
格式变化标准差: 34.18 百分点

Qwen3-1.7B (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 65 名 · 综合准确率原榜第 71 名

报告所列机构：Qwen · 许可：apache-2.0 · 型号资料 ↗

综合准确率: 28.41%
整套测试估算费用: 4.33 USD
平均延迟: 5.12 秒
延迟标准差: 7.37 秒

展开其余指标

延迟 P95: 13.35 秒
非实时 AST 综合: 82.92%
非实时简单调用: 70.67%
非实时多函数选择: 92.5%
非实时并行调用: 88.5%
非实时多函数并行: 80%
实时 AST 综合: 74.61%
实时简单调用: 76.74%
实时多函数选择: 74.26%
实时并行调用: 62.5%
实时多函数并行: 75%
多轮调用综合: 11%
多轮基础任务: 15%
多轮缺少函数: 6%
多轮缺少参数: 12%
多轮长上下文: 11%
联网搜索综合: 2.5%
含摘要搜索: 3%
无摘要搜索: 2%
记忆综合: 6.02%
键值记忆: 4.52%
向量记忆: 7.74%
递归摘要记忆: 5.81%
相关函数识别: 81.25%
无关函数识别: 76.54%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Grok-4-0709 (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 38 名 · 综合准确率原榜第 10 名

报告所列机构：xAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 61.38%
整套测试估算费用: 355.17 USD
平均延迟: 15.49 秒
延迟标准差: 26.22 秒

展开其余指标

延迟 P95: 44.28 秒
非实时 AST 综合: 85.38%
非实时简单调用: 73.5%
非实时多函数选择: 92.5%
非实时并行调用: 88.5%
非实时多函数并行: 87%
实时 AST 综合: 75.57%
实时简单调用: 82.17%
实时多函数选择: 73.88%
实时并行调用: 75%
实时多函数并行: 79.17%
多轮调用综合: 33.88%
多轮基础任务: 44%
多轮缺少函数: 19%
多轮缺少参数: 28.5%
多轮长上下文: 44%
联网搜索综合: 82%
含摘要搜索: 80%
无摘要搜索: 84%
记忆综合: 55.91%
键值记忆: 57.42%
向量记忆: 58.71%
递归摘要记忆: 51.61%
相关函数识别: 87.5%
无关函数识别: 75.4%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Llama-3.3-70B-Instruct (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 50 名 · 综合准确率原榜第 62 名

报告所列机构：Meta · 许可：Meta Llama 3 Community · 型号资料 ↗

综合准确率: 31.9%
整套测试估算费用: 29.54 USD
平均延迟: 26.11 秒
延迟标准差: 93.22 秒

展开其余指标

延迟 P95: 187.93 秒
非实时 AST 综合: 88.02%
非实时简单调用: 76.08%
非实时多函数选择: 95%
非实时并行调用: 90%
非实时多函数并行: 91%
实时 AST 综合: 76.61%
实时简单调用: 81.4%
实时多函数选择: 75.5%
实时并行调用: 81.25%
实时多函数并行: 70.83%
多轮调用综合: 21.5%
多轮基础任务: 26%
多轮缺少函数: 19%
多轮缺少参数: 14.5%
多轮长上下文: 26.5%
联网搜索综合: 10%
含摘要搜索: 14%
无摘要搜索: 6%
记忆综合: 8.17%
键值记忆: 4.52%
向量记忆: 8.39%
递归摘要记忆: 11.61%
相关函数识别: 100%
无关函数识别: 53.53%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Qwen3-8B (Prompt)

报告所列型号

文本提示调用 · Prompt

多轮调用综合原榜第 39 名 · 综合准确率原榜第 44 名

报告所列机构：Qwen · 许可：apache-2.0 · 型号资料 ↗

综合准确率: 40.43%
整套测试估算费用: 63.95 USD
平均延迟: 54.17 秒
延迟标准差: 79.9 秒

展开其余指标

延迟 P95: 194.15 秒
非实时 AST 综合: 88.56%
非实时简单调用: 75.25%
非实时多函数选择: 95%
非实时并行调用: 94.5%
非实时多函数并行: 89.5%
实时 AST 综合: 80.09%
实时简单调用: 84.5%
实时多函数选择: 78.92%
实时并行调用: 93.75%
实时多函数并行: 75%
多轮调用综合: 33.38%
多轮基础任务: 41.5%
多轮缺少函数: 38.5%
多轮缺少参数: 27%
多轮长上下文: 26.5%
联网搜索综合: 13.5%
含摘要搜索: 19%
无摘要搜索: 8%
记忆综合: 13.12%
键值记忆: 3.87%
向量记忆: 10.32%
递归摘要记忆: 25.16%
相关函数识别: 75%
无关函数识别: 82.27%
格式变化最大差值: 16.5 百分点
格式变化标准差: 5.09 百分点

Granite-20b-FunctionCalling (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 81 名 · 综合准确率原榜第 93 名

报告所列机构：IBM · 许可：Apache-2.0 · 型号资料 ↗

综合准确率: 23.23%
整套测试估算费用: 5.23 USD
平均延迟: 3.2 秒
延迟标准差: 3.43 秒

展开其余指标

延迟 P95: 9.97 秒
非实时 AST 综合: 82.35%
非实时简单调用: 72.92%
非实时多函数选择: 91.5%
非实时并行调用: 83.5%
非实时多函数并行: 81.5%
实时 AST 综合: 58.7%
实时简单调用: 67.83%
实时多函数选择: 56.7%
实时并行调用: 43.75%
实时多函数并行: 58.33%
多轮调用综合: 5.38%
多轮基础任务: 9%
多轮缺少函数: 3%
多轮缺少参数: 6.5%
多轮长上下文: 3%
联网搜索综合: 0%
含摘要搜索: 0%
无摘要搜索: 0%
记忆综合: 0%
键值记忆: 0%
向量记忆: 0%
递归摘要记忆: 0%
相关函数识别: 87.5%
无关函数识别: 75.13%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Claude-Sonnet-4-5-20250929 (Prompt)

报告所列型号

文本提示调用 · Prompt

多轮调用综合原榜第 97 名 · 综合准确率原榜第 89 名

报告所列机构：Anthropic · 许可：Proprietary · 型号资料 ↗

综合准确率: 24.9%
整套测试估算费用: 47.82 USD
平均延迟: 3.84 秒
延迟标准差: 1.53 秒

展开其余指标

延迟 P95: 6.66 秒
非实时 AST 综合: 59.81%
非实时简单调用: 47.25%
非实时多函数选择: 79.5%
非实时并行调用: 53.5%
非实时多函数并行: 59%
实时 AST 综合: 46.56%
实时简单调用: 73.26%
实时多函数选择: 40.17%
实时并行调用: 56.25%
实时多函数并行: 33.33%
多轮调用综合: 1.62%
多轮基础任务: 2%
多轮缺少函数: 0%
多轮缺少参数: 3%
多轮长上下文: 1.5%
联网搜索综合: 16%
含摘要搜索: 16%
无摘要搜索: 16%
记忆综合: 5.38%
键值记忆: 4.52%
向量记忆: 9.68%
递归摘要记忆: 1.94%
相关函数识别: 37.5%
无关函数识别: 95.03%
格式变化最大差值: 37.5 百分点
格式变化标准差: 10.07 百分点

GPT-4.1-2025-04-14 (Prompt)

报告所列型号

文本提示调用 · Prompt

多轮调用综合原榜第 70 名 · 综合准确率原榜第 45 名

报告所列机构：OpenAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 39.38%
整套测试估算费用: 145.85 USD
平均延迟: 1.2 秒
延迟标准差: 3.23 秒

展开其余指标

延迟 P95: 2.53 秒
非实时 AST 综合: 88.69%
非实时简单调用: 78.25%
非实时多函数选择: 93.5%
非实时并行调用: 94%
非实时多函数并行: 89%
实时 AST 综合: 78.9%
实时简单调用: 84.88%
实时多函数选择: 77.4%
实时并行调用: 87.5%
实时多函数并行: 75%
多轮调用综合: 9.75%
多轮基础任务: 10.5%
多轮缺少函数: 11%
多轮缺少参数: 8%
多轮长上下文: 9.5%
联网搜索综合: 35%
含摘要搜索: 40%
无摘要搜索: 30%
记忆综合: 21.51%
键值记忆: 9.68%
向量记忆: 19.35%
递归摘要记忆: 35.48%
相关函数识别: 100%
无关函数识别: 83.99%
格式变化最大差值: 23.5 百分点
格式变化标准差: 6.18 百分点

Hammer2.1-3b (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 55 名 · 综合准确率原榜第 68 名

报告所列机构：MadeAgents · 许可：qwen-research · 型号资料 ↗

综合准确率: 29.71%
整套测试估算费用: 10.89 USD
平均延迟: 11.24 秒
延迟标准差: 15.81 秒

展开其余指标

延迟 P95: 47.44 秒
非实时 AST 综合: 84.96%
非实时简单调用: 79.33%
非实时多函数选择: 93.5%
非实时并行调用: 86.5%
非实时多函数并行: 80.5%
实时 AST 综合: 70.54%
实时简单调用: 68.22%
实时多函数选择: 71.32%
实时并行调用: 62.5%
实时多函数并行: 66.67%
多轮调用综合: 16.5%
多轮基础任务: 22%
多轮缺少函数: 12.5%
多轮缺少参数: 16%
多轮长上下文: 15.5%
联网搜索综合: 0%
含摘要搜索: 0%
无摘要搜索: 0%
记忆综合: 3.01%
键值记忆: 2.58%
向量记忆: 3.87%
递归摘要记忆: 2.58%
相关函数识别: 56.25%
无关函数识别: 86.12%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Claude-Opus-4-5-20251101 (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 4 名 · 综合准确率原榜第 1 名

报告所列机构：Anthropic · 许可：Proprietary · 型号资料 ↗

综合准确率: 77.47%
整套测试估算费用: 86.55 USD
平均延迟: 4.38 秒
延迟标准差: 3.13 秒

展开其余指标

延迟 P95: 7.56 秒
非实时 AST 综合: 88.58%
非实时简单调用: 76.83%
非实时多函数选择: 95.5%
非实时并行调用: 93.5%
非实时多函数并行: 88.5%
实时 AST 综合: 79.79%
实时简单调用: 86.43%
实时多函数选择: 78.16%
实时并行调用: 87.5%
实时多函数并行: 75%
多轮调用综合: 68.38%
多轮基础任务: 81%
多轮缺少函数: 64%
多轮缺少参数: 58%
多轮长上下文: 70.5%
联网搜索综合: 84.5%
含摘要搜索: 84%
无摘要搜索: 85%
记忆综合: 73.76%
键值记忆: 70.97%
向量记忆: 72.9%
递归摘要记忆: 77.42%
相关函数识别: 62.5%
无关函数识别: 84.72%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Qwen3-0.6B (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 86 名 · 综合准确率原榜第 92 名

报告所列机构：Qwen · 许可：apache-2.0 · 型号资料 ↗

综合准确率: 23.93%
整套测试估算费用: 0.46 USD
平均延迟: 0.68 秒
延迟标准差: 8.45 秒

展开其余指标

延迟 P95: 0.96 秒
非实时 AST 综合: 71.79%
非实时简单调用: 64.17%
非实时多函数选择: 86%
非实时并行调用: 67.5%
非实时多函数并行: 69.5%
实时 AST 综合: 56.62%
实时简单调用: 61.24%
实时多函数选择: 56.13%
实时并行调用: 43.75%
实时多函数并行: 37.5%
多轮调用综合: 3.62%
多轮基础任务: 5.5%
多轮缺少函数: 2%
多轮缺少参数: 3%
多轮长上下文: 4%
联网搜索综合: 1%
含摘要搜索: 1%
无摘要搜索: 1%
记忆综合: 8.6%
键值记忆: 2.58%
向量记忆: 1.94%
递归摘要记忆: 21.29%
相关函数识别: 75%
无关函数识别: 80.84%
格式变化最大差值: 未提供
格式变化标准差: 未提供

GPT-5-nano-2025-08-07 (Prompt)

报告所列型号

文本提示调用 · Prompt

多轮调用综合原榜第 102 名 · 综合准确率原榜第 79 名

报告所列机构：OpenAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 27.55%
整套测试估算费用: 21.47 USD
平均延迟: 10.67 秒
延迟标准差: 7.68 秒

展开其余指标

延迟 P95: 23.28 秒
非实时 AST 综合: 80.81%
非实时简单调用: 69.25%
非实时多函数选择: 86%
非实时并行调用: 87.5%
非实时多函数并行: 80.5%
实时 AST 综合: 70.69%
实时简单调用: 76.36%
实时多函数选择: 69.71%
实时并行调用: 68.75%
实时多函数并行: 54.17%
多轮调用综合: 0.75%
多轮基础任务: 1%
多轮缺少函数: 1%
多轮缺少参数: 0%
多轮长上下文: 1%
联网搜索综合: 13.5%
含摘要搜索: 10%
无摘要搜索: 17%
记忆综合: 24.52%
键值记忆: 20.65%
向量记忆: 31.61%
递归摘要记忆: 21.29%
相关函数识别: 93.75%
无关函数识别: 45.75%
格式变化最大差值: 8.5 百分点
格式变化标准差: 2.57 百分点

Open-Mistral-Nemo-2407 (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 74 名 · 综合准确率原榜第 78 名

报告所列机构：Mistral AI · 许可：Proprietary · 型号资料 ↗

综合准确率: 27.63%
整套测试估算费用: 8.12 USD
平均延迟: 1.07 秒
延迟标准差: 11.93 秒

展开其余指标

延迟 P95: 1.39 秒
非实时 AST 综合: 82.81%
非实时简单调用: 65.75%
非实时多函数选择: 92.5%
非实时并行调用: 88.5%
非实时多函数并行: 84.5%
实时 AST 综合: 73.8%
实时简单调用: 78.68%
实时多函数选择: 72.84%
实时并行调用: 68.75%
实时多函数并行: 66.67%
多轮调用综合: 7.75%
多轮基础任务: 12.5%
多轮缺少函数: 6.5%
多轮缺少参数: 7.5%
多轮长上下文: 4.5%
联网搜索综合: 7%
含摘要搜索: 9%
无摘要搜索: 5%
记忆综合: 10.32%
键值记忆: 8.39%
向量记忆: 9.68%
递归摘要记忆: 12.9%
相关函数识别: 81.25%
无关函数识别: 61.77%
格式变化最大差值: 未提供
格式变化标准差: 未提供

xLAM-2-1b-fc-r (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 33 名 · 综合准确率原榜第 65 名

报告所列机构：Salesforce · 许可：cc-by-nc-4.0 · 型号资料 ↗

综合准确率: 30.44%
整套测试估算费用: 2.79 USD
平均延迟: 2.84 秒
延迟标准差: 2.35 秒

展开其余指标

延迟 P95: 6.52 秒
非实时 AST 综合: 69.04%
非实时简单调用: 64.17%
非实时多函数选择: 82.5%
非实时并行调用: 73.5%
非实时多函数并行: 56%
实时 AST 综合: 55.14%
实时简单调用: 68.22%
实时多函数选择: 52.8%
实时并行调用: 43.75%
实时多函数并行: 25%
多轮调用综合: 36%
多轮基础任务: 45.5%
多轮缺少函数: 36%
多轮缺少参数: 37%
多轮长上下文: 25.5%
联网搜索综合: 0%
含摘要搜索: 0%
无摘要搜索: 0%
记忆综合: 3.87%
键值记忆: 3.87%
向量记忆: 3.87%
递归摘要记忆: 3.87%
相关函数识别: 87.5%
无关函数识别: 64.47%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Falcon3-10B-Instruct (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 78 名 · 综合准确率原榜第 82 名

报告所列机构：TII UAE · 许可：falcon-llm-license · 型号资料 ↗

综合准确率: 27.01%
整套测试估算费用: 52.59 USD
平均延迟: 69.27 秒
延迟标准差: 92.22 秒

展开其余指标

延迟 P95: 190.96 秒
非实时 AST 综合: 85%
非实时简单调用: 70.5%
非实时多函数选择: 93.5%
非实时并行调用: 88.5%
非实时多函数并行: 87.5%
实时 AST 综合: 75.43%
实时简单调用: 77.13%
实时多函数选择: 76.16%
实时并行调用: 50%
实时多函数并行: 41.67%
多轮调用综合: 6.5%
多轮基础任务: 6.5%
多轮缺少函数: 9.5%
多轮缺少参数: 5%
多轮长上下文: 5%
联网搜索综合: 1.5%
含摘要搜索: 2%
无摘要搜索: 1%
记忆综合: 27.53%
键值记忆: 12.26%
向量记忆: 19.35%
递归摘要记忆: 50.97%
相关函数识别: 93.75%
无关函数识别: 32.09%
格式变化最大差值: 未提供
格式变化标准差: 未提供

o4-mini-2025-04-16 (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 27 名 · 综合准确率原榜第 21 名

报告所列机构：OpenAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 53.24%
整套测试估算费用: 81.91 USD
平均延迟: 3.71 秒
延迟标准差: 7.18 秒

展开其余指标

延迟 P95: 9.33 秒
非实时 AST 综合: 37.73%
非实时简单调用: 66.92%
非实时多函数选择: 84%
非实时并行调用: 0%
非实时多函数并行: 0%
实时 AST 综合: 66.1%
实时简单调用: 69.38%
实时多函数选择: 67.81%
实时并行调用: 0%
实时多函数并行: 0%
多轮调用综合: 41.75%
多轮基础任务: 51%
多轮缺少函数: 30%
多轮缺少参数: 40.5%
多轮长上下文: 45.5%
联网搜索综合: 75.5%
含摘要搜索: 75%
无摘要搜索: 76%
记忆综合: 34.19%
键值记忆: 19.35%
向量记忆: 24.52%
递归摘要记忆: 58.71%
相关函数识别: 81.25%
无关函数识别: 83.91%
格式变化最大差值: 未提供
格式变化标准差: 未提供

GPT-5-nano-2025-08-07 (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 36 名 · 综合准确率原榜第 24 名

报告所列机构：OpenAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 51.45%
整套测试估算费用: 8.79 USD
平均延迟: 10.36 秒
延迟标准差: 10.37 秒

展开其余指标

延迟 P95: 23.56 秒
非实时 AST 综合: 68%
非实时简单调用: 57%
非实时多函数选择: 64.5%
非实时并行调用: 79%
非实时多函数并行: 71.5%
实时 AST 综合: 59.44%
实时简单调用: 58.91%
实时多函数选择: 59.83%
实时并行调用: 50%
实时多函数并行: 54.17%
多轮调用综合: 34.5%
多轮基础任务: 44%
多轮缺少函数: 23.5%
多轮缺少参数: 32.5%
多轮长上下文: 38%
联网搜索综合: 72.5%
含摘要搜索: 74%
无摘要搜索: 71%
记忆综合: 24.73%
键值记忆: 18.06%
向量记忆: 27.1%
递归摘要记忆: 29.03%
相关函数识别: 75%
无关函数识别: 89.1%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Grok-4-1-fast-non-reasoning (FC)

报告所列型号

原生工具调用 · FC

多轮调用综合原榜第 20 名 · 综合准确率原榜第 12 名

报告所列机构：xAI · 许可：Proprietary · 型号资料 ↗

综合准确率: 58.29%
整套测试估算费用: 16.27 USD
平均延迟: 2.29 秒
延迟标准差: 7.31 秒

展开其余指标

延迟 P95: 5.34 秒
非实时 AST 综合: 88.13%
非实时简单调用: 76%
非实时多函数选择: 93%
非实时并行调用: 93%
非实时多函数并行: 90.5%
实时 AST 综合: 77.94%
实时简单调用: 82.95%
实时多函数选择: 76.92%
实时并行调用: 75%
实时多函数并行: 70.83%
多轮调用综合: 46.75%
多轮基础任务: 58%
多轮缺少函数: 39.5%
多轮缺少参数: 37.5%
多轮长上下文: 52%
联网搜索综合: 75%
含摘要搜索: 74%
无摘要搜索: 76%
记忆综合: 26.24%
键值记忆: 20.65%
向量记忆: 20%
递归摘要记忆: 38.06%
相关函数识别: 81.25%
无关函数识别: 74.09%
格式变化最大差值: 未提供
格式变化标准差: 未提供

Arch-Agent-1.5B

报告所列型号

多轮调用综合原榜第 44 名 · 综合准确率原榜第 60 名

报告所列机构：katanemo · 许可：katanemo-research · 型号资料 ↗

综合准确率: 32.14%
整套测试估算费用: 2.45 USD
平均延迟: 2.38 秒
延迟标准差: 4.01 秒

展开其余指标

延迟 P95: 5.3 秒
非实时 AST 综合: 82.67%
非实时简单调用: 72.17%
非实时多函数选择: 92%
非实时并行调用: 85.5%
非实时多函数并行: 81%
实时 AST 综合: 67.73%
实时简单调用: 70.54%
实时多函数选择: 67.81%
实时并行调用: 31.25%
实时多函数并行: 58.33%
多轮调用综合: 26.62%
多轮基础任务: 35.5%
多轮缺少函数: 27.5%
多轮缺少参数: 21.5%
多轮长上下文: 22%
联网搜索综合: 0%
含摘要搜索: 0%
无摘要搜索: 0%
记忆综合: 8.17%
键值记忆: 5.81%
向量记忆: 5.81%
递归摘要记忆: 12.9%
相关函数识别: 75%
无关函数识别: 74.83%
格式变化最大差值: 未提供
格式变化标准差: 未提供