🦊 MCPBench：用于评估MCP服务器的基准测试

MCPBench 是一个用于评估 MCP 服务器的框架。它支持两种类型的服务器：网络搜索和数据库查询，并且兼容本地和远程 MCP 服务器。该框架主要在相同的 LLM 和代理配置下，从任务完成准确率、延迟和代币消耗等方面对不同的 MCP 服务器（如 Brave Search、DuckDuckGo 等）进行评估。这里是 评估报告。

实现基于 LangProBe：语言程序基准测试。

📋 目录

• 🔥 新闻
• 🛠️ 安装
• 🚀 快速开始
  • LLM 配置
  • 启动 MCP 服务器
  • 启动评估
• 🧬 数据格式
• 📜 引用

🚀 快速开始

📋 新闻

我们发布了 MCPBench 框架，并附带详细的文档和实验报告。如需了解更多信息，请访问 GitHub 仓库。

🛠️ 安装

要安装 MCPBench，请按照以下步骤操作：

1. 克隆此仓库：

git clone https://github.com/modelscope/MCPBench.git

2. 进入项目目录：

cd MCPBench

3. 安装依赖项：

pip install -r requirements.txt

🚀 快速开始

以下是使用 MCPBench 的基本步骤：

1. 下载预训练的 LLM 模型。
2. 配置 MCP 服务器。
3. 运行评估脚本。

示例代码：

from mcpbench import *

# 初始化 MCP 服务器
mcp_server = init_mcp_server()

# 加载 LLM 模型
llm_model = load_llm_model()

# 执行评估
results = evaluate(mcp_server, llm_model)

# 输出结果
print(results)

📋 数据格式

我们支持以下数据格式：

1. JSON 格式：

{
  "unique_id": "",
  "Prompt": "",
  "Answer": ""
}

2. CSV 格式：

unique_id,Prompt,Answer
,...(更多行)

📜 引用

如果你发现我们的工作对你有帮助，请考虑引用我们的项目：

@misc{mcpbench,
  title={MCPBench: A Benchmark for Evaluating MCP Servers},
  author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
  howpublished = {\url{https://github.com/modelscope/MCPBench}},
  year={2025}
}

或者参考我们的报告：

@article{mcpbench_report,
      title={Evaluation Report on MCP Servers}, 
      author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
      year={2025},
      journal={arXiv preprint arXiv:2504.11094},
      url={https://arxiv.org/abs/2504.11094},
      primaryClass={cs.AI}
}