🚀 爬虫实验室 MCP 服务器

这是一个专为爬虫实验室（Crawlab）设计的模型上下文协议（MCP）服务器，它能让 AI 应用程序与 Crawlab 的各项功能实现交互，为数据爬取和管理提供了强大支持。

🚀 快速开始

MCP 服务器为 AI 应用程序访问 Crawlab 的功能提供了标准化途径。借助它，你可以轻松实现爬虫管理、任务管理、文件管理以及资源访问等操作。

✨ 主要特性

• 多样化功能支持：涵盖爬虫管理（创建、读取、更新、删除）、任务管理（运行、取消、重启）、文件管理（读取、写入）以及资源访问（爬虫、任务）等功能。
• 高效通信架构：采用 MCP Server/Client 架构，促进了 AI 应用程序与 Crawlab 之间的高效通信。

📦 安装指南

Windows 系统

使用 pip 安装

pip install mcp-server-windows

手动安装步骤

1. 下载最新版本的 MCP 服务器 windows 版本。
2. 解压文件到指定位置。
3. 打开命令提示符，进入解压目录并运行：

   python server.py
   

Linux 系统

使用 pip 安装

pip install mcp-server-linux

手动安装步骤

1. 下载最新版本的 MCP 服务器 linux 版本。
2. 解压文件到指定位置。
3. 打开终端，进入解压目录并运行：

   python server.py
   

💻 使用示例

基础用法

创建爬虫

# 使用默认配置创建一个新爬虫
python create_spider.py --name my_spider

# 为特定项目创建配置文件夹的爬虫
python create_spider.py --name my_project --project project_name

运行爬虫

# 运行单个爬虫
python run_spider.py --spider my_spider

# 在所有可用节点上运行爬虫
python run_spider.py --spider my_spider --all-nodes

# 设置crawl命令的参数
python run_spider.py --spider my_spider --crawl-args arg1=value1,arg2=value2

更新爬虫代码

# 更新特定文件的内容
python update_spider_code.py --spider my_spider --file main.py --content "新的Python代码..."

# 更新所有爬虫的代码
python update_spider_code.py --all --content "新的Python代码..."

📚 详细文档

架构

MCP Server/Client 架构促进了 AI 应用程序与 Crawlab 之间的通信：

graph TB
    User[用户] --> Client[MCP 客户端]
    Client --> LLM[LLM 提供商]
    Client <--> Server[MCP 服务器]
    Server <--> Crawlab[Crawlab API]

    subgraph "MCP 系统"
        Client
        Server
    end

    subgraph "Crawlab 系统"
        Crawlab
        DB[(数据库)]
        Crawlab <--> DB
    end

    class User,LLM,Crawlab,DB 外部;
    class Client,Server 内部;

    %% 流注释
    LLM -.-> |工具调用| Client
    Client -.-> |执行工具调用| Server
    Server -.-> |API 请求| Crawlab
    Crawlab -.-> |API 响应| Server
    Server -.-> |工具结果| Client
    Client -.-> |人类可读的响应| User

    classDef 外部 fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef 内部 fill:#d9edf7,stroke:#31708f,stroke-width:1px;

通信流程

1. 用户查询：用户向 MCP 客户端发送自然语言查询。
2. LLM 处理：客户端将查询转发给 LLM 提供商（例如 Claude、OpenAI）。
3. 工具选择：LLM 识别意图并调用创建爬虫工具。
4. 创建爬虫：MCP 服务器向 Crawlab API 发送命令以创建爬虫。
5. 爬虫创建完成：爬虫创建成功，详细信息返回给用户。

可用命令

资源访问

• spiders：列出所有爬虫。
• tasks：列出所有任务。

工具使用

爬虫管理

• get_spider：获取特定爬虫的详细信息。
• create_spider：创建新爬虫。
• update_spider：更新现有爬虫。
• delete_spider：删除爬虫。

任务管理

• get_task：获取特定任务的详细信息。
• run_spider：运行爬虫。
• cancel_task：取消正在运行的任务。
• restart_task：重启任务。
• get_task_logs：获取任务日志。