使用Claude网络爬虫MCP

一个简单的模型上下文协议（MCP）服务器，将Claude for Desktop与本地运行的eGet网络爬虫连接起来。这使得Claude能够通过本地API抓取网站内容。

先决条件

• Claude for Desktop
• Python 3.7+
• eGet网络爬虫（来自https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai）

安装说明

1. 设置eGet网络爬虫

首先确保eGet网络爬虫正在运行：

# 克隆eGet仓库
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# 根据其说明设置并运行eGet（通常使用Docker或本地Python安装）

# 验证API是否正在运行（默认：http://localhost:8000/api/v1/scrape）

2. 设置MCP服务器

# 创建项目目录
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# 设置UV和虚拟环境
uv venv
source .venv/bin/activate  # 在Windows上：.venv\Scripts\activate

# 安装依赖项
uv add "mcp[cli]" httpx

# 创建MCP服务器脚本
touch scrape_mcp_server.py

将scrape_mcp_server.py代码复制到文件中。

3. 配置Claude for Desktop

1. 创建或编辑Claude桌面配置：

# 在macOS上
mkdir -p ~/Library/Application\ Support/Claude/

2. 将以下配置添加到~/Library/Application Support/Claude/claude_desktop_config.json文件中：

{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

将路径替换为实际的绝对路径。

3. 重启Claude for Desktop

使用说明

设置完成后，您可以使用Claude进行网页抓取，例如：

• "抓取https://example.com的内容并总结它"
• "获取有关https://news.ycombinator.com网站的信息"

故障排除

如果遇到问题：

1. 检查eGet抓虫器是否在运行
2. 验证脚本中的API端点与您的eGet配置是否匹配
3. 确保Claude for Desktop使用正确的Python解释器
4. 在更改配置后重启Claude for Desktop