Eget MCP

🚀 使用Claude网络爬虫MCP

本项目是一个简单的模型上下文协议（MCP）服务器，它能将Claude for Desktop与本地运行的eGet网络爬虫连接起来，让Claude可通过本地API抓取网站内容。

🚀 快速开始

按照以下步骤操作，即可使用Claude网络爬虫MCP进行网页抓取。

✨ 主要特性

• 实现Claude for Desktop与eGet网络爬虫的连接，让Claude具备网页抓取能力。
• 通过本地API进行网站内容抓取，方便快捷。

📦 安装指南

先决条件

• Claude for Desktop
• Python 3.7+
• eGet网络爬虫（来自https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai）

安装步骤

1. 设置eGet网络爬虫

首先确保eGet网络爬虫正在运行：

# 克隆eGet仓库
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# 根据其说明设置并运行eGet（通常使用Docker或本地Python安装）

# 验证API是否正在运行（默认：http://localhost:8000/api/v1/scrape）

2. 设置MCP服务器

# 创建项目目录
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# 设置UV和虚拟环境
uv venv
source .venv/bin/activate  # 在Windows上：.venv\Scripts\activate

# 安装依赖项
uv add "mcp[cli]" httpx

# 创建MCP服务器脚本
touch scrape_mcp_server.py

将scrape_mcp_server.py代码复制到文件中。

3. 配置Claude for Desktop

1. 创建或编辑Claude桌面配置：

# 在macOS上
mkdir -p ~/Library/Application\ Support/Claude/

2. 将以下配置添加到~/Library/Application Support/Claude/claude_desktop_config.json文件中：

{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

将路径替换为实际的绝对路径。 3. 重启Claude for Desktop

💻 使用示例

设置完成后，您可以使用Claude进行网页抓取，例如：

• "抓取https://example.com的内容并总结它"
• "获取有关https://news.ycombinator.com网站的信息"

📚 详细文档

故障排除

如果遇到问题，可按以下步骤排查：

1. 检查eGet抓虫器是否在运行
2. 验证脚本中的API端点与您的eGet配置是否匹配
3. 确保Claude for Desktop使用正确的Python解释器
4. 在更改配置后重启Claude for Desktop