使用UseScraper MCP服务器

这是一个基于TypeScript的MCP服务器，提供网络抓取功能，使用的是UseScraper API。它暴露了一个名为'scrape'的单个工具，可以提取网页内容并支持多种格式。

功能

工具

• scrape - 从网页中提取内容
  • 参数：
    • url（必填）：要抓取的网页地址
    • format（可选）：保存内容的格式（text, html, markdown）。默认：markdown
    • advanced_proxy（可选）：使用高级代理来规避反爬虫检测。默认：false
    • extract_object（可选）：指定要提取的数据的对象

安装

1. 克隆仓库：

   git clone https://github.com/your-repo/usescraper-server.git
   cd usescraper-server
   

2. 安装依赖项：

   npm install
   

3. 构建服务器：

   npm run build
   

配置

要与Claude Desktop一起使用，请添加以下配置：

在 MacOS 上：~/Library/Application Support/Claude/claude_desktop_config.json
在 Windows 上：%APPDATA%/Claude/claude_desktop_config.json%

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

将 /path/to/usescraper-server 替换为服务器的实际路径，并将 your-api-key-here 替换为你的UseScraper API密钥。

使用

配置完成后，您可以通过MCP界面使用'scrape'工具。示例用法：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

开发

对于开发环境下的自动重建：

npm run watch

调试

由于MCP服务器通过标准输入输出进行通信，调试可能会比较困难。我们推荐使用MCP Inspector，它可以通过以下命令作为程序脚本运行：

npm run inspector

Inspector会提供一个浏览器中访问调试工具的URL。