使用UseScraper MCP服务器

这是一个基于 TypeScript 的 MCP 服务器，提供使用 UseScraper API 进行网页抓取的功能。它暴露了一个名为 'scrape' 的单个工具，可以以多种格式从网页中提取内容。

特性

工具

• scrape - 从网页中提取内容
  • 参数：
    • url（必填）：要抓取的网页 URL
    • format（可选）：保存内容的格式（text, html, markdown）。默认：markdown
    • advanced_proxy（可选）：使用高级代理来规避反爬虫检测。默认：false
    • extract_object（可选）：指定要提取的数据的对象

安装

通过 Smithery 安装

要自动为 Claude Desktop 安装 UseScraper，请通过 Smithery 执行以下命令：

npx -y @smithery/cli install usescraper-server --client claude

手动安装

1. 克隆仓库：

   git clone https://github.com/your-repo/usescraper-server.git
   cd usescraper-server
   

2. 安装依赖项：

   npm install
   

3. 构建服务器：

   npm run build
   

配置

要与 Claude Desktop 一起使用，请添加服务器配置：

在 MacOS 上：~/Library/Application Support/Claude/claude_desktop_config.json
在 Windows 上：%APPDATA%/Claude/claude_desktop_config.json%

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

将 /path/to/usescraper-server 替换为服务器的实际路径，并将 your-api-key-here 替换为你的 UseScraper API 密钥。

使用方法

配置完成后，可以通过 MCP 接口使用 'scrape' 工具。例如用法：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

开发

带有自动重建的功能开发：

npm run watch

调试

由于 MCP 服务器通过标准输入输出进行通信，调试可能具有挑战性。我们推荐使用 MCP Inspector，它是作为包脚本提供的：

npm run inspector

Inspector 将提供一个 URL，以便你在浏览器中访问调试工具。