Tanevanwifferen Usescraper MCP Server

🚀 使用UseScraper MCP服务器

这是一个基于TypeScript的MCP服务器，借助UseScraper API提供强大的网络抓取功能。它仅暴露了一个名为 'scrape' 的工具，却能轻松提取网页内容，还支持多种格式，为您的网页数据获取提供便利。

点击此处

✨ 主要特性

工具

• scrape - 从网页中精准提取内容
  • 参数：
    • url（必填）：您要抓取的网页地址
    • format（可选）：保存内容的格式，支持 text、html、markdown ，默认采用 markdown 格式
    • advanced_proxy（可选）：开启高级代理，有效规避反爬虫检测，默认关闭
    • extract_object（可选）：指定您要提取的数据对象

📦 安装指南

克隆仓库

git clone https://github.com/your-repo/usescraper-server.git
cd usescraper-server

安装依赖项

npm install

构建服务器

npm run build

📚 详细文档

配置说明

若要与Claude Desktop搭配使用，请进行如下配置：

• 在 MacOS 上：配置文件路径为 ~/Library/Application Support/Claude/claude_desktop_config.json
• 在 Windows 上：配置文件路径为 %APPDATA%/Claude/claude_desktop_config.json%

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

请将 /path/to/usescraper-server 替换为服务器的实际路径，并把 your-api-key-here 替换为您的UseScraper API密钥。

使用示例

配置完成后，您就能通过MCP界面使用 scrape 工具啦。以下是示例用法：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

开发环境

若您需要在开发环境下实现自动重建，可使用以下命令：

npm run watch

调试建议

由于MCP服务器通过标准输入输出进行通信，调试可能颇具挑战。我们强烈推荐使用 MCP Inspector ，您可以通过以下命令将其作为程序脚本运行：

npm run inspector

Inspector会提供一个可在浏览器中访问的调试工具URL，助您轻松调试。