Scraper.is MCP 整合包

一个适用于 Model Context Protocol (MCP) 的 Scraper.is 整合包——一款强大的 AI 助手网络抓取工具。

此包允许 AI 助手通过 MCP 协议调用 Scraper.is，从而获取最新的网络信息。

功能

• 🌐 网页抓取: 从任何网站提取内容
• 📸 截图: 捕捉网页的视觉快照
• 📄 多种格式: 以 Markdown、HTML 或 JSON 格式获取内容
• 🔄 实时进度更新: 抓取操作中的实时进度汇报
• 🔌 MCP 整合: 与支持 MCP 协议的 AI 助手无缝对接

安装

npm install -g scraperis-mcp

或使用 yarn:

yarn global add scraperis-mcp

先决条件

您需要一个 Scraper.is API 密钥才能使用此包。

获取您的 API 密钥

1. 访问 scraper.is 注册或登录
2. 在仪表盘中前往 API Keys 部分: https://www.scraper.is/dashboard/apikeys
3. 创建新的 API 密钥或复制现有密钥
4. 安全地保存此密钥，因为您需要它来使用此包

使用方法

环境配置

创建一个 .env 文件并添加您的 Scraper.is API 密钥：

SCRAPERIS_API_KEY=your_api_key_here

Claude Desktop 整合

要在 Claude Desktop 中使用此包:

1. 全局安装包:

   npm install -g scraperis-mcp
   

2. 将以下配置添加到您的 claude_desktop_config.json 文件中:

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }
   

3. 将 your-api-key-here 替换为您实际的 Scraper.is API 密钥

4. 重启 Claude Desktop 以应用更改

使用 MCP Inspector 进行开发和测试

npx @modelcontextprotocol/inspector scraperis-mcp

AI 助手整合

此包设计用于与支持 Model Context Protocol (MCP) 的 AI 助手集成。以下是完整的工具文档。

工具

命令: scrape

scrape 是一个强大的网络内容抓取工具，可以通过 MCP 协议调用 Scraper.is 服务。

参数

• prompt: 要抓取的内容描述
• format: 返回内容的格式（可选，默认为 Markdown）

示例

scraper "latest news about AI"

开发

克隆仓库

git clone https://github.com/yourusername/scraperis-mcp.git
cd scraperis-mcp

安装依赖项

npm install

构建

npm run build

许可证

项目以 MIT 许可证发布。

致谢

感谢以下项目和技术的支持:

• Model Context Protocol
• Scraper.is