网页爬虫 MCP 服务器

一个模型上下文协议（MCP）服务器，提供了一个网络爬取和内容提取工具，适用于像 Claude Desktop、Cursor 以及其他与 MCP 兼容的客户端 AI 助手。

特性

• 从任何公共网页中提取并清理主要文本内容。
• 使用 Puppeteer 加上_stealth 插件来绕过反机器人保护。
• 返回可读的、空白标准化的文本，供 LLM 消费。
• 集成与 Claude Desktop 和其他 MCP 兼容客户端简便。

先决条件

• Node.js (v16 或更高版本)
• MCP 兼容客户端（例如，Claude Desktop、Cursor）
• （可选）某些 Linux 环境的 Puppeteer 依赖项

安装

1. 安装依赖：

   npm install
   

2. 构建服务器：

   npm run build
   

使用方法

你可以直接运行服务器：

node build/index.js

或在你的客户端中配置它作为 MCP 服务器（例如，Claude Desktop）：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}

可用工具

网页爬虫

• 描述: 提取并返回指定 URL 的清理后的文本内容。
• 输入:
  • url (字符串，必需): 要提取内容的 URL。

示例

{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

开发

• npm run build — 将 TypeScript 编译为 JavaScript。
• npm run watch — 监控并实时重新构建更改内容。
• npm run inspector — 启动 MCP 检查器进行调试。

注意

• 服务器启动一个真实的浏览器实例 (headless: false) 以获得最佳兼容性。
• 输出为纯文本，适合 LLM 输入。
• 对于高级解析，修改 src/index.ts 中的 Cheerio 逻辑。

许可证

MIT