🚀 MCP 节点抓取

MCP 节点抓取是一个基于 Node.js 的 MCP 服务器，借助 undici 库实现网络内容抓取。它能使用多种 HTTP 方法从任意 URL 获取内容，支持请求头和请求正文，可返回多种格式的内容，还能灵活处理错误情况，具有可配置超时时间和重定向行为等优势。

✨ 主要特性

• 使用各种 HTTP 方法从任何 URL 获取内容。
• 支持请求头和请求正文。
• 返回多种格式的内容（文本、JSON、二进制、HTML 片段）。
• 灵活处理错误情况。
• 可配置超时时间和重定向行为。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

基础用法

fetch-url

// 从指定的 URL 抓取内容并返回结果
const { fetchUrl } = require('./path/to/mcp-server');

const result = await fetchUrl({
  url: 'https://example.com',
  method: 'GET',
  headers: { 'Content-Type': 'application/json' },
  timeout: 5000,
  responseType: 'text'
});
console.log(result);

extract-html-fragment

// 使用 CSS 选择器从网页中提取特定的 HTML 内容
const { extractHtmlFragment } = require('./path/to/mcp-server');

const fragment = await extractHtmlFragment({
  url: 'https://example.com',
  selector: 'div.content',
  anchorId: 'section-1',
  method: 'GET',
  timeout: 5000
});
console.log(fragment);

check-status

// 检查指定 URL 是否可达
const { checkStatus } = require('./path/to/mcp-server');

const isReachable = await checkStatus({
  url: 'https://example.com',
  timeout: 5000
});
console.log(isReachable);

高级用法

文档未提供高级用法示例，暂不展示。

📚 详细文档

MCP 工具集

此服务器提供了以下 MCP 工具：

fetch-url

从指定的 URL 抓取内容并返回结果。

extract-html-fragment

使用 CSS 选择器从网页中提取特定的 HTML 内容，并可根据需要定位到具体的锚点。

check-status

检查指定 URL 是否可达，而不必下载完整内容。

与桌面版 Claude 配置

要在桌面版 Claude 中使用，请在 claude_desktop_config.json 文件中添加以下内容：

{
  "mcpServers": {
    "node-fetch": {
      "command": "node",
      "args": ["dist/index.js"]
    }
  }
}

🔧 技术细节

文档未提供技术实现细节，暂不展示。

📄 许可证

本项目采用 MIT 许可证。