MCP Read Website Fast

🚀 @just-every/mcp-read-website-fast

这是一款专为AI智能体打造的工具，能够快速、高效地从网页中提取内容，并将其转换为简洁的Markdown格式，极大地节省了处理网页内容时所需的令牌数量。

🚀 快速开始

在使用本工具之前，你需要了解它解决的核心问题：现有的MCP网页爬虫速度慢且消耗大量令牌，这会导致开发过程受阻，同时LLM在解析整个网页时也难以提供完整的结果。而本MCP包可以在本地获取网页，去除噪声，将内容转换为简洁的Markdown格式，同时保留链接。它专为Claude Code、IDE和LLM管道设计，具有极小的令牌占用率，并且可以在本地进行网站爬取，依赖项极少。

✨ 主要特性

• 快速启动：使用官方MCP SDK并采用懒加载技术，以实现最佳性能。
• 内容提取：利用Mozilla Readability（与Firefox阅读器视图相同）进行内容提取。
• HTML转Markdown：支持使用Turndown进行转换，并支持GFM格式。
• 智能缓存：使用SHA - 256哈希处理URL，实现智能缓存。
• 礼貌爬取：支持robots.txt并进行速率限制，确保爬取行为符合规范。
• 并发获取：可配置深度爬取，实现并发获取网页内容。
• 流式优先设计：采用流式优先设计，降低内存使用。
• 链接保留：保留链接，便于构建知识图谱。
• 可选分块：支持可选分块，方便下游处理。

可用工具

• read_website_fast - 获取网页并将其转换为简洁的Markdown格式。
  • 参数：
    • url（必需）：要获取的HTTP/HTTPS URL。
    • depth（可选）：爬取深度（0表示单页）。
    • respectRobots（可选）：是否遵守robots.txt。

可用资源

• read-website-fast://status - 获取缓存统计信息。
• read-website-fast://clear-cache - 清除缓存目录。

📦 安装指南

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDEs

设置 → 工具 → AI助手 → 模型上下文协议（MCP） → 添加

选择 “以JSON格式” 并粘贴：

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

或者，在聊天窗口中输入 /add 并填写相同的JSON，这两种方式都可以一步完成服务器的配置。

原始JSON（适用于任何MCP客户端）

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

将此内容放入客户端的mcp.json文件中（例如，.vscode/mcp.json、~/.cursor/mcp.json或Claude的.mcp.json）。

💻 使用示例

基础用法

安装

npm install
npm run build

单页获取

npm run dev fetch https://example.com/article

带深度的爬取

npm run dev fetch https://example.com --depth 2 --concurrency 5

输出格式

# 仅输出Markdown（默认）
npm run dev fetch https://example.com

# 输出带有元数据的JSON
npm run dev fetch https://example.com --output json

# 同时输出URL和Markdown
npm run dev fetch https://example.com --output both

高级用法

CLI选项

• -d, --depth <number> - 爬取深度（0表示单页，默认值：0）。
• -c, --concurrency <number> - 最大并发请求数（默认值：3）。
• --no-robots - 忽略robots.txt。
• --all-origins - 允许跨域爬取。
• -u, --user-agent <string> - 自定义用户代理。
• --cache-dir <path> - 缓存目录（默认值：.cache）。
• -t, --timeout <ms> - 请求超时时间（以毫秒为单位，默认值：30000）。
• -o, --output <format> - 输出格式：json、markdown或both（默认值：markdown）。

清除缓存

npm run dev clear-cache

🔧 技术细节

架构

mcp/
├── src/
│   ├── crawler/        # URL获取、队列管理、robots.txt处理
│   ├── parser/         # DOM解析、Readability处理、Turndown转换
│   ├── cache/          # 基于磁盘的缓存，使用SHA - 256键
│   ├── utils/          # 日志记录器、分块工具
│   └── index.ts        # CLI入口点

开发命令

# 以开发模式运行
npm run dev fetch https://example.com

# 为生产环境构建
npm run build

# 运行测试
npm test

# 类型检查
npm run typecheck

# 代码检查
npm run lint

🤝 贡献指南

欢迎大家贡献代码！请按照以下步骤进行：

1. Fork仓库。
2. 创建功能分支。
3. 为新功能添加测试。
4. 提交拉取请求。

❓ 故障排除

缓存问题

npm run dev clear-cache

超时错误

• 使用 -t 标志增加超时时间。
• 检查网络连接。
• 验证URL是否可访问。

内容未提取

• 某些网站会阻止自动化访问。
• 尝试使用 -u 标志自定义用户代理。
• 检查网站是否需要JavaScript支持（本工具不支持）。

📄 许可证

本项目采用MIT许可证。