🚀 Crawl4ai MCP 服务器

Crawl4ai MCP 服务器是一个具备网络爬取功能的服务器，它借助 crawl4ai 工具，能够以 Markdown 格式将爬取结果输出给大语言模型，为信息获取和处理提供了便利。

🚀 快速开始

Crawl4ai MCP 服务器可助力你轻松实现网页内容的爬取，并以 Markdown 格式输出，为大语言模型提供优质数据。

📦 安装指南

先决条件

• Node.js
• 可访问 crawl4ai 实例：https://docs.crawl4ai.com/core/docker-deployment/

设置步骤

1. 克隆仓库：

git clone https://github.com/Kirill812/crawl4ai-mcp-server.git
cd crawl4ai-mcp-server

2. 安装依赖项：

npm install

3. 构建服务器：

npm run build

4. 添加服务器配置到环境变量：

{
  "mcpServers": {
    "crawl4ai": {
      "command": "node",
      "args": [
        "/path/to/crawl4ai-mcp-server/build/index.js"
      ],
      "env": {
        "CRAWL4AI_API_URL": "http://127.0.0.1:11235",  // 可选：crawl4ai API 服务的 URL
        "CRAWL4AI_AUTH_TOKEN": "your-auth-token"       // 可选：如果需要身份验证
      }
    }
  }
}

请将环境变量替换为你自己的值：

• CRAWL4AI_API_URL：crawl4ai API 服务的 URL（可选）
• CRAWL4AI_AUTH_TOKEN：API 的身份验证令牌（可选）

✨ 主要特性

工具

• crawl_urls - 爬取网页并获取带有引用的 Markdown 内容
  • 参数：
    • urls（必需）：要爬取的 URL 列表

响应格式

该工具会返回每个 URL 的 Markdown 内容及其引用，多个 URL 之间用水平线分隔（---）。示例如下：

这是第一个 URL 的内容 [^1]

[^1]: https://example.com

---

这是第二个 URL 的内容 [^2]

[^2]: https://example.org

💻 使用示例

基础用法

# 假设已经完成安装和配置
# 调用 crawl_urls 工具爬取网页
# 这里的 urls 参数需要替换为实际要爬取的 URL 列表
# 例如：["https://example.com", "https://example.org"]

🔧 技术细节

开发

若要进行开发并使用自动重建功能，可执行以下命令：

npm run watch

错误处理

常见问题及解决方案如下：

1. 确保 URL 有效且可访问。
2. 如果需要身份验证，请确保令牌有效。
3. 检查到 crawl4ai API 服务的网络连接。
4. 遇到超时错误，尝试减少每次请求中的 URL 数量。
5. 如果被网站拦截，服务会自动重试并使用不同的用户代理。

📄 许可证

此 MCP 服务器根据 MIT License 分发。这意味着你可以自由地使用、修改和分发软件，但需遵守 MIT License 的条款和条件。更多详细信息，请参见项目存储库中的 LICENSE 文件。