🚀 Firecrawl MCP 服务器

Firecrawl MCP（管理控制面板）服务器是一个集网页抓取、日志记录和大语言模型（LLM）生成于一体的集成解决方案。它借助命令行界面提供各类功能，支持智能爬虫操作、深入研究、生成标准化文件（如llms.txt）、信用监控以及错误处理，为用户提供了强大且全面的服务。

🚀 快速开始

配置

环境变量

使用以下环境变量来配置服务器：

示例配置

# 设置环境变量
export FIRECRAWL_API_KEY="your_api_key_here"

安装依赖项

使用以下命令安装所需依赖项：

pip install -r requirements.txt

运行服务器

启动服务器之前，请确保已设置 FIRECRAWL_API_KEY 环境变量。然后运行以下命令：

python server.py

✨ 主要特性

爬虫框架（firecrawl_crawler）

• 工具名称：firecrawl_crawler
• 描述：用于从指定 URL 开始进行深度网页抓取。
• 示例用法：

{
  "name": "firecrawl_crawler",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 3,
    "outputFormat": "json"
  }
}

• 参数：
  • url (字符串，必需)：爬取的起始 URL。
  • maxDepth (数字，可选)：爬取的最大深度，默认为 2。
  • outputFormat (字符串，可选)：输出格式，可选值为 "json" 或 "xml"。
• 示例响应：

{
  "content": [
    {
      "type": "text",
      "text": "成功爬取 URL: https://example.com"
    }
  ],
  "isError": false
}

日志系统

• 描述：提供全面的日志记录功能，包括操作状态、性能指标、信用使用情况、速率限制以及错误条件。
• 示例日志消息：

[INFO] FireCrawl MCP Server 已成功初始化
[INFO] 正在爬取 URL: https://example.com
[WARNING] 信用使用量已达到警告阈值
[ERROR] 速率限制已超过，2 秒后重试...

错误处理

• 描述：提供强大的错误处理功能，包括自动重试、速率限制处理、详细错误消息、信用使用警告以及网络弹性。
• 示例错误响应：

{
  "content": [
    {
      "type": "text",
      "text": "请求的参数无效"
    }
  ],
  "isError": true,
  "errorDetails": "参数格式不正确"
}

📦 安装指南

环境变量配置

使用以下环境变量来配置服务器：

示例配置

# 设置环境变量
export FIRECRAWL_API_KEY="your_api_key_here"

依赖项安装

使用以下命令安装所需依赖项：

pip install -r requirements.txt

💻 使用示例

基础用法

爬虫框架使用

{
  "name": "firecrawl_crawler",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 3,
    "outputFormat": "json"
  }
}

📚 详细文档

开发指南

提交代码

请按照以下步骤提交代码：

1. 创建功能分支。
2. 提交您的更改。
3. 提交拉取请求到 main 分支。

遵守规范

• 遵循 PEP8 代码风格指南。
• 确保单元测试覆盖所有新功能。
• 在提交前检查代码质量。

鸣谢

感谢以下贡献者：

• [Contributor Name] - 初始开发
• [Contributor Name] - 功能增强

📄 许可证

MIT License

版权 (c) 年份 作者名称

允许任何人免费使用、复制、修改、合并、发布和分发此软件及其衍生作品，但需遵守以下条件：

1. 在分发的副本中保留所有版权声明、许可声明和本免责声明。
2. 不对因使用此软件而产生的任何责任承担担保。

对于因使用或无法使用此软件而导致的任何形式的损害，包括但不限于直接或间接的损失或损坏，作者及其贡献者均不承担责任。