Firecrawl MCP Server 6kk

🚀 FireCrawl项目

FireCrawl是一个基于大语言模型的智能网络爬虫和内容处理平台。它将先进的AI技术与高效的网络数据抓取能力相结合，助力用户从互联网获取、解析和分析信息。

🚀 快速开始

安装依赖

npm install

构建项目

npm run build

执行测试

npm test

✨ 主要特性

• 智能爬取：结合AI理解和传统爬虫技术，实现高效且智能化的网页抓取。
• 内容解析：利用大语言模型对抓取的内容进行深度理解和语义分析。
• 自动化处理：提供从数据收集到结果生成的一站式解决方案。

📦 安装指南

安装依赖

npm install

💻 使用示例

网页爬取工具 (firecrawler)

基础用法

# 示例用法
python firecrawler.py --url https://example.com --depth 2

主要特性：

• 支持多线程/多进程加速。
• 智能反反爬虫机制。
• 灵活的抓取策略配置。

文本解析工具 (llm_parser)

基础用法

# 示例用法
python llm_parser.py --file parsed.html --model gpt-4

功能特点：

• 多语言支持。
• 文档理解与结构化。
• 自然语言处理。

深度网络研究工具 (firecrawler_deep_search)

基础用法

{
  "name": "firecrawler_deep_search",
  "arguments": {
    "query": "量子计算的基本原理是什么？", 
    "maxDepth": 3,
    "timeLimit": 60,
    "maxUrls": 50
  }
}

参数说明：

• query：必填，搜索关键词或问题。
• maxDepth：可选，默认为2，爬取深度限制。
• timeLimit：可选，默认为30秒，时间限制。
• maxUrls：可选，默认为50，抓取URL数量上限。

返回结果：

{
  "summary": "量子计算是一种基于量子位的并行计算方式...", 
  "sources": ["https://quantum.com/1", ...],
  "resultsCount": 3456
}

📚 详细文档

日志系统

日志记录

• 操作状态与进展
• 性能指标
• 配额使用情况
• 速率限制跟踪
• 错误条件

示例日志信息：

[INFO] FireCrawl 服务已成功启动
[WARNING] API配额即将用尽
[ERROR] 网络请求超时，正在重试...

错误处理机制

处理策略：

• 自动重试临时错误。
• 智能绕过速率限制。
• 详细错误信息报告。
• 配额使用警告。
• 网络波动适应。

示例错误响应：

{
  "content": [
    {
      "type": "text",
      "text": "错误：API配额已用尽，等待30秒后重试..."
    }
  ],
  "isError": true
}

开发指南

贡献方式

1. Fork代码库。
2. 创建功能分支。
3. 运行测试：npm test。
4. 提交Pull Request。

📄 许可证

项目采用MIT License，详细信息请参阅许可文件。

如需进一步了解FireCrawl，请访问官方网站或关注我们的Github仓库。

致谢

感谢以下贡献者：

• @vrknetha
• @cawstudios

感谢MCP.so和Klavis AI提供的支持，以及@zhangwei的指导。