🚀 FireCrawl 项目文档

FireCrawl 是一款开源的网络爬取与信息提取工具，具备网页抓取、内容解析、搜索优化等多种功能模块，能满足各类网络数据获取需求。

🚀 快速开始

你可以按照以下步骤安装并启动 FireCrawl：

# 克隆仓库
git clone https://github.com/yourusername/firecrawl.git

# 进入项目目录
cd firecrawl

# 安装依赖项
npm install

# 启动服务
node index.js

✨ 主要特性

FireCrawl 提供了丰富的功能模块，以下是各模块的详细介绍：

1. 网页抓取工具 (firecrawler_crawl)

此工具可启动一个异步爬虫，用于获取目标网页的内容。

{
  "name": "firecrawler_crawl",
  "arguments": {
    "url": "https://example.com", // 需要爬取的URL地址
    "maxDepth": 2, // 最大爬取深度
    "limit": 100, // 单页最大获取链接数
    "allowExternalLinks": false, // 是否允许抓取外部链接
    "deduplicateSimilarUrls": true // 是否去除相似URL
  }
}

2. 内容提取工具 (firecrawler_extract)

该工具借助大语言模型（LLM）从网页中提取结构化信息。

{
  "name": "firecrawler_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"], // 需要提取的URL列表
    "prompt": "Extract product information including name, price, and description", // 提取提示语句
    "systemPrompt": "You are a helpful assistant that extracts product information", // 系统提示语
    "schema": { // 结构化数据模式
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false, // 是否允许提取外部链接
    "enableWebSearch": false, // 是否启用网络搜索功能
    "includeSubdomains": false // 是否包含子域名
  }
}

提取工具选项

• urls：需要提取的URL列表
• prompt：自定义提示语句
• systemPrompt：系统提示语
• schema：JSON模式，用于结构化数据提取
• allowExternalLinks：是否允许从外部链接中提取信息
• enableWebSearch：是否启用网络搜索功能以获取更多上下文信息
• includeSubdomains：是否包含子域名

3. 搜索工具 (firecrawler_search)

此工具可在网络上执行搜索任务，并可选地从搜索结果中提取内容。

{
  "name": "firecrawler_search",
  "arguments": {
    "query": "your search query", // 搜索关键词
    "limit": 5, // 结果数量限制
    "lang": "en", // 搜索语言
    "country": "us", // 搜索区域国家代码
    "scrapeOptions": { // 内容提取选项
      "formats": ["markdown"], // 提取格式
      "onlyMainContent": true // 是否只提取主要网页内容
    }
  }
}

4. 日志与监控

FireCrawl 提供了详细的日志记录功能，方便用户监控爬虫的运行状态。日志文件默认存储在 ./logs 目录下。

# 查看实时日志
tail -f ./logs/crawler.log

5. 错误处理

系统内置错误捕捉机制，自动记录爬取过程中遇到的问题，并提供错误代码和简要说明。

常见错误代码

• 403 Forbidden：目标网站拒绝访问
• 404 Not Found：请求资源不存在
• 503 Service Unavailable：服务器暂时不可用
• CONNECTION_TIMEOUT：连接超时
• PARSE_ERROR：内容解析失败

📦 安装指南

# 克隆仓库
git clone https://github.com/yourusername/firecrawl.git

# 进入项目目录
cd firecrawl

# 安装依赖项
npm install

# 启动服务
node index.js

📚 详细文档

配置选项

网络请求配置

{
  "requestOptions": {
    "headers": { // 请求头信息
      "User-Agent": "FireCrawler/1.0", // 模拟浏览器访问
      "Accept-Language": "zh-CN" // 接受中文内容
    },
    "timeout": 30000, // 单个请求超时时间（毫秒）
    "proxy": null // 可选，设置代理服务器信息
  }
}

存储配置

{
  "storageOptions": {
    "type": "filesystem", // 支持的存储类型：filesystem, database, s3
    "path": "./data", // 文件系统存储路径
    "dbConfig": null, // 数据库连接信息（如使用数据库）
    "awsS3Config": null // AWS S3 存储配置（如使用云存储）
  }
}

日志系统

FireCrawl 提供详细的日志记录功能，支持多种日志级别：

• DEBUG：调试信息
• INFO：正常运行信息
• WARNING：可能影响功能的警告信息
• ERROR：出现错误时的日志
• CRITICAL：严重错误导致服务中断

日志格式

默认日志格式如下：

[TIME] - [LEVEL] - [MODULE]: Message

错误处理机制

系统内置错误捕捉模块，支持自定义错误处理器。默认情况下，会记录错误信息并暂停爬虫运行。

自定义错误处理示例

module.exports.errorHandler = function(err) {
  console.error('Custom error handler:', err);
  // 可选：添加额外的错误处理逻辑
};

开发与贡献

安装依赖

git clone https://github.com/yourusername/firecrawl.git
cd firecrawl
npm install

启动服务

node index.js

提交代码规范

1. 为每个提交编写清晰的提交信息。
2. 确保单元测试通过。
3. 更新相关的文档。

贡献指南

欢迎社区贡献代码！请遵循以下步骤：

1. Fork 项目仓库。
2. 在自己的分支上进行开发。
3. 提交Pull Request前，确保所有测试用例通过。
4. 添加更新的文档和注释。

📄 许可证

FireCrawl 使用 MIT 许可证，欢迎自由使用和修改代码。