Firecrawl

🚀 FireCralle 项目文档

FireCralle 是一款功能强大的爬虫工具，支持网站抓取、数据存储与分析等功能，还可通过插件系统进行自定义扩展，能满足不同用户的多样化需求。

🚀 快速开始

📦 安装指南

使用 Docker 安装

通过 Docker 安装是使用 FireCralle 的最简便方式：

docker run -p 3000:3000 mendable/firecrawl:latest

手动安装（适用于进阶用户）

1. 克隆仓库：

   git clone https://github.com/mendableai/firecrawl.git
   cd firecrawl
   

2. 安装依赖：

   npm install
   

3. 启动应用：

   npm start
   

✨ 主要特性

网站抓取

• 配置抓取任务：
  • 创建 config.json 文件，添加需要抓取的网站 URL。
  • 示例配置：

    {
      "urls": ["https://example.com", "https://test.com"],
      "depth": 2,
      "concurrency": 5
    }
    

• 启动爬虫：

  node crawler.js
  

数据存储与分析

• 支持将抓取的数据存储为多种格式（JSON, CSV, SQL）。
• 内置数据分析工具，可生成统计报告和可视化图表。

自定义扩展

• 插件系统：通过编写插件扩展 FireCralle 的功能。
• 自定义爬虫逻辑：直接修改爬虫代码以满足特定需求。

💻 使用示例

基础用法

抓取百度搜索结果

const app = new FirecrawlApp({
  apiKey: "your_api_key"
});

await app.scrapeUrl("https://www.baidu.com/s?wd=firecrawler", {
  formats: ['html'],
});

批量爬取多页面内容

async function crawlPages() {
  const pages = ["page1.html", "page2.html"];
  for (const page of pages) {
    await app.scrapeUrl(page, {
      format: 'json'
    });
  }
}
crawlPages();

📚 详细文档

🔧 技术细节

抓取策略与优化

遵守规则

• robots.txt：FireCralle 默认遵守目标网站的 robots.txt 文件。
• 抓取频率控制：可通过配置设置每次请求之间的间隔，避免对目标网站造成过大的压力。

性能调优

• 线程与并发：

  # 设置最大并发数
  export MAX_CONCURRENCY=10
  

• 网络连接优化：

  # 设置请求超时时间（秒）
  export REQUEST_TIMEOUT=30
  

高级功能

分布式爬虫部署

• 多节点部署：通过 Docker Compose 或 Kubernetes 实现分布式抓取。
• 负载均衡：配置反向代理（如 Nginx）实现请求分发。

结构化数据提取

• 支持使用正则表达式或 XPath 提取网页中的特定信息。
• 内置机器学习模型，可自动识别并提取结构化数据。

项目架构

核心组件

1. 爬虫引擎：
   • 负责网站的抓取和页面解析。
2. 存储模块：
   • 提供多种数据持久化方案（数据库、文件系统）。
3. 分析工具：
   • 包含数据清洗、转换和可视化的功能。

可扩展插件

• 日志记录插件：实时监控爬取过程，记录详细日志。
• 通知插件：在完成抓取任务后发送邮件或消息通知。
• 数据加密插件：对敏感数据进行加密处理，确保数据安全。

视频教程

• FireCralle 入门教学：观看视频
• 高级爬虫技巧：观看视频

支持与帮助

社区支持

• GitHub 仓库：访问仓库
• Discord 社区：加入我们的 Discord 频道，与其他用户交流经验。
• Stack Overflow 标签：使用 firecrawler 标签提问。

贡献指南

我们欢迎任何贡献！请查看贡献指南了解更多信息。如果您想自行部署，可以参考自托管指南。

开始您的爬虫之旅吧！