Crawl4AI 文档抓取器

让你的依赖文档保持简洁、最新且适合 AI 使用。此工具包帮助你从任何框架或库网站提取干净、专注的文档，非常适合人类读者和 LLM 消费。

为什么使用此工具？

在当今快速开发的环境中，你需要：

• 📚 快速访问无冗余的依赖文档
• 🤖 适合 RAG 系统和 LLM 的格式
• 🎯 专注于内容，去除导航元素、广告或其他无关部分
• ⚡ 快速高效地保持文档更新
• 🧹 清洁的 Markdown 输出，便于与文档工具集成

传统的网络抓取通常给你所有内容——包括导航菜单、页脚、广告等。此工具包专门设计用于提取实际文档内容。

主要优势

1. 干净的文档输出

   • Markdown 格式的内容专注文档
   • JSON 格式的结构化菜单数据
   • 适合文档网站、Wiki 和知识库
   • 适合 LLM 训练和 RAG 系统的理想格式

2. 智能内容提取

   • 自动识别主要内容区域
   • 去除导航、广告和其他无关部分
   • 保留所有原始 Markdown 格式
   • 支持多种语言（包括中文）

3. 多线程处理

   • 并行抓取多个 URL，加快速度
   • 智能管理请求频率，避免被封禁

4. 错误处理

   • 全面的错误处理和重试机制
   • 详细的日志记录，便于调试

目录结构

crawl4ai_docs_scraper/
├── input_files/           # 输入文件用于 URL 处理
│   ├── urls.txt          # 每行一个 URL 的文本文件
│   └── menu_links.json   # 从菜单抓取器输出的 JSON 文件
├── scraped_docs/         # Markdown 文件输出目录
│   └── docs_timestamp.md # 生成的文档
├── multi_url_crawler.py
├── menu_crawler.py
└── requirements.txt

错误处理

所有抓取器都包含全面的错误处理和彩色终端输出：

• 🟢 绿色：成功消息
• 🔵 青色：处理状态
• 🟡 黄色：警告
• 🔴 红色：错误消息