🚀 WebSearch - 高级网络搜索与内容提取工具

WebSearch 是一款强大的网络搜索和内容提取工具，采用 Python 构建，借助 Firecrawl API 实现高级网络抓取、搜索及内容分析功能，能有效满足用户在网络信息获取方面的需求。

🚀 快速开始

WebSearch 是一个基于 Python 开发的网络搜索与内容提取工具。它借助 Firecrawl API 实现高级网络抓取、搜索和内容分析功能。以下是使用该工具的基本步骤：

1. 克隆仓库：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安装依赖项：

   pip install -r requirements.txt
   

3. 配置环境变量：

   • 创建一个 .env 文件（如果尚未创建）。
   • 添加以下内容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 运行项目：

   python main.py
   

✨ 主要特性

• 智能网络搜索：支持自定义参数的智能搜索，用户可根据自身需求灵活调整搜索条件。
• 内容提取：通过自然语言提示从网页中提取特定信息，方便快捷地获取所需内容。
• 网站爬取：可配置深度和限制的网站爬取，精准控制爬取范围和程度。
• 网络抓取：支持多种输出格式的内容抓取，满足不同场景下的使用需求。
• MCP 集成：作为模型上下文协议（MCP）服务器，实现无缝集成，增强工具的扩展性。

📦 安装指南

先决条件

• Python 3.8 或更高版本
• uv 包管理器
• Firecrawl API 密钥
• OpenAI API 密钥（可选，用于增强功能）
• Tavily API 密钥（可选）

安装步骤

1. 克隆仓库：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安装依赖项：

   pip install -r requirements.txt
   

3. 配置环境变量：

   • 创建一个 .env 文件（如果尚未创建）。
   • 添加以下内容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 运行项目：

   python main.py
   

💻 使用示例

基础用法

from websearch import WebSearch

# 初始化搜索对象
searcher = WebSearch()

# 执行搜索查询
results = searcher.search("Python 教程")

# 处理结果
for result in results:
    print(result.url)

高级用法

• 自定义爬取参数：

  # 示例：限制搜索结果数量
  results = searcher.search("机器学习", max_results=10)
  

📚 详细文档

功能列表

1. 支持多种网络搜索策略，为用户提供多样化的搜索方式。
2. 提供强大的内容解析和提取功能，精准提取所需信息。
3. 集成 AI 加速的搜索优化，提升搜索效率和准确性。
4. 具备灵活的结果过滤与排序机制，方便用户筛选和查看结果。

注意事项

⚠️ 重要提示

使用本工具时，请遵守相关法律法规和网站的使用条款。

📄 许可证

本项目采用 MIT 许可证。

🏷️ 标签

• Python
• Web Scraping
• AI
• API
• 开源项目