WebSearch - 高级网络搜索与内容提取工具

一个强大的网络搜索和内容提取工具，使用 Python 构建，并利用 Firecrawl API 提供高级网络抓取、搜索和内容分析功能。

🚀 特性

• 智能网络搜索：支持自定义参数的智能搜索
• 内容提取：通过自然语言提示从网页中提取特定信息
• 网站爬取：配置深度和限制的网站爬取
• 网络抓取：支持多种输出格式的内容抓取
• MCP 集成：作为模型上下文协议（MCP）服务器，实现无缝集成

📋 先决条件

• Python 3.8 或更高版本
• uv 包管理器
• Firecrawl API 密钥
• OpenAI API 密钥（可选，用于增强功能）
• Tavily API 密钥（可选）

💻 安装步骤

1. 克隆仓库：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安装依赖项：

   pip install -r requirements.txt
   

3. 配置环境变量：

   • 创建一个 .env 文件（如果尚未创建）。
   • 添加以下内容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 运行项目：

   python main.py
   

📖 使用说明

基本用法

from websearch import WebSearch

# 初始化搜索对象
 searcher = WebSearch()

# 执行搜索查询
results = searcher.search("Python 教程")

# 处理结果
for result in results:
    print(result.url)

高级功能

• 自定义爬取参数：

  # 示例：限制搜索结果数量
  results = searcher.search("机器学习", max_results=10)
  

📅 功能列表

1. 支持多种网络搜索策略。
2. 提供强大的内容解析和提取功能。
3. 集成 AI 加速的搜索优化。
4. 灵活的结果过滤与排序机制。

🏷️ 标签

• Python
• Web Scraping
• AI
• API
• 开源项目

注意： 使用本工具时，请遵守相关法律法规和网站的使用条款。