MCP提交

Mendableai Firecrawl MCP Server

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供网页抓取、爬取、搜索、内容提取等功能，支持云API和自托管实例。

研究与数据开发者工具 #网页抓取 #内容提取 #批量处理 #智能爬虫远程 .TypeScript

2.5分

2025-04-29 03:06:08

概述

安装

工具列表

内容详情

替代品

什么是Firecrawl MCP Server?

Firecrawl MCP Server是一个基于Model Context Protocol的服务器实现，集成了Firecrawl的网页抓取功能。它允许用户通过简单的API调用来抓取网页内容、执行深度爬取、进行网页搜索和批量处理。

如何使用Firecrawl MCP Server?

您可以通过简单的命令行安装或直接在Cursor、Windsurf等开发环境中集成使用。只需要配置API密钥和一些基本参数即可开始使用。

适用场景

适用于需要网页内容抓取和分析的各种场景，如市场调研、竞品分析、内容聚合、数据挖掘等。

主要功能

网页抓取支持从单个URL抓取内容，可选择只获取主要内容或完整页面

批量处理支持同时处理多个URL，内置速率限制和并行处理

网页搜索支持基于关键词的网页搜索并提取相关内容

深度爬取支持按照指定深度爬取整个网站

结构化提取使用LLM从网页中提取结构化信息

JS渲染支持JavaScript渲染的网页抓取

优势与局限性

优势

简单易用的API接口

支持JavaScript渲染的网页

自动重试和指数退避机制

完善的日志和监控系统

支持云服务和自托管两种模式

局限性

需要API密钥(云服务版)

复杂网页可能需要调整抓取参数

受目标网站反爬措施限制

如何使用

安装通过npm全局安装或使用npx直接运行

配置API密钥设置环境变量或配置文件中的API密钥

运行服务器启动MCP服务器

集成到开发环境在Cursor或Windsurf等环境中配置MCP服务器

使用案例

抓取新闻文章从新闻网站抓取最新文章内容

竞品网站分析批量抓取竞品网站的产品页面

行业趋势研究搜索并分析行业相关文章

常见问题

如何获取Firecrawl API密钥?访问Firecrawl官网注册账号即可获取API密钥

支持哪些格式的输出?支持HTML、Markdown和纯文本格式

如何处理网站的反爬措施?可以调整请求间隔、使用代理或联系Firecrawl技术支持

是否支持中文网页抓取?是的，完全支持中文和其他多语言网页

如何监控API使用情况?服务器内置信用额度监控系统，可以设置警告和临界阈值

火蜥蜴网络爬虫系统

安装与配置

安装

# 使用 npm 安装火蜥蜴 MCP 服务器
npm install fire-crawl-mcp-server

# 克隆源码仓库（可选）
git clone https://github.com/your-repository.git
cd your-repository

配置文件示例 (config.json)

{
  "fireCrawl": {
    "apiKey": "your_api_key_here", // 必填：火蜥蜴 API 密钥
    "proxySettings": { // 可选：代理配置
      "enabled": false, // 是否启用代理
      "host": "", // 代理服务器地址
      "port": "" // 代理服务器端口
    },
    "logging": { // 日志设置
      "level": "INFO", // 日志级别：DEBUG、INFO、WARNING、ERROR、CRITICAL
      "outputFile": "./fire_crawl.log" // 日志文件路径
    }
  }
}

核心组件

网页爬虫工具

名称：火蜥蜴爬虫
功能：从指定 URL 开始进行网页抓取，支持多线程加速和深度优先爬取。
配置参数：
- url: 必填，起始爬取地址
- maxDepth: 可选，默认为 3，爬取的最大深度
- limit: 可选，默认为 50，抓取的网页数量上限

批处理工具

名称：火蜥蜴批处理
功能：支持一次性提交多条爬取任务，并可通过唯一 ID 查看处理状态。
操作流程：
1. 提交批处理任务
2. 获取操作 ID
3. 定期查询处理进度

状态检查工具

名称：火蜥蜴状态检查
功能：通过提供的操作 ID 查看当前批处理任务的执行情况和结果。

日志系统

日志级别：
- DEBUG: 记录详细调试信息
- INFO: 系统运行状态
- WARNING: 可能影响功能的警告
- ERROR: 已知错误记录
- CRITICAL: 严重问题，可能导致服务中断

错误处理机制

重试策略：
- 检测到限流时自动等待并重试
- 最大重试次数：5次
- 重试间隔：2秒至10秒之间随机

开发指南

# 安装项目依赖
npm install

# 构建生产环境包
npm run build

# 运行单元测试
npm test

贡献方式

** fork 代码仓库
** 创建功能分支
** 提交代码修改
** 提交Pull Request

许可证

许可证类型：MIT License
版权信息：© 2023 火蜥蜴团队

可用工具列表

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_crawl

爬取指定URL的内容。

参数

--url : string*

描述

要爬取的URL地址。

参数

--depth : integer*

描述

指定爬取的深度，整数类型。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

firecrawl_search

根据关键词搜索网页内容并返回结构化结果。

参数

--urls : string[]*

描述

指定要搜索的URL列表。

参数

--query : string*

描述

要搜索的关键词或短语。

参数

--max-results : integer*

描述

限制返回的最大结果数，默认为10。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

用户协议

隐私政策

Mendableai Firecrawl MCP Server

什么是Firecrawl MCP Server?

如何使用Firecrawl MCP Server?

适用场景

主要功能

优势与局限性

如何使用

使用案例

常见问题

相关资源

火蜥蜴网络爬虫系统

安装与配置

安装

配置文件示例 (config.json)

核心组件

网页爬虫工具

批处理工具

状态检查工具

日志系统

错误处理机制

开发指南

贡献方式

许可证