Seo Crawler MCP

🚀 SEO Crawler MCP - 网站爬虫与大语言模型SEO分析器

SEO Crawler MCP 是一款强大的工具，可对网站进行爬取和分析，检测可能影响网站SEO的错误和问题，助力网站提升搜索引擎排名。

爬取并分析您的网站，找出可能影响SEO的错误和问题

开发者希望基于MCP协议SDK的经验，探索如何扩展AI助手的能力。于是决定构建一个爬虫来检查网站的“技术SEO”健康状况，并发现Crawlee是构建MCP爬虫组件的理想库。

有趣的是，MCP通常意味着某种服务器连接，但SEO Crawler MCP并非如此。MCP协议的强大超出预期，这是一个封装在MCP SDK中的自包含应用程序，可在本地处理所有事务：

• 智能请求调度和队列管理
• 自动重试逻辑和错误处理
• 可配置延迟的礼貌爬取
• 适用于大型网站的内存高效流式处理
• Better-SQLite3嵌入式数据库，存储每个爬取页面的HTML、元数据、标头、链接关系和网站结构
• 自定义SQL分析引擎，包含25多个专门查询，可检测内容问题、技术SEO问题、安全漏洞和优化机会

Claude（或您选择的AI助手）可以通过简单的函数调用编排整个堆栈。爬取过程异步运行，将所有数据存储在SQLite中，然后Claude可以通过自然语言查询数据，例如“分析此爬取结果以寻找SEO机会”或“报告内部断链情况”，MCP服务器会将其转换为复杂的SQL分析。

您还可以直接从终端运行爬取任务，这非常适合大型网站或后台处理。CLI模式允许您运行爬取任务，获取输出目录，然后通过MCP工具将其交给Claude进行AI分析。

鸣谢

核心爬取架构灵感来自LibreCrawl项目的逻辑和模式。我们在MCP协议中采用了他们经过验证的爬取方法，并添加了全面的SEO分析功能。

🚀 快速开始

初学者指南

如果您是MCP服务器的新手，建议先阅读以下内容：

• 如何将MCP服务器添加到Claude桌面版
• Claude桌面版初学者指南

同时，建议先安装Desktop Commander，它有助于处理爬取输出文件。详细设置指南请参考Desktop Commander设置指南。

快速安装（NPX）

将以下内容添加到Claude桌面版配置文件中：

• Windows：C:\Users\[您的用户名]\AppData\Roaming\Claude\claude_desktop_config.json
• Mac：~/Library/Application Support/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "npx",
      "args": ["-y", "@houtini/seo-crawler-mcp"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits"
      }
    }
  }
}

重启Claude桌面版后，将提供以下四个工具：

• seo-crawler-mcp:run_seo_audit
• seo-crawler-mcp:analyze_seo
• seo-crawler-mcp:query_seo_data
• seo-crawler-mcp:list_seo_queries

开发安装

cd C:\MCP\seo-crawler-mcp
npm install
npm run build

然后在配置文件中使用本地路径：

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "node",
      "args": ["C:\\MCP\\seo-crawler-mcp\\build\\index.js"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits",
        "DEBUG": "false"
      }
    }
  }
}

环境变量说明：

• OUTPUT_DIR：爬取结果保存的目录（必需）
• DEBUG：设置为 "true" 可启用详细的调试日志（可选，默认值："false"）

本地开发的CLI使用方法： 当从本地构建运行CLI（未通过npm安装）时，直接使用 node：

# 运行爬取任务
node C:\MCP\seo-crawler-mcp\build\cli.js crawl https://example.com --max-pages=20

# 分析结果
node C:\MCP\seo-crawler-mcp\build\cli.js analyze C:\seo-audits\example.com_2026-02-02_abc123

# 列出查询
node C:\MCP\seo-crawler-mcp\build\cli.js queries --category=critical

✨ 主要特性

• 智能爬取：具备智能请求调度和队列管理功能，能自动处理重试逻辑和错误，以可配置的延迟进行礼貌爬取，还支持内存高效的流式处理，适用于大型网站。
• 全面分析：拥有自定义SQL分析引擎，包含25多个专门查询，可检测内容问题、技术SEO问题、安全漏洞和优化机会。
• 数据存储：使用Better-SQLite3嵌入式数据库，存储每个爬取页面的HTML、元数据、标头、链接关系和网站结构。
• AI集成：可与Claude等AI助手集成，通过自然语言查询爬取数据，实现智能分析。
• 多模式支持：支持从终端直接运行爬取任务，适合大型网站或后台处理。

📦 安装指南

快速安装（NPX）

将配置信息添加到Claude桌面版配置文件，重启后即可使用相关工具。

开发安装

先进入项目目录，安装依赖并构建项目，然后在配置文件中使用本地路径。同时可设置环境变量以满足不同需求。

💻 使用示例

完整SEO审计

典型工作流程如下：

1. 爬取网站

使用 seo-crawler-mcp 爬取 https://example.com，最大爬取页面数为 2000

2. 运行分析

分析 C:/seo-audits/example.com_2026-02-01_abc123 目录下的爬取结果

3. 调查特定问题

显示该爬取结果中的内部断链情况

Claude会处理后续工作，调用合适的工具，解析结果并以可读格式呈现。

安全审计

如果您特别关注安全标头：

1. 列出可用的安全查询

可以对SEO爬取结果运行哪些安全检查？

2. 运行安全分析

检查 C:/seo-audits/example.com_2026-02-01_abc123 爬取结果中的安全问题

3. 深入研究特定问题

显示所有包含不安全外部链接的页面

📚 详细文档

检测内容

分析引擎包含25项全面的SEO检查，分为五个类别：

关键问题（4项检查）

• 缺少标题标签：没有标题的页面无法在搜索引擎中获得排名。
• 内部断链：返回404/5xx响应的链接会影响网站的可爬取性。
• 服务器错误：5xx响应表示网站存在问题。
• 404错误：需要修复或重定向的损坏页面。

内容质量（7项检查）

• 重复标题：不同页面使用相同的标题标签会使搜索引擎困惑。
• 重复元描述：相同的元描述会降低搜索结果中的点击率。
• 重复H1标签：多个页面使用相同的H1标题会稀释主题清晰度。
• 缺少元描述：搜索引擎可能会自行生成摘要，无法准确代表页面内容。
• 缺少H1标签：H1是页面主题和结构的主要信号。
• 单个页面存在多个H1标签：会稀释主题焦点并混淆标题层次结构。
• 内容单薄：内容少于300字的页面价值较低，排名不佳。

技术SEO（5项检查）

• 重定向链和循环：多个重定向会浪费爬取预算并减慢页面加载速度。
• 孤立页面：没有内部链接指向的页面可能无法被搜索引擎发现。
• 规范URL不匹配：表示存在重复内容或索引偏好冲突。
• 仍在使用非HTTPS页面：存在安全风险、排名惩罚和浏览器警告。
• 标题层次结构问题：如H3在H2之前等。

安全（6项检查）

• 缺少内容安全策略（CSP）标头：易受XSS攻击和代码注入。
• 缺少严格传输安全（HSTS）标头：可能遭受协议降级攻击。
• 缺少X-Frame-Options标头：易受点击劫持攻击。
• 缺少Referrer-Policy标头：存在隐私和安全泄露风险。
• 不安全的外部链接：使用 target="_blank" 但未添加 rel="noopener" 的链接存在安全漏洞。
• 协议相对链接：使用 // 而不是 https:// 的链接可能导致混合内容问题和安全警告。

优化（6项检查）

• 标题标签长度问题：标题过短或过长都会影响搜索结果显示。
• 元描述长度问题：描述过短或过长会降低点击率。
• 标题与H1相同：错过针对不同关键词或角度的机会。
• 页面无出站链接：可能显得垃圾或孤立，链接到优质资源可建立信任。
• 页面外部链接过多：可能显得垃圾并不必要地泄露PageRank。
• 页面缺少图片：图片可提高用户参与度并提供额外的排名信号。

数据存储

爬虫将所有数据存储在按域名和日期组织的SQLite数据库中：

C:/seo-audits/example.com_2026-02-01_abc123/
├── crawl-data.db          # SQLite数据库
│   ├── pages              # 每个爬取的页面
│   ├── links              # 所有链接关系
│   ├── errors             # 爬取错误
│   └── crawl_metadata     # 统计信息
├── config.json            # 爬取设置
└── crawl-export.csv       # 可选的CSV导出文件

性能表现

爬取速度

• 中型网站（1500 - 2000页）：约15分钟
• 跟踪300,000多个链接关系
• 2000页的数据库大小约为15MB

查询性能

• 简单查询：小于10ms
• 复杂查询：小于100ms
• 连接查询：小于200ms
• 全面分析：小于600ms

SQLite方法在这里表现良好，所有数据都保存在本地，无需担心API速率限制，查询性能足以满足SEO分析需求。

局限性

计划在3.0版本中添加4项额外检查：

• 核心网页指标：需要Playwright获取真实浏览器指标
• Robots.txt验证：需要解析库
• 可读性评分：需要文本分析库
• 移动渲染问题：需要设备模拟

当前的25项检查涵盖了直接影响搜索引擎爬取、索引和排名的技术SEO的最关键方面。

🔧 技术细节

构建工具

• TypeScript 5.3
• Crawlee 3.7（HttpCrawler）
• better-sqlite3 12.6
• Cheerio 1.0（HTML解析）
• MCP SDK 1.0

代码全程使用ES模块，对输入进行了适当的Zod验证，并具备全面的错误处理。架构清晰，将爬取、分析、格式化和工具定义分为不同模块。

部署方式

• 通过Node.js运行本地MCP服务器
• 无需外部依赖
• 可配置输出目录
• 支持并发爬取（5个工作线程）

📄 许可证

本项目采用Apache License 2.0许可协议。

版权所有 2026 Richard Baxter

本产品包含由Apify和Crawlee项目开发的软件。详情请参阅NOTICE文件。

支持

• GitHub：https://github.com/houtini-ai/seo-crawler-mcp
• 问题反馈：https://github.com/houtini-ai/seo-crawler-mcp/issues
• 作者：Richard Baxter hello@houtini.com

标签：seo, crawler, audit, technical-seo, mcp, crawlee, sqlite, web-scraping, site-analysis