MCP Smart Crawler
M

MCP Smart Crawler

MCP Smart Crawler 是一个基于Playwright的网页内容爬取工具,专门用于提取小红书帖子的元数据和下载媒体资源。
2.5分
8.8K

什么是MCP Smart Crawler?

MCP Smart Crawler是一个智能网页内容抓取工具,专门设计用于从社交媒体平台(如小红书)提取帖子的标题、描述、图片等元数据,并能下载视频和图片资源。

如何使用MCP Smart Crawler?

通过简单的配置将服务器添加到您的MCP客户端,然后发送包含小红书链接的消息即可自动获取内容。

适用场景

适合需要收集社交媒体内容进行分析、存档或展示的用户,如市场研究人员、内容创作者或数据分析师。

主要功能

小红书元数据提取
自动识别并提取小红书帖子的标题、描述和图片信息
多媒体资源下载
支持下载小红书分享链接中的视频和图片
浏览器自动化
使用Playwright实现可靠的浏览器自动化操作
优势
无需手动操作即可获取完整内容
支持中文社交媒体平台
可配置下载存储位置
局限性
目前主要支持小红书平台
需要安装Playwright环境
可能受网站反爬机制影响

如何使用

配置MCP客户端
在您的MCP客户端设置中添加服务器配置
发送请求
向服务器发送包含小红书链接的消息

使用案例

获取小红书内容
提取小红书帖子的文字内容和图片
下载小红书视频
从分享链接下载视频文件

常见问题

需要安装哪些软件才能使用?
支持哪些网站?
下载的文件存储在哪里?

相关资源

Playwright官方文档
浏览器自动化工具文档
Node.js下载
运行环境下载
MCP协议说明
Model Context Protocol详细介绍

安装

复制以下命令到你的Client进行配置
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

K
Klavis
Klavis AI是一个开源项目,提供在Slack、Discord和Web平台上简单易用的MCP(模型上下文协议)服务,包括报告生成、YouTube工具、文档转换等多种功能,支持非技术用户和开发者使用AI工作流。
TypeScript
8.2K
5分
S
Scrapling
Scrapling是一个自适应网页抓取库,能自动学习网站变化并重新定位元素,支持多种抓取方式和AI集成,提供高性能解析和开发者友好体验。
Python
7.9K
5分
A
Apple Health MCP
一个用于通过SQL查询苹果健康数据的MCP服务器,基于DuckDB实现高效分析,支持自然语言查询和自动报告生成。
TypeScript
10.7K
4.5分
M
MCP Server Airbnb
已认证
Airbnb房源搜索与详情查询的MCP服务
TypeScript
16.7K
4分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
97.4K
5分
R
Rednote MCP
RedNote MCP是一个为小红书内容访问提供服务的工具,支持认证管理、关键词搜索笔记、命令行初始化等功能,可通过URL访问笔记内容。
TypeScript
13.7K
4.5分
P
Perplexity MCP
已认证
一个基于Perplexity AI API的MCP服务器,为Claude桌面客户端提供网页搜索功能。
Python
18.6K
4.1分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
40.2K
5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
58.1K
4.3分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
56.9K
4.5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
97.4K
5分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
40.2K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
25.5K
4.8分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
46.6K
4.8分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
38.0K
4.5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
72.1K
4.7分
AIBase
智启未来,您的人工智能解决方案智库