Web Content Pick
W

Web Content Pick

一个用于从网页提取结构化内容的强大工具,支持自定义选择器和爬取选项
2.5分
9.9K

什么是 Model Context Protocol (MCP) 服务器?

Model Context Protocol (MCP) 是一个强大的工具,旨在从网页中提取结构化的数据。它允许用户通过自定义选择器来精准定位所需内容,并支持递归爬取以深入挖掘更多相关信息。

如何使用 MCP 服务器?

首先安装 MCP 工具,然后在配置文件中设置相关参数,最后运行命令即可开始提取网页内容。

适用场景

适用于需要从互联网上抓取特定信息的情景,例如新闻聚合、产品评论收集或市场调研。

主要功能

网页内容提取
能够自动识别并提取网页中的结构化内容。
自定义选择器
支持通过 CSS 选择器指定目标内容。
递归爬取
可以按照设定深度逐步爬取多个页面。
自动重试机制
当请求失败时会尝试重新发送请求。
高效处理
快速完成大规模数据采集任务。
清晰输出格式
生成易于解析的结果报告。
优势
支持高度定制化的需求。
具备强大的数据处理能力。
简单易用且稳定可靠。
内置智能重试逻辑提升成功率。
局限性
可能受到目标网站反爬虫策略限制。
对于复杂布局的网页解析效果有限。
需要一定的网络知识才能完全发挥其潜力。

如何使用

安装 MCP 工具
全局安装 MCP Web Content Pick 工具:`npm install -g mcp-web-content-pick`。
配置环境
编辑 `claude_desktop_config.json` 文件添加如下配置: ```json { "mcpServers": { "web_content_search": { "command": "npx", "args": [ "-y", "mcp-web-content-pick" ] } } } ```
执行命令
根据需求指定 URL 或配置文件运行命令。

使用案例

新闻文章摘要
从新闻网站提取文章标题、发布时间及正文内容。
电商平台商品评价
从电商网站爬取某款商品的所有用户评价。

常见问题

MCP 是否支持多语言网页?
如果遇到网络中断怎么办?
是否可以限制爬取深度?

相关资源

官方文档
获取更多关于 MCP 的详细信息。
GitHub 代码仓库
查看源码并参与开发。
演示视频
观看 MCP 如何工作的视频教程。

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "web_content_search": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-web-content-pick"
      ]
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

V
Vestige
Vestige是一个基于认知科学的AI记忆引擎,通过实现预测误差门控、FSRS-6间隔重复、记忆梦境等29个神经科学模块,为AI提供长期记忆能力。包含3D可视化仪表板和21个MCP工具,完全本地运行,无需云端。
Rust
4.5K
4.5分
M
Moltbrain
MoltBrain是一个为OpenClaw、MoltBook和Claude Code设计的长期记忆层插件,能够自动学习和回忆项目上下文,提供智能搜索、观察记录、分析统计和持久化存储功能。
TypeScript
4.1K
4.5分
B
Bm.md
一个功能丰富的Markdown排版工具,支持多种样式主题和平台适配,提供实时编辑预览、图片导出和API集成能力
TypeScript
4.4K
5分
S
Security Detections MCP
Security Detections MCP 是一个基于Model Context Protocol的服务器,允许LLM查询统一的安全检测规则数据库,涵盖Sigma、Splunk ESCU、Elastic和KQL格式。最新3.0版本升级为自主检测工程平台,可自动从威胁情报中提取TTPs、分析覆盖差距、生成SIEM原生格式检测规则、运行测试并验证。项目包含71+工具、11个预构建工作流提示和知识图谱系统,支持多SIEM平台。
TypeScript
6.0K
4分
P
Paperbanana
PaperBanana是一个自动化生成学术图表和统计图的智能框架,支持从文本描述生成高质量的论文插图,采用多智能体管道和迭代优化,提供CLI、Python API和MCP服务器等多种使用方式。
Python
6.6K
5分
F
Finlab Ai
FinLab AI是一个金融量化分析平台,通过AI技术帮助用户发现投资策略中的超额收益(alpha)。它提供丰富的数据集、回测框架和策略示例,支持自动化安装与集成到主流AI编程助手。
5.5K
4分
B
Better Icons
一个提供超过20万图标搜索和检索的MCP服务器和CLI工具,支持150多个图标库,帮助AI助手和开发者快速获取和使用图标。
TypeScript
6.7K
4.5分
A
Assistant Ui
assistant-ui是一个开源TypeScript/React库,用于快速构建生产级AI聊天界面,提供可组合的UI组件、流式响应、无障碍访问等功能,支持多种AI后端和模型。
TypeScript
7.3K
5分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
74.4K
4.5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
85.7K
4.3分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
149.8K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
33.0K
4.8分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
50.1K
4.5分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
57.3K
5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
106.0K
4.7分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
63.6K
4.8分
AIBase
智启未来,您的人工智能解决方案智库