MCP Server Scraper

🚀 从GitHub爬取MCP服务器配置信息脚本

该脚本的主要目的是从'https://github.com/modelcontextprotocol/servers/tree/main/src'爬取MCP服务器配置信息，专为LiteLLM项目服务，能有效助力项目获取所需的服务器配置数据。

🚀 快速开始

编译typescript

npm run build

运行脚本

npm start

✨ 主要特性

• 可从指定的GitHub页面爬取MCP服务器配置信息。
• 优先获取Docker配置，其次是npx配置，最后是uvx配置。
• 添加了控制台日志用于调试，方便开发者排查问题。

📚 详细文档

实现思路和逻辑推理

主可执行函数的作用是导航到GitHub页面并构建对象。大部分抓取逻辑都集中在scrapeServerConfiguration函数中。MCP服务器的配置信息以JSON格式呈现，在某些页面（服务器目录），用户能够直接将这些内容复制到浏览器剪贴板。而在其他页面，配置信息隐藏在下拉菜单中，例如“使用docker”。

该抓取器的配置信息获取优先级为：首先是Docker配置，其次是npx配置，最后是uvx配置（若首选项不存在）。由于playwright的选择器倾向于选择npx配置（这可能是代码逻辑的问题），所以添加了一个额外的for循环来专门获取Docker配置（如需了解更多信息，请联系作者）。

此外，为了方便调试，代码中添加了控制台日志，开发者可根据实际需求删除或注释这些控制台日志。