🚀 数据爬取与导入工具

本项目提供了便捷的方式来爬取数据并将其导入数据库，同时还支持生成SQL文件等操作，能有效帮助你处理相关数据。

🚀 快速开始

安装必要的依赖

运行以下命令安装 supabase 依赖：

pip install supabase

爬取数据并直接导入数据库

进入 src/mcp_crawler 目录，然后执行以下命令爬取数据并导入数据库：

cd src/mcp_crawler
python crawl_mcp_data.py

只爬取服务器数据

若你只需要爬取服务器数据，可使用以下命令：

python crawl_mcp_data.py --server-only

只爬取客户端数据

若你只需要爬取客户端数据，可使用以下命令：

python crawl_mcp_data.py --client-only

同时导入数据库并导出SQL文件（可选）

若你需要同时将数据导入数据库并导出为SQL文件，可使用以下命令：

python crawl_mcp_data.py --export-sql mcp_data.sql

只生成SQL文件，不导入数据库

若你只需要生成SQL文件而不导入数据库，可使用以下命令：

python crawl_mcp_data.py --no-import --export-sql mcp_data.sql