Fast Pyairbyte

🚀 Fast PyAirbyte

Fast-PyAirbyte 允许你使用单个提示为任何 Airbyte 连接器将数据管道生成为代码：

“创建一个从 source-xxx 到 destination-xxx 的数据管道”

🚀 快速开始

一键安装

如果上述按钮不起作用，请将此链接复制并粘贴到你的浏览器中：

cursor://anysphere.cursor-deeplink/mcp/install?name=fast-pyairbyte&config=eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyJmYXN0LXB5YWlyYnl0ZSJdLCJlbnYiOnsiT1BFTkFJX0FQSV9LRVkiOiJ5b3VyLW9wZW5haS1hcGkta2V5LWhlcmUifX0=

或者按照以下说明手动安装。

手动安装

最简单的入门方法是使用 npx 直接运行 MCP 服务器：

npx fast-pyairbyte

这将：

1. 自动下载并安装该软件包
2. 检查 Python 并安装依赖项
3. 在本地启动 MCP 服务器
4. 显示配置说明

✨ 主要特性

• 自动化代码生成：创建完整的 PyAirbyte 管道脚本
• 配置管理：安全地处理环境变量和凭据
• 文档集成：使用 OpenAI 提供上下文感知的说明
• 多种输出格式：支持目标连接器和 DataFrame 输出
• 最佳实践：包括错误处理、日志记录和正确的项目结构
• 600 + 连接器：如果连接器在 Airbyte 连接器注册表 中，MCP 服务器就可以为其创建管道
• 易于安装：无需本地设置，只需使用 npx
• 跨平台：可在 macOS、Linux 和 Windows 上运行

📦 安装指南

手动安装步骤

最简单的入门方法是使用 npx 直接运行 MCP 服务器：

npx fast-pyairbyte

这将自动完成以下操作：

1. 下载并安装该软件包。
2. 检查 Python 并安装依赖项。
3. 在本地启动 MCP 服务器。
4. 显示配置说明。

MCP 配置

将以下内容添加到你的 MCP 配置文件中：

对于 Cursor (.cursor/mcp.json)：

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

对于 Claude Desktop (~/.config/claude/claude_desktop_config.json)：

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

对于 Cline (~/.config/cline/mcp_settings.json)：

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

要求：

• 你自己从 OpenAI 平台 获取的 OpenAI API 密钥
• 系统上安装了 Python 3.7+
• 用于 npx 执行的 Node.js 14+

配置步骤：

1. 从 OpenAI 平台 获取你的 OpenAI API 密钥。
2. 创建或编辑你的 MCP 配置文件。
3. 使用你实际的 OpenAI API 密钥添加上述配置。
4. 重启你的 MCP 客户端（Cursor/Claude/Cline）。
5. 开始生成 PyAirbyte 管道！

💻 使用示例

基础用法

配置完成后，你可以在 AI 助手里使用 MCP 服务器来生成 PyAirbyte 管道。以下是使用步骤：

1. 验证连接

• 在客户端界面中查看 MCP 服务器状态。
• 你应该会看到列出的 “fast-pyairbyte” 且有 1 个可用工具。
• 如果显示 0 个工具或状态为红色，请检查你的配置。

2. 使用自然语言生成管道

只需让你的 AI 助手生成一个 PyAirbyte 管道！以下是示例提示：

基本示例：

Generate a PyAirbyte pipeline from source-postgres to destination-snowflake

Create a pipeline to move data from source-github to dataframe

Build a PyAirbyte script for source-stripe to destination-bigquery

Generate a data pipeline from source-salesforce to destination-postgres

Create a pipeline that reads from source-github to a dataframe, and then visualize the results using Streamlit

Help me set up a data pipeline from source-salesforce to destination-postgres

3. 可用的源/目标选项

• 源：任何 Airbyte 源连接器（例如，source-postgres、source-github、source-stripe、source-mysql、source-salesforce）
• 目标：任何 Airbyte 目标连接器（例如，destination-snowflake、destination-bigquery、destination-postgres）或用于 Pandas 分析的 dataframe

4. 专业提示

• 使用 “dataframe” 作为目标：如果你想在 Python/Pandas 中分析数据。
• 明确指定源和目标名称：使用带有 source- 或 destination- 前缀的官方 Airbyte 连接器名称。
• 提出后续问题：如果你在特定配置或设置方面需要帮助。

该工具将自动使用你在 MCP 设置中配置的 OpenAI API 密钥，生成经过优化、文档完善的管道代码，并提供最佳实践和详细的设置说明！

📚 详细文档

可用工具

fast_pyairbyte

使用 PyAirbyte 和 fast-pyairbyte 创建一个完整的数据管道，用于在源和目标之间提取、转换和加载数据。

参数：

• source_name：官方 Airbyte 源连接器名称（例如，'source-postgres'、'source-github'）
• destination_name：官方 Airbyte 目标连接器名称（例如，'destination-postgres'、'destination-snowflake'）或输出到 Pandas DataFrames 的 'dataframe'

返回：

• 完整的 Python 管道代码
• 设置和安装说明
• 环境变量模板
• 最佳实践和使用指南

开发

本地开发

如果你想为服务器做出贡献或进行修改：

1. 克隆仓库：

git clone https://github.com/quintonwall/fast-pyairbyte.git
cd fast-pyairbyte

2. 安装依赖项：

npm install

3. 在本地测试：

npm start

项目结构

fast-pyairbyte/
├── package.json              # npm 包配置
├── bin/
│   └── fast-pyairbyte.js     # Node.js 启动脚本
├── python/
│   ├── main.py               # Python MCP 服务器
│   ├── telemetry.py          # 使用分析
│   └── requirements.txt      # Python 依赖项
├── README.md                 # 此文件
└── docs/                     # 文档

发布

要将新版本发布到 npm：

npm version patch  # 或 minor/major
npm config set strict-ssl false
npm publish

🔧 技术细节

Fast-PyAirbyte 利用 OpenAI 和连接器文档，帮助用户快速搭建和配置 Airbyte 支持的源和目标之间的数据管道。MCP 服务器自动生成代码，提供上下文感知的指导，并简化构建和部署数据管道的过程。

📄 许可证

本项目采用 MIT 许可证 - 有关详细信息，请参阅 LICENSE 文件。

贡献

欢迎贡献！请阅读我们的贡献指南并提交拉取请求，以帮助改进 PyAirbyte MCP 服务器。

安全与隐私

• API 密钥安全：OpenAI API 密钥通过 MCP 环境变量安全传递。
• 无数据存储：服务器不存储任何用户数据或凭据。
• 匿名遥测：收集基本的使用分析（可以通过 DO_NOT_TRACK=1 禁用）。
• 开源：完整的源代码可供检查。

故障排除

常见问题

1. “Python not found” 错误

   • 从 python.org 安装 Python 3.7+。
   • 确保 Python 已添加到系统 PATH 中。

2. “Dependencies failed to install” 错误

   • 检查你的互联网连接。
   • 尝试先运行 pip install --upgrade pip。

3. “OpenAI API key not found” 错误

   • 验证你的 API 密钥是否已正确设置在 MCP 配置中。
   • 确保你使用的是有效的 OpenAI API 密钥。

4. MCP 服务器显示 0 个工具

   • 检查 MCP 配置文件语法。
   • 配置更改后重启你的 MCP 客户端。
   • 检查服务器日志中的错误消息。

获取帮助

• 问题反馈：在 GitHub Issues 上报告错误。
• 讨论交流：加入 GitHub Discussions 进行讨论。
• Slack 提问：在 Airbyte Slack 中提问。