🚀 RAG架构概述

本项目基于RAG（Retrieval-Augmented Generation）架构，借助API Gateway和Lambda函数处理请求，结合OpenAI、OpenSearch Serverless和S3存储桶完成文本检索与生成任务。文档将详细介绍项目的部署流程、功能模块以及常见问题的解决方案。

🚀 快速开始

本项目基于RAG架构，利用API Gateway和Lambda函数处理请求，结合OpenAI、OpenSearch Serverless和S3存储桶完成文本检索与生成。下面为你介绍部署和使用的基本步骤。

📦 安装指南

环境准备

• 确保已安装AWS CLI工具并配置好相应的IAM权限。
• 安装Python 3.8或更高版本，并确保已安装boto3, openai, 和 pytest等依赖库。

代码结构

project/
├── src/
│   └── lambda_function.py          # Lambda函数实现逻辑
├── stack/
│   └── rag_mpc_stack.py           # CDK堆栈定义文件
└── example.py                     # 示例脚本，演示API调用方式

依赖管理

• 添加Python包至pyproject.toml并运行make deps进行安装。
• 确保所有依赖版本与项目兼容。

部署步骤

# 安装依赖
pip install -r requirements.txt

# 构建项目
make build

# 部署到AWS
make deploy AWS_PROFILE=your-profile AWS_REGION=us-east-1

✨ 主要特性

API Gateway

• 提供HTTP API接口，监听/mcp路径。
• 支持GET请求用于服务发现，POST请求处理任务执行。

Lambda Function

• 解析MCP协议的请求。
• 从Secrets Manager获取OpenAI密钥。
• 执行向量检索（基于OpenSearch Serverless）和内容生成（调用OpenAI API）。
• 管理S3存储桶中的文档。

数据存储

• 使用OpenSearch Serverless进行高效向量检索。
• 通过S3存储原始文本文件，支持版本控制和生命周期管理。

安全机制

• IAM策略严格控制Lambda函数的权限。
• Secrets Manager确保敏感信息的安全传输与存储。
• API Gateway集成身份验证功能，确保只有授权用户可以访问服务。

💻 使用示例

环境变量配置

export API_KEY=your-api-key
export API_URL=$(aws cloudformation describe-stacks --stack-name rag-stack | jq -r '.Stacks[0].Outputs[].OutputValue')

服务发现请求

import requests

response = requests.get(f"{API_URL}/mcp/health")
print(response.json())

文本生成任务

payload = {
    "prompt": "请简述RAG技术的核心优势。",
    "temperature": 0.7,
    "max_tokens": 500
}

response = requests.post(f"{API_URL}/mcp/generate", json=payload, headers={'Authorization': f'Bearer {API_KEY}'})
print(response.json())

📚 详细文档

开发注意事项

• 测试环境：使用make test运行单元测试，并通过mock模块模拟外部依赖（如AWS、OpenAI等）。
• 日志监控：部署后可通过make logs实时查看Lambda函数的日志输出，便于调试和性能优化。
• 代码更新：修改src/目录下的业务逻辑代码后，需重新构建并部署新的Lambda版本。

常见问题解决

部署失败

• 检查IAM权限是否正确。
• 确保所有资源栈状态为CREATE_COMPLETE。
• 查看CloudFormation控制台的事件日志，定位具体错误。

API响应慢

• 优化OpenSearch索引策略。
• 增加Lambda函数的内存配额或超时时间。
• 使用AWS提供的性能监控工具（如X-Ray）进行分析。

密钥泄露

• 定期检查Secrets Manager中的凭证状态。
• 配置自动轮换策略，减少人为操作风险。
• 启用SSO（单点登录）功能，加强身份验证。

扩展性问题

• 根据负载情况配置Auto Scaling组。
• 使用API Gateway的速率限制功能控制并发请求。
• 预分配足够资源，避免高峰期性能瓶颈。

监控与维护

• 日志分析：通过ELK Stack或S3存储的日志文件进行深入分析。
• 性能优化：定期评估系统负载，调整架构参数。
• 版本控制：记录每次部署的变更日志，便于回滚和追溯。

以上文档完整描述了RAG架构项目的部署与管理流程。如需进一步帮助，请参考官方文档或联系技术支持团队。