Market Insights Server

🚀 市场洞察服务器

市场洞察服务器是一个实时大宗商品追踪系统，它结合了 Apache Spark、OpenAI GPT 和 MCP 协议，旨在为用户生成可操作的市场见解，助力用户把握大宗商品市场动态。

✨ 主要特性

• 实时数据收集：从 Reddit、新闻 API 和雅虎财经获取实时数据，为市场分析提供最新信息。
• 可扩展处理：借助 Apache Spark（PySpark 3.5.0）实现数据的可扩展处理，应对大规模数据不在话下。
• 自然语言见解：由 GPT - 4 提供支持，生成自然语言形式的市场见解，便于理解。
• 灵活配置：可针对任何大宗商品市场进行配置，涵盖能源、金属、农业等多个领域。
• 动态功能：具备动态配置生成和子论坛发现功能，适应不同市场需求。
• 稳定部署：带有错误处理、重试和异步收集机制，为部署提供稳定保障。

📦 安装指南

依赖项

• Python 3.x
• PySpark 3.5.0
• Spark NLP 4.4.0
• aiohttp
• yfinance
• openai
• beautifulsoup4

安装命令

pip install -r requirements.txt

💻 使用示例

基础用法

python spark_market_insights_server.py --commodity "nickel"

输出内容

• 来自 Reddit 和新闻来源的清理文本数据
• TF - IDF 特征
• GPT - 4 支持的见解报告
• 见解 JSON 导出

📚 详细文档

架构说明

1. 数据采集层
   • 异步抓取 Reddit 和新闻文章，确保数据的及时性。
   • 雅虎财经提供实时价格 feed，为市场分析提供价格依据。
2. 处理层（Apache Spark）
   • 数据处理流程：分词 → 停用词移除 → TF - IDF 向量化。
   • 支持 Spark NLP 管道，提升数据处理的专业性。
3. AI 洞察层
   • 使用 OpenAI GPT - 4 总结并综合市场叙述，生成有价值的市场见解。
4. 配置层
   • 根据大宗商品自动识别相关 subreddit 和关键字，实现智能化配置。

示例输出

“镍价因印度尼西亚的新出口禁令而大幅上涨。Reddit 情绪看涨，帖子预测供应限制。市场数据显示 EV 相关股票如 NIO 和 LI 出现同步上漲。”

故障排除

即将推出的功能

• 分析 YouTube 视频中的大宗商品内容
• 公共仪表板在 Smithery.ai 上线

🤝 贡献

有新的数据源或见解模型吗？欢迎提交 PR！

📄 许可证

MIT License