Imagerecog

🚀 BenBox

BenBox 是一个基于 SSE 的 MCP 工具的代理 AI 系统，并且包含一个移动 Angular 应用程序。该系统借助 MCP 协议，实现了服务器与客户端的灵活交互，为“云原生”用例提供了更合适的解决方案。

🚀 快速开始

选择 MCP 的原因

MCP 服务器可以作为一个独立运行的进程，客户端能够在任意时刻连接、使用并断开与它的连接。也就是说，基于 SSE 的服务器和客户端可以是解耦的进程（甚至可能位于不同节点）。这与基于 STDIO 的模式不同，在 STDIO 模式下，客户端本身会将服务器作为子进程启动。这种方式更契合“云原生”应用场景。

📦 安装指南

安装所需的包并下载 MCP 服务器和客户端：

# 在 Linux 上安装 Node.js
sudo apt install nodejs npm

# 在 Mac 上安装 Node.js
brew install nodejs npm

# 安装 mcp
conda install -c conda-forge mcp 

# 克隆仓库
git clone https://github.com/DrBenjamin/imagerecog

💻 使用示例

基础用法

测试图像字节

可在 MCP Inspector 或 VS Code Copilot Chat 中使用以下图像字节进行测试：

"iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAQAAAC1HAwCAAAAC0lEQVR4nGNgYAAAAAMAAWgmWQ0AAAAASUVORK5CYII="

测试图像 URL

使用以下图像 URL 进行测试：

https://www.seriousbenentertainment.org/R/Image.png
http://212.227.102.172:9000/templategenerator/subfolder/City.Golf.jpg

高级用法

运行 MCP 服务器和 Streamlit 客户端应用程序：

# 使用 environment.yml 文件创建 conda 环境
conda env create -f environment.yml

# 激活 conda 环境
conda activate imagerecog
python -m pip install "mcp[cli]"

# 1. 运行 MCP 开发服务器
mcp dev src/server.py

# 2. 运行 MCP 服务器
python src/server.py

# 3. 运行 Streamlit 应用程序
python -m streamlit run mobile/app.py

# 或运行脚本
sudo chmod 755 run.sh
./run.sh
lsof -i :6274
lsof -i :8080
lsof -i :8501

📚 详细文档

配置说明

更改配置并在 .streamlit/st.secrets.toml 文件中添加 OpenAI API 密钥：

# LLM 提供程序
LLM_LOCAL = "False"  # `False` 表示使用本地 Ollama 模型，`True` 表示使用 OpenAI API

# MCP API
[MCP]
MCP_URL = "http://127.0.0.1:8080"
MCP_SYSTEM_PROMPT = "<系统提示用于图像识别>"
MCP_USER_PROMPT = "<用户提示用于图像识别>"

# Ollama API
[OLLAMA]
OLLAMA_URL = "http://127.0.0.1:11434"
OLLAMA_MODEL = "<ollama 模型>" # 例如 llava 或 "llama3.2-vision"

# OpenAI API
[OPENAI]
OPENAI_API_KEY = "sk-..."
OPENAI_MODEL = "<模型>" # 例如 "o4-mini" 或 "gpt-4.1" 或 "gpt-4o" 或 "gpt-4-turbo"

Ollama 模型安装与运行

要安装并运行 Ollama 模型，请使用以下命令：

# 运行 Ollama 服务器
conda install -n ollama -y --strict-channel-priority python=3.8.10
git clone https://github.com/ollamaai/ollama.git
cd ollama/
pip install -r requirements.txt
python server.py

# 安装模型
ollama pull mistral-7b-instruct

移动端应用构建

要为移动设备构建应用程序，请使用以下命令（请确保 Capacitor 版本匹配）：

# 在项目根目录下初始化 Capacitor 项目
cd mobile
npm install @capacitor/core@5.7.8 @capacitor/cli@5.7.8
npm install @capacitor/ios@5.7.8
npm install @capacitor/browser@^5 --save
npx cap init BenBox org.benbox.benbox --webDir=../browser
npx cap add ios
# 或者
npx cap sync ios
cd ios/App
pod install

# 构建应用程序（从项目根目录）
npm install --prefix mobile
npm run build --prefix mobile
npm run cap:copy --prefix mobile
npm run cap:open:ios --prefix mobile