计算机使用 AI SDK

• 我们构建了一个控制计算机的MCP服务器

• 你听说过OpenAI的操作符，你听说过Claude的计算机使用功能。现在开源的替代品来了：Computer Use SDK来自screenpipe。

• 它在macOS上本机运行——无需虚拟机 hassle，也无限制。你可以与任何应用程序或网站自由结合使用。

• 没有像素级别的 hassle——它依赖于底层桌面渲染元素，比基于像素的视觉模型更快且可靠得多。

• 现在你可以从我们的简单 Hello World 模板开始构建自己的代理，使用我们的MCP服务器和客户端。

• 我们的MCP服务器提供了一些开箱即用的工具：

  • 启动应用程序
  • 读取内容
  • 点击
  • 输入文本
  • 按下键

• 这些将是计算基础原语，允许AI控制你的计算机并为你完成任务。你会构建什么？立即查看我们的 https://screenpi.pe

示例演示

代理发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新WhatsApp消息

打开Arc浏览器

快速入门

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# 安装Rust（如果尚未安装）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安装Node.js和npm（如果尚未安装）
# 访问 https://nodejs.org/ 或使用nvm

# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
# 保持运行状态

选项1：命令行界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-cli-interface
npm install  # 首先安装依赖项

# 设置Anthropic API密钥作为环境变量
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 将xxxx替换为你的实际Anthropic API密钥
# 对于Windows，请使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 想要永久设置，请将其添加到shell配置文件（.bashrc, .zshrc等）
npx tsx main.ts

选项2：Web应用程序界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-nextjs
npm install  # 首先安装依赖项

# 通过命令行设置API密钥
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # 将XXXXXXXX替换为你的实际密钥
# 或追加以保留其他环境变量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 打开提供的localhost网页

我能用它做什么？

• 构建自定义工作流程代理以执行各种操作
• 为用户构建易于使用的计算机自动化界面
• 保存工作流程并设置cron运行
• 结合其他MCP服务器完成酷炫任务，例如：根据你全天与之对话的人的历史记录填充Google表格

在GitHub上提交问题或功能请求

如果你有任何问题或功能请求，请在我们的GitHub仓库中提交。