Locallama MCP
L

Locallama MCP

LocaLLama MCP Server是一个智能路由服务,通过动态决策将编码任务分配给本地LLM或付费API,以优化成本。包含成本监控、决策引擎、API集成、错误处理和性能基准测试等核心模块,支持与多种工具集成。
2.5分
8.0K

什么是LocaLLama MCP 服务器?

LocaLLama MCP 服务器是一个旨在减少编码任务中API使用成本的工具。它通过动态分析任务复杂度和预算限制,决定是否将任务交给本地LLM模型处理或直接调用付费API。

如何使用LocaLLama MCP 服务器?

只需简单配置环境变量并启动服务器即可开始使用。它会自动监控成本、性能并分配任务。

适用场景

适合需要频繁进行代码生成或优化的开发者,特别是在预算有限的情况下。

主要功能

成本监控模块
实时跟踪API费用和本地模型使用情况,确保成本最优。
智能决策引擎
根据任务规模、质量需求及成本阈值自动选择本地或云端模型。
本地LLM集成
支持多种主流本地LLM框架如LM Studio和Ollama。
OpenRouter集成
访问多种付费和免费的LLM服务,无需额外配置。
全面基准测试
评估不同模型的响应时间、质量和成本,生成详细报告。
优势
显著降低API使用成本
提高开发效率
支持多种模型集成
自动化决策减少人工干预
局限性
初次配置可能较复杂
对高精度任务可能影响模型表现
需要一定的本地硬件支持

如何使用

克隆项目代码
通过Git克隆LocaLLama MCP服务器代码到本地。
安装依赖
运行npm命令安装所需的依赖项。
配置环境变量
复制.env.example文件并填写你的API密钥和本地模型端点。
启动服务器
执行npm start启动LocaLLama MCP服务器。

使用案例

示例1:启动服务器
通过简单的npm命令启动服务器,即可开始处理编码任务。
示例2:获取免费模型列表
使用命令获取当前可用的免费LLM模型。

常见问题

如何快速开始使用LocaLLama MCP服务器?
如果遇到免费模型无法加载的问题怎么办?
如何知道我的API成本是否超支?

相关资源

GitHub仓库
项目源代码和文档
官方文档
详细的技术文档和教程
基准测试报告
模型性能对比报告

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "locallama": {
      "command": "node",
      "args": ["/path/to/locallama-mcp"],
      "env": {
        "LM_STUDIO_ENDPOINT": "http://localhost:1234/v1",
        "OLLAMA_ENDPOINT": "http://localhost:11434/api",
        "DEFAULT_LOCAL_MODEL": "qwen2.5-coder-3b-instruct",
        "TOKEN_THRESHOLD": "1500",
        "COST_THRESHOLD": "0.02",
        "QUALITY_THRESHOLD": "0.07",
        "OPENROUTER_API_KEY": "your_openrouter_api_key_here"
      },
      "disabled": false
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

C
Contracts Wizard
OpenZeppelin Contracts Wizard是一个交互式智能合约构建工具,允许用户通过选择合约类型、参数和功能来生成基于OpenZeppelin组件的合约代码。支持多种编程语言,并提供API和嵌入功能。
TypeScript
7.3K
4分
Z
Zen MCP Server
Zen MCP是一个多模型AI协作开发服务器,为Claude和Gemini CLI等AI编码助手提供增强的工作流工具和跨模型上下文管理。它支持多种AI模型的无缝协作,实现代码审查、调试、重构等开发任务,并能保持对话上下文在不同工作流间的延续。
Python
14.2K
5分
O
Opendia
OpenDia是一款开源浏览器扩展工具,允许AI模型直接控制用户浏览器,利用现有登录状态、书签等数据进行自动化操作,支持多种浏览器和AI模型,注重隐私保护。
JavaScript
10.8K
5分
C
Container Use
Container Use是一个开源工具,为编码代理提供容器化隔离环境,支持多代理并行开发且互不干扰。
Go
9.0K
5分
N
Notte Browser
已认证
Notte是一个开源的全栈网络AI代理框架,提供浏览器会话、自动化LLM驱动的代理、网页观察与操作、凭证管理等功能,旨在将互联网转化为代理友好的环境,并通过自然语言描述网站结构,降低LLM的认知负担。
19.6K
4.5分
S
Search1api
Search1API MCP Server是一个基于Model Context Protocol (MCP)的服务器,提供搜索和爬取功能,支持多种搜索服务和工具。
TypeScript
17.7K
4分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
39.6K
4.3分
B
Bing Search MCP
一个用于集成微软Bing搜索API的MCP服务器,支持网页、新闻和图片搜索功能,为AI助手提供网络搜索能力。
Python
19.4K
4分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
39.6K
4.3分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
44.8K
4.5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
64.0K
5分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
32.2K
5分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
31.5K
4.5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
21.4K
4.8分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
34.9K
4.8分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
49.4K
4.7分
AIbase
智启未来,您的人工智能解决方案智库