Llamator MCP Server
L

Llamator MCP Server

LLAMATOR MCP服务器是一个用于自动化LLM红队测试的生产级服务,提供HTTP API和MCP接口,支持异步测试执行、工件存储和作业状态管理。
2.5分
7.5K

什么是LLAMATOR MCP Server?

LLAMATOR MCP Server是一个专门用于自动化大型语言模型(LLM)红队测试的服务平台。它允许安全研究人员和开发人员自动执行对LLM的安全性评估,检测模型可能存在的漏洞和风险。通过标准化的测试流程,帮助识别模型在对抗性攻击下的表现。

如何使用LLAMATOR MCP Server?

您可以通过两种主要方式使用LLAMATOR:1) 通过HTTP REST API提交测试任务并获取结果;2) 通过MCP协议与AI代理工具集成,将LLAMATOR作为工具调用。系统采用异步处理架构,测试任务在后台执行,完成后可通过API查询结果和下载测试报告。

适用场景

适用于AI安全团队、模型开发者和企业安全部门,用于: • 新模型上线前的安全性评估 • 定期安全审计和合规检查 • 对抗性攻击测试和漏洞发现 • 安全基准测试和性能监控 • 研究和教育目的的红队演练

主要功能

异步测试执行
支持后台异步执行红队测试任务,不会阻塞主进程,适合长时间运行的复杂测试场景。
双接口支持
同时提供HTTP REST API和MCP协议接口,满足不同集成需求,方便与现有工具链和AI代理集成。
测试结果管理
自动保存测试结果和报告到对象存储,提供安全的下载链接,支持测试数据的长期保存和分析。
敏感信息保护
自动识别并脱敏API密钥等敏感信息,确保测试过程中的安全数据不会泄露。
标准化测试套件
内置OWASP LLM Top 10等标准化测试方案,提供一致的测试基准和评估标准。
监控和指标
提供Prometheus指标端点,支持系统性能监控和测试任务的状态跟踪。
优势
开箱即用的Docker部署,简化安装和配置过程
支持多种集成方式,灵活适应不同技术栈
异步架构确保高并发下的稳定性和可靠性
完整的测试生命周期管理,从任务提交到结果获取
企业级安全特性,包括API密钥保护和敏感数据脱敏
详细的测试报告和可追溯的测试记录
局限性
需要Redis和MinIO等外部依赖,部署复杂度相对较高
测试执行时间可能较长,不适合实时性要求极高的场景
需要一定的技术知识来配置和调优测试参数
目前主要支持OpenAI兼容的API,对其他模型架构支持有限

如何使用

环境准备
确保已安装Docker和Docker Compose,克隆项目代码库到本地。
配置环境变量
复制示例配置文件并根据实际情况修改环境变量,特别是模型API端点、存储配置等。
启动服务
使用Docker Compose启动所有服务组件,包括API服务器、工作进程、Redis和MinIO。
验证服务状态
通过健康检查接口确认服务正常运行,访问Swagger UI查看API文档。
提交测试任务
通过HTTP API或MCP工具提交LLM红队测试任务,获取任务ID用于后续查询。
获取测试结果
使用任务ID查询测试状态和结果,下载测试报告和详细日志。

使用案例

基础模型安全性评估
对新开发的LLM模型进行基础安全性测试,使用OWASP LLM Top 10测试套件评估模型对抗常见攻击的能力。
生产环境模型监控
定期对生产环境的LLM服务进行红队测试,监控模型安全性随时间的变化,及时发现新的安全风险。
多模型对比测试
同时测试多个LLM模型的安全性能,为模型选型提供安全维度的数据支持。

常见问题

LLAMATOR MCP Server支持哪些类型的LLM模型?
测试任务通常需要多长时间完成?
如何保护测试过程中使用的API密钥安全?
测试结果数据会保存多久?
是否可以自定义测试用例?
MCP接口和HTTP API有什么区别?

相关资源

官方文档
详细的技术文档和配置参考
GitHub仓库
源代码和问题追踪
Telegram讨论组
社区讨论和技术支持
Jupyter教程
交互式学习教程和示例
OWASP LLM Top 10
LLM安全风险标准参考
Creative Commons许可证
项目使用的开源许可证

安装

复制以下命令到你的Client进行配置
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

V
Vestige
Vestige是一个基于认知科学的AI记忆引擎,通过实现预测误差门控、FSRS-6间隔重复、记忆梦境等29个神经科学模块,为AI提供长期记忆能力。包含3D可视化仪表板和21个MCP工具,完全本地运行,无需云端。
Rust
4.5K
4.5分
M
Moltbrain
MoltBrain是一个为OpenClaw、MoltBook和Claude Code设计的长期记忆层插件,能够自动学习和回忆项目上下文,提供智能搜索、观察记录、分析统计和持久化存储功能。
TypeScript
4.1K
4.5分
B
Bm.md
一个功能丰富的Markdown排版工具,支持多种样式主题和平台适配,提供实时编辑预览、图片导出和API集成能力
TypeScript
4.4K
5分
S
Security Detections MCP
Security Detections MCP 是一个基于Model Context Protocol的服务器,允许LLM查询统一的安全检测规则数据库,涵盖Sigma、Splunk ESCU、Elastic和KQL格式。最新3.0版本升级为自主检测工程平台,可自动从威胁情报中提取TTPs、分析覆盖差距、生成SIEM原生格式检测规则、运行测试并验证。项目包含71+工具、11个预构建工作流提示和知识图谱系统,支持多SIEM平台。
TypeScript
6.0K
4分
P
Paperbanana
PaperBanana是一个自动化生成学术图表和统计图的智能框架,支持从文本描述生成高质量的论文插图,采用多智能体管道和迭代优化,提供CLI、Python API和MCP服务器等多种使用方式。
Python
6.6K
5分
B
Better Icons
一个提供超过20万图标搜索和检索的MCP服务器和CLI工具,支持150多个图标库,帮助AI助手和开发者快速获取和使用图标。
TypeScript
6.7K
4.5分
A
Assistant Ui
assistant-ui是一个开源TypeScript/React库,用于快速构建生产级AI聊天界面,提供可组合的UI组件、流式响应、无障碍访问等功能,支持多种AI后端和模型。
TypeScript
7.3K
5分
A
Apify MCP Server
Apify MCP服务器是一个基于模型上下文协议(MCP)的工具,允许AI助手通过数千个现成的爬虫、抓取器和自动化工具(Apify Actor)从社交媒体、搜索引擎、电商等网站提取数据。它支持OAuth和Skyfire代理支付,可通过HTTPS端点或本地stdio方式集成到Claude、VS Code等MCP客户端中。
TypeScript
7.5K
5分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
74.4K
4.5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
85.7K
4.3分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
149.8K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
33.0K
4.8分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
50.1K
4.5分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
57.3K
5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
106.0K
4.7分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
63.6K
4.8分
AIBase
智启未来,您的人工智能解决方案智库