MCP 服务器：Elasticsearch 语义搜索工具

目录

• 概述
• 运行 MCP 服务器
• 与 Claude Desktop 集成
• 爬取 Search Labs 博客文章
  • 1. 验证爬虫配置
  • 2. 配置 Elasticsearch
  • 3. 更新语义搜索索引映射
  • 4. 开始爬取
  • 5. 验证已索引文档

概述

此存储库提供了一个 Python 实现的 MCP 服务器，用于通过 Search Labs 博客文章 在 Elasticsearch 上进行 语义搜索。

它假设您已经爬取了博客文章并将它们存储在使用 Elastic Open Crawler 创建的 search-labs-posts 索引中。

运行 MCP 服务器

将 ES_URL 和 ES_AP_KEY 添加到 .env 文件中，（查看 这里 以生成具有最小权限的 API 键）

在 MCP 检查器 中启动服务器：

make dev

启动后，访问 MCP 检查器：http://localhost:5173

与 Claude Desktop 集成

要将 MCP 服务器添加到 Claude Desktop 中：

make install-claude-config

这会更新您家目录中的 claude_desktop_config.json。在下次重启时，Claude 应用程序会检测到该服务器并加载声明的工具。

爬取 Search Labs 博客文章

1. 验证爬虫配置

要检查 Elastic Open Crawler 是否正常工作，请运行：

docker run --rm \
  --entrypoint /bin/bash \
  -v "$(pwd)/crawler-config:/app/config" \
  --network host \
  docker.elastic.co/integrations/crawler:latest \
  -c "bin/crawler crawl config/test-crawler.yml"

这应该输出从单个页面爬取的内容。

2. 配置 Elasticsearch

设置 Elasticsearch URL 和 API 键。

生成具有 最小爬虫权限 的 API 键：

POST /_security/api_key
{
  "name": "crawler-search-labs",
  "role_descriptors": {
    "crawler-search-labs-role": {
      "cluster": ["monitor"],
      "indices": [
        {
          "names": ["*"],
          "privileges": ["read", "write"]
        }
      ]
    }
  },
  "managed": true
}

运行命令以获取 API 键：

curl -X GET http://localhost:9200/_security/api_key \
  -H 'Content-Type: application/json' \
  -d '{"name":"crawler-search-labs"}'

将返回的 api_key 和 id 添加到您的 .env 文件中：

ES_URL=http://localhost:9200
ES_AP_KEY=your_api_key_here
ES_AP_ID=your_api_id_here

3. 更新语义搜索索引映射

要启用 动态字段数据 和 自动映射，请更新 Elasticsearch 索引映射：

curl -X PUT http://localhost:9200/search-labs/_mapping \
  -H 'Content-Type: application/json' \
  -d '{"dynamic": true}'

4. 开始爬取

使用以下命令开始爬取 Search Labs 博客文章：

python3 crawler.py --config config/crawler_config.yml

crawler_config.yml 示例内容如下：

start_url: "https://search-labs.com/blog"
output_file: "blog_posts.json"
concurrency: 5
max_depth: 2

5. 验证已索引文档

要验证博客文章是否正确索引，请运行以下命令：

curl -X GET http://localhost:9200/search-labs/_search \
  -H 'Content-Type: application/json' \
  -d '{"query":{"match_all":{}}}'

这将返回所有已索引的博客文章。

完整示例

创建 .env 文件

ES_URL=http://localhost:9200