🧠 Titan 内存服务器实现

与 @jasonkneen 和 @ExpressionsBot 的合作

关注我们 Twitter:

• jasonkneen
• megaprompt

受 Google Research 论文 "Generative AI for Programming: A Common Task Framework" 的启发，此服务器实现了一个神经记忆系统，能够学习和预测序列，并通过记忆向量维护状态，遵循论文中提出的原理以提高代码生成和理解。

📚 研究背景

本实现借鉴了论文中提出的概念：

• 带有增强的序列学习和记忆功能
• 使用 Surprise 机制进行新颖性检测
• 采用流形优化实现稳定的训练过程
• 通过记忆向量维护状态

这些特性与论文的目标一致，即通过更好的记忆和状态管理来改进代码理解和生成。

🚀 功能

• 配置维度的神经记忆模型
• 序列学习和预测功能
• Surprise 计算以检测新颖性
• 模型持久化（保存/加载）
• 状态内存管理
• 完整 MCP 工具集成

📦 安装

# 安装依赖项
npm install

# 构建项目
npm run build

# 运行测试
npm test

🛠️ 可用的 MCP 工具

1. 🎯 init_model

使用自定义配置初始化 Titan 内存模型。

{
  inputDim?: number;  // 输入维度（默认：64）
  outputDim?: number; // 输出/记忆维度（默认：64）
}

2. 📚 train_step

使用当前和下一个状态向量执行单步训练。

{
  x_t: number[];    // 当前状态向量
  x_next: number[]; // 下一个状态向量
}

3. 💡 forward_pass

使用输入向量通过模型运行一次前向传递。

{
  x: number[]; // 输入向量
}

4. 💾 save_model

将模型保存到指定路径。

{
  path: string; // 要保存模型的路径
}

5. 📂 load_model

从指定路径加载模型。

{
  path: string; // 加载模型的路径
}

6. ℹ️ get_status

获取当前模型状态和配置信息。

{} // 没有参数要求

7. 🔄 train_sequence

使用向量序列训练模型。

{
  sequence: number[][]; // 要训练的向量数组
}

🌟 示例用法

// 初始化模型
await callTool('init_model', { inputDim: 64, outputDim: 64 });

// 使用序列进行训练
const sequence = [
  [1, 0, 0, /* ... */],
  [0, 1, 0, /* ... */],
  [0, 0, 1, /* ... */]
];
await callTool('train_sequence', { sequence });

// 运行前向传递
const result = await callTool('forward_pass', {
  x: [1, 0, 0, /* ... */]
});

🔧 技术细节

• 使用 TensorFlow.js 实现高效的张量操作
• 采用流形优化实现稳定的训练过程
• 实现 Surprise 机制用于新颖性检测
• 内存管理使用适当的张量清理
• 带有类型安全的 MCP 工具定义
• 维持内存状态之间的操作

🧪 测试

项目包括全面测试，涵盖：

• 模型初始化和配置
• 训练和前向传递操作
• 内存状态管理
• 模型持久化
• 边界情况和错误处理
• 张量清理和内存管理

运行测试时使用：

npm test

🔍 实现说明

• 所有张量操作都包装在 tf.tidy() 中以实现适当的内存管理
• 实施适当的错误处理并带有详细的错误消息
• 使用类型安全的 MCP 工具定义
• 维持训练过程中的内存状态
• 通过epsilon容差处理浮点数精度问题

📝 许可证

MIT License - 欢迎自由使用和修改！