Alephscript MCP Model SDK

关键字名称 / 关键名称：./SLMo42.md

（项目背景说明：https://github.com/escrivivir-co/oasis-features-lab-no-official）

Oasis AI服务 - GPU优化版

为Oasis提供的AI服务，包含GPU优化的本地模型及函数调用支持。

🚀 特性

• GPU加速针对支持CUDA的NVIDIA GPU进行了优化
• 本地模型使用node-llama-cpp在本地运行模型
• 函数调用内置函数调用功能
• 性能监控GPU诊断和基准测试工具
• GPU优化专为高端GPU进行优化

📋 要求

• 支持ES模块的Node.js 18+
• 配备驱动程序450.80.02+的NVIDIA GPU（推荐RTX系列）
• 8GB+ 显存（建议GPU使用24GB）
• Windows 10/11 或 Linux

🛠️ 安装

npm install
npm run setup

🎯 可用脚本

核心服务

• npm start - 启动AI服务
• npm run build - 构建服务
• npm run setup - 运行安装程序

GPU诊断与测试

• npm run gpu:check - 检查GPU状态并获取建议
• npm run diagnostic - 与 gpu:check 相同（别名）
• npm run verify-gpu - 完整的GPU验证（检查+简单测试）

GPU性能测试

• npm run gpu:test-simple - 简单的GPU性能测试
• npm run gpu:test-real - 实际模型测试，同时监控VRAM（视频随机存取存储器）
• npm run test:local-model - 测试本地模型加载（别名）

函数调用测试

• npm run gpu:test-functions - 使用自定义包装器测试函数
• npm run gpu:test-simple-functions - 测试无包装器的功能（推荐）
• npm run test:functions - 简单的功能测试（别名）

Legacy Llama 测试

• npm run llama:test-handler - 测试llama处理器
• npm run llama:test-functions - 测试llama函数
• npm run llama:test-no-functions - 无函数测试

综合测试

• npm run test:all-gpu - 运行所有GPU测试（检查+简单+函数）
• npm run benchmark - 性能基准（简单功能+函数）

🎮 快速入门

1. 检查您的GPU设置：

   npm run gpu:check

1. 进行一个简单的测试：

   npm run gpu:test-simple

1. 使用函数进行测试：

   npm run test:functions

1. 进行全面测试：

   npm run test:all-gpu

🔧 GPU 配置

这些设置针对GPU进行了优化，以提供以下服务：

const config = {
  gpu: true,              // GPU enabled by default
  gpuLayers: undefined,   // Auto - load maximum layers on GPU
  vramPadding: 256,       // 256MB padding for 24GB VRAM
};

对于不同的GPU，请进行调整 vramPadding：

• 4GB 显存（用于VR）64MB 填充
• 8GB 显存128MB 填充
• 16GB+ 显存256MB+ 填充

📊 性能指标

预期的GPU性能表现：

• 模型加载约5-6GB的VRAM使用量
• 推理速度每次响应200-500毫秒
• 每秒代币数15-30（取决于型号大小）

🐛 故障排除

未检测到GPU

npm run gpu:check

检查输出以获取建议。

模型加载问题

确保模型文件存在于：

src/AI/models/oasis-42-1-chat.Q4_K_M.gguf

函数调用问题

使用简单函数进行测试：

npm run test:functions

性能问题

运行基准测试：

npm run benchmark

📁 文件结构

src/AI/
├── package.json
├── ai_service.mjs
├── models/
│   └── oasis-42-1-chat.Q4_K_M.gguf
└── plugins/
    ├── node_llama_cpp_handler.mjs     # Main model handler
    ├── llama_functions_handler.mjs   # Function calling handler
    ├── gpu_diagnostics.mjs         # GPU diagnostic tools
    ├── test_gpu_simple.mjs         # Simple GPU test
    ├── test_simple_functions.mjs   # Function test
    └── test_*.mjs                  # Various test files

🏆 GPU优化结果

✅ GPU已启用并正常工作 ✅ 使用了5+ GB显存（VRAM） （模型已完全加载到GPU上） ✅ 亚秒级响应 （表现出色） ✅ GPU得到充分利用 （最大加速度）

您的 node-llama-cpp 客户端现已优化为支持 GPU！ 🚀（火箭发射或快速前进的符号，常用来表示快速、进步或突破）