SKALA_MCP_测试
在进行团队项目之前,先练习一下MCP(A.X 4.0 Light型号很重,目前笔记本电脑可能需要修改不回头)
A.X 4.0 Light MCP应用程序(仅限文本)
使用SK电信A.X 4.0 Light模型的模型上下文协议(MCP)应用程序。
📋 项目结构
mcp-app/
├── config.py # 설정 파일
├── llm_handler.py # A.X 4.0 VL Light 모델 핸들러
├── app.py # MCP 클라이언트 앱
├── main.py # 메인 진입점
├── requirements.txt # 의존성 패키지
├── .env.example # 환경 변수 예제
├── .gitignore # Git 무시 파일
├── config/ # 설정 파일들
├── models/ # 모델 캐시 디렉토리
├── utils/ # 유틸리티 함수들
└── tests/ # 테스트 코드🚀 开始
1.设置虚拟环境
# 가상환경 생성
python -m venv venv
# 가상환경 활성화
.\venv\Scripts\activate2.安装软件包
pip install -r requirements.txt参考:自动安装仅CPU的PyTorch。
3.设置环境变量
# .env.example을 .env로 복사
copy .env.example .env
# .env 파일을 편집하여 필요한 값 설정4.运行
# 메인 앱 실행
python main.py
# 또는 직접 app.py 실행
python app.py5.LLM处理器测试
# LLM 모델만 테스트
python llm_handler.py💡 使用方法
文本问题
👤 You: 인공지능에 대해 설명해줘
🤖 Assistant: [응답]结束
👤 You: quit🔧 设置
config.py可以在中修改以下内容:
MODEL_NAME:要使用的模型名称GENERATION_CONFIG:文本生成参数USE_GPU:是否使用GPUUSE_DIRECTOR:是否使用Director代理
📊 系统要求
最低规格
- 随机存取存储器:16GB
- 存储空间:20GB(带型号缓存)
- python:3.8或更高版本
- 中央处理器:推荐多核
推荐规格(当前环境-仅限CPU)
- 随机存取存储器:32GB✅
- 中央处理器:最新的多核处理器
- 存储空间:50 GB以上
- python:3.10以上
参考:
- 此项目设置为仅CPU(集成图形环境)
- 即使有GPU,也会以CPU模式运行
- 响应创建时间:预计约30秒至1分钟
🎯 下一步
目前只实施了MCP客户端(应用程序)。下一步:
- 实现(完成)MCP应用程序
- ⏳MCP服务器实施(预定)
- ⏳Director集成(可选)
📝 关于模型
A.X 4.0 Light(仅限文本)
- 开发商:SK电信
- 参数:7B(轻型)
- 特点:优化韩语文本理解
- 许可证:Apache 2.0
- 拥抱脸:https://huggingface.co/skt/A.X-4.0-Light
参考:如果需要图像处理,可升级到A.X 4.0 VL Light型号。
🐛 故障排除
生成响应太慢
# config.py에서 토큰 수 줄이기
GENERATION_CONFIG = {
"max_new_tokens": 128, # 256에서 128로 감소
...
}内存不足
- 退出其他程序
low_cpu_mem_usage=True验证设置(已应用)
模型下载失败
- 验证互联网连接
- 设置Hugging Face Token(如果是private型号)
cache_dir验证路径
📄 许可证
此项目符合MIT许可证。
A.X 4.0 VL Light型号符合Apache 2.0许可证。
