DevOps公会演示
使用Ollama和Docker在本地运行LLM。
- 为什么选择本地法学硕士。
> 本地LLM提供更大的隐私、更快的响应时间、离线访问、， > 以及对定制的完全控制，使其成为安全、实时、， > 以及特定于域的应用程序，而不依赖于外部云服务。
- 当地LLMs的好处。
- 数据隐私与控制 - 减少延迟 - 定制 - 离线可用性 - 可靠性 - 更少的审查
- 工程师最大的梦想。（贾维斯）
> - 你有没有想过要建立一个像《钢铁侠》中的JARVIS这样的系统？ > - 你有没有想过，如果JARVIS是基于云的，托尼会面临什么样的问题？ > - 互联网宕机？地区下降？高网络流量？
- Ollama是什么。
> Ollama是一个免费开源平台，允许您运行大型语言模型（LLM） > 无需依赖云API或外部服务器。 > 它旨在使LLM可供开发人员、研究人员和企业访问、安全和定制。
- 所需规格。
- 中央处理器 - 最少：4芯 - 推荐：8核适用于较大型号 - 首选支持AVX512的现代CPU - GPU（可选但推荐） - Nvidia GPU（每秒更多令牌）：8GB VRAM - 内存（RAM） - 基本要求：3B型号8GB - 7B型号16GB - 13B型号32GB - 存储 - 最低：基础安装12GB - 推荐：总空间50GB
- 演示。
- 介绍MCP服务器和客户端的工作原理。 - 与Ollama一起运行MCP。（DevOps伙伴） - 将MCP仅用于docker命令。 - 如何创建一个简单的工具。 - Ollama与Openweb用户界面 - 参考文献