LLMbasedOS
使用AI代理的工具的本地首次运行时
LLMbasedOS允许您在自己的计算机上以明确、严格的权限运行AI代理。默认情况下,所有内容都在本地运行。无后台监控。无隐藏功能。您可以决定哪些工具存在,它们可以看到什么,以及何时运行。
为什么存在
大多数人希望在不放弃隐私或控制权的情况下获得人工智能的帮助。LLMbasedOS提供了一个小的、可观察的运行时环境,在容器内的计算机上执行,具有明确的边界。如果未启用工具,则该工具不存在。如果文件夹未装载,则不可见。
信任与安全
- 本地优先:服务在Windows、macOS和Linux上的Docker中运行
- 狭窄的范围:代理只能看到您装载的文件夹。演示挂载捆绑的数据文件夹
- 无环境跟踪:没有什么能监视你的活动。特工只有在你要求的时候才会采取行动
- 显式工具:功能是您按名称启用的小型MCP工具。没有工具,没有动力
- 默认情况下为本地模型:在你的机器上与Ollama一起工作。云模型是可选择的
- 随时停止:停止Docker桌面中的堆栈。您的系统在装载的文件夹外没有变化
MCP用简单的语言
把MCP想象成一个有标签抽屉的工具箱。每个抽屉都是一个有明确合同的工具:名称、输入和输出。代理人不能发明新的抽屉。当您键入命令时,代理会要求网关打开特定的抽屉。网关记录请求,将其转发给工具进程,并仅返回定义的结果。由于容器只装载您选择的路径,因此文件工具只能在那里读取或写入。只有当您添加并启用新工具并故意挂载额外路径时,才会出现新功能。
什么是默认发货
- 网关:将请求路由到工具并记录调用
- LLM 路由器:向您选择的后端发送提示,默认情况下为本地
- 情境聊天:对话的短暂上下文
- 键值存储:用于演示的简单内存
- 文件工具:在已挂载的数据文件夹内进行读写操作
默认情况下不包括在内:电子邮件发送者、主机外壳执行器、屏幕或键盘访问、系统安装程序、网络扫描仪。
快速启动
需求
- 启用Docker Desktop和WSL 2的Windows 11,或
- macOS与Docker桌面,或
- Linux与Docker引擎和Docker Compose
步骤
- 下载release.zip并解压缩
- 在解压缩的文件夹中打开终端
- 启动堆栈:
docker compose -f docker-compose.pc.yml up -d --build- 拉取本地模型(仅限第一次):
docker exec -it llmbasedos_ollama ollama pull gemma:2b- 打开交互式控制台:
docker exec -it llmbasedos_pc python -m llmbasedos_src.shell.luca您应该看到类似以下的提示: / [default_session] luca>
- 退出
exit
- 完成后停止堆栈:
docker compose -f docker-compose.pc.yml down安全第一设置
您可以在容器边界处控制范围。这些设置简单有效。
只读数据装载
在……里面 docker-compose.pc.yml,更改 ./data:/data:rw 向 ./data:/data:ro.
仅本地模式
在……里面 .env,set LLM_PROVIDER_BACKEND=ollama 并且不添加云API密钥。
应用程序没有网络(可选)
集 network_mode: "none" 如果你想在模型拉取后完全离线运行,可以在paas服务上运行。
可见性和控制
- 工具列在
supervisord.conf。如果工具未列出,则不会运行 - 呼叫由网关和每个工具进程记录
- 该应用程序只能在您控制的挂载路径内读写
- 随时从Docker桌面启动、停止和删除容器
常见问题解答
它能看到我的其他文件吗?
不,它只看到你安装的东西。演示将挂载捆绑的数据文件夹。
有什么东西是自己运行的吗?
不。没有后台监控。代理在您要求时会采取行动。默认情况下,计划作业处于关闭状态,必须明确创建。
它能把我的文件发到网上吗?
除非您选择加入云模型或启用网络工具。默认设置使用没有外部API调用的本地模型。
它能在我的主机上执行系统命令吗?
否。默认设置中没有主机shell工具。添加这样的工具需要进行明确的更改,不建议用于敏感的机器。
如果我删除它会发生什么?
使用Docker桌面或 docker compose down。堆栈停止,您的计算机在装载的文件夹外保持不变。
条款
- 代理:按名称请求工具的决策循环
- 工具(弧形):一个小型MCP服务器,通过严格的合同暴露一种功能
- 网关:路由和记录工具调用的中介
- 计划(任务):一个简单的、人类可读的任务文件,用于链接工具调用
- 路由器:选择配置的LLM后端,默认为本地
这是给谁的
- 隐私敏感的用户希望在不放弃控制的情况下获得人工智能的帮助
- 需要离线或本地工作流程的团队
- 想要可观察、可重复代理运行的开发人员和研究人员
路线图
- 更多具有明确权限和测试的第一方工具
- 已签名的工具包和基于清单的安装
- 默认情况下,用于工具白名单和只读装载的策略层
联系
问题或疑虑:在GitHub上打开问题或发送电子邮件 luca@llmbasedos.com.
