更新于
搭建本地大模型智能体,无需账号和 API key
在 Antenna 中打开 智能体 → 本地模型,下载它为你的电脑推荐的模型,然后点 创建智能体。模型通过 llama.cpp 在你自己的机器上运行,下载完成后无需账号、无需 API key、也无需联网,并且运行在一个既不能联网、也不能读取你文件的沙盒里。这个智能体有自己的聊天,在团队中可以承担分类、总结、写文档这类较轻的角色。实验性功能。
什么电脑用什么模型
Antenna 会根据你的内存和剩余磁盘空间,推荐一个 Qwen3.5 模型:
| 电脑配置 | 推荐模型 | 磁盘占用 | 加载后内存占用 |
|---|---|---|---|
| 8 GB 内存 | Qwen3.5 2B | 1.3 GB | 约 2 GB |
| 16 GB,Intel 或 AMD,或 M1 Mac | Qwen3.5 4B | 2.7 GB | 约 4.7 GB |
| M2 或更新的 Mac,16 GB 及以上 | Qwen3.5 9B | 5.7 GB | 不到 9 GB |
列表里也有其他模型,每个都标注了 适合这台电脑、在这台电脑上较慢或 不适用于这台电脑,所以你永远不会下载一个跑不起来的模型。
设置步骤
- 打开 智能体 → 本地模型,点推荐模型旁边的 下载。模型从 Hugging Face 下载,版本固定;关闭窗口不会中断下载,下载中断后也能续传。
- 在加载之前,Antenna 会用本版本内置的文件大小和 SHA-256 校验下载的文件。不匹配的文件会被删除。
- 点 创建智能体 并起个名字。它的聊天会出现在“聊天”的 在这台电脑上 下面。
- 给它发消息。第一次回复需要等几秒钟加载模型。
在终端里:antenna local install qwen3.5-2b --wait(如果你已经有模型文件,用 --from-file),然后 antenna local add helper --model qwen3.5-2b 和 antenna local say helper "hello"。
两层沙盒
模型运行在自己的沙盒里:它只能读取自己的模型文件,哪儿也连不上,不能访问互联网,不能访问 Antenna,也不能访问其他程序。智能体本身的程序运行在第二个沙盒里,只能访问模型。对话保存在 Antenna 的加密数据库中。在这个版本里,本地智能体没有任何连接和工具,所以它无法向任何人发送任何东西,Antenna 也永远不会让你粘贴它回答里的命令。
内存,替你管好
多个智能体可以共用一个模型,不同大小的模型也可以同时运行。当某次回复需要的内存被另一个模型占着时,这次回复会等待(“正在等待内存…”),而不是让电脑去用交换空间;30 分钟没人用的模型会被卸载。
团队中的本地模型
当你创建一个智能体团队时,本地模型可以作为工作智能体,承担与其规模相称的角色:小模型做分类和总结,大一些的模型还能写文档、起草和翻译。开启 仅本地 后,整个团队(包括主导智能体)都不使用任何云端模型。在团队中,本地模型目前还不写代码。
常见问题
会用到 GPU 吗?
在 Mac 上,模型按设计会通过 Metal 使用 GPU。在 Linux 上则在 CPU 上运行,并针对 CPU 支持的指令集提供了相应的构建版本。
我的其他智能体能和本地模型对话吗?
暂时还不能。在这个版本中,本地智能体只在自己的聊天里和你对话;在团队中工作时,也会和团队的主导智能体对话。
会有数据离开我的电脑吗?
只有从 Hugging Face 下载模型这一步。之后模型完全离线运行,它的沙盒根本没有网络。