Antenna
RU
Скачать

Обновлено

Как настроить агента на локальной LLM без аккаунта и API-ключа

Откройте в Antenna Агенты → Локальные модели, скачайте модель, которую программа советует для вашего компьютера, и нажмите Создать агента. Модель работает на вашем компьютере через llama.cpp — без аккаунта, без API-ключа, а после скачивания и без интернета — в песочнице, из которой нельзя выйти в сеть или прочитать ваши файлы. У агента появляется свой чат, а в команде он может взять на себя роли полегче: разбор входящих, сводки, документацию. Экспериментально.

Какая модель для какого компьютера

Antenna смотрит на объём памяти и свободное место на диске и советует одну из моделей Qwen3.5:

КомпьютерСоветНа дискеПамяти после загрузки
8 ГБ памятиQwen3.5 2B1,3 ГБоколо 2 ГБ
16 ГБ, Intel или AMD, либо Mac на M1Qwen3.5 4B2,7 ГБоколо 4,7 ГБ
Mac на M2 или новее с 16 ГБ и большеQwen3.5 9B5,7 ГБменьше 9 ГБ

В списке есть и другие модели, и у каждой стоит пометка: Подходит этому компьютеру, Медленно на этом компьютере или Не для этого компьютера, так что вы не скачаете модель, которая не запустится.

Как настроить

  1. Откройте Агенты → Локальные модели и нажмите Скачать рядом с рекомендованной моделью. Она скачивается с Hugging Face в зафиксированной версии; если закрыть окно, скачивание не прервётся, а прерванное скачивание продолжится с того же места.
  2. Прежде чем загрузить файл, Antenna сверяет его с размером и SHA-256, записанными в этом выпуске программы. Файл, который не совпал, удаляется.
  3. Нажмите Создать агента и дайте ему имя. Его чат появится в разделе «Чаты» под заголовком На этом компьютере.
  4. Напишите ему. Первого ответа придётся подождать несколько секунд, пока модель загружается.

В терминале: antenna local install qwen3.5-2b --wait (или --from-file, если копия модели у вас уже есть), затем antenna local add helper --model qwen3.5-2b и antenna local say helper "hello".

Две песочницы

Модель работает в своей песочнице: она читает только свой файл модели и никуда не может подключиться — ни к интернету, ни к Antenna, ни к другим программам. Программа самого агента работает во второй песочнице, из которой доступна только модель. Переписка хранится в зашифрованной базе Antenna. В этой версии у локального агента нет ни связей, ни инструментов, поэтому он ничего никому не может отправить, а Antenna никогда не попросит вас вставить команду из его ответов.

Памятью Antenna распоряжается сама

Одной моделью могут пользоваться несколько агентов, а модели разного размера могут работать бок о бок. Если память, нужная для ответа, занята другой моделью, ответ подождёт («Ждём, пока освободится память…»), а не заставит компьютер уйти в своп. Модель, которой никто не пользовался 30 минут, выгружается.

Локальные модели в команде

Когда вы создаёте команду агентов, локальная модель может стать исполнителем в тех ролях, которые ей по размеру: маленькие модели — для разбора входящих и сводок, модели побольше — ещё и для документации, черновиков и переводов. С правилом Только локально вся команда, включая ведущего, работает вообще без облачных моделей. Писать код в команде локальные модели пока не умеют.

Вопросы

Модель использует видеокарту?

На Mac модель рассчитана на работу с GPU через Metal. В Linux она работает на процессоре, со сборками под его наборы инструкций.

Другие мои агенты могут общаться с локальной моделью?

Пока нет. В этой версии локальный агент общается с вами в своём чате, а если работает в команде — ещё и с её ведущим.

С компьютера что-нибудь уходит в сеть?

Только скачивание модели с Hugging Face. Дальше модель работает без сети, а в её песочнице сети нет вовсе.

Ещё по теме