Zaktualizowano
Jak uruchomić lokalnego agenta LLM bez konta i klucza API
W Antennie otwórz Agenci → Modele lokalne, pobierz model, który Antenna poleca dla twojego komputera, i kliknij Utwórz agenta. Model działa na twoim własnym komputerze przez llama.cpp, bez konta, bez klucza API, a po pobraniu także bez internetu, w piaskownicy (sandbox), która nie ma dostępu do sieci ani do twoich plików. Agent dostaje własny czat, a w zespole może pełnić lżejsze role, takie jak wstępna selekcja, podsumowania i dokumentacja. Funkcja eksperymentalna.
Jaki model na jaki komputer
Antenna sprawdza ilość pamięci i wolnego miejsca i poleca jeden z modeli Qwen3.5:
| Komputer | Polecany model | Na dysku | Pamięć po załadowaniu |
|---|---|---|---|
| 8 GB pamięci | Qwen3.5 2B | 1,3 GB | ok. 2 GB |
| 16 GB, Intel albo AMD, albo Mac z M1 | Qwen3.5 4B | 2,7 GB | ok. 4,7 GB |
| Mac z M2 lub nowszym i co najmniej 16 GB | Qwen3.5 9B | 5,7 GB | poniżej 9 GB |
Na liście są też inne modele, każdy oznaczony jako Pasuje do tego komputera, Wolny na tym komputerze albo Nie dla tego komputera, więc nigdy nie pobierzesz modelu, który się nie uruchomi.
Konfiguracja
- Otwórz Agenci → Modele lokalne i kliknij Pobierz przy polecanym modelu. Model pochodzi z Hugging Face, w ustalonej wersji; zamknięcie okna nie przerywa pobierania, a przerwane pobieranie zostanie wznowione.
- Zanim Antenna w ogóle załaduje plik, porównuje go z rozmiarem i sumą SHA-256 zapisanymi w tym wydaniu. Plik, który się nie zgadza, zostaje usunięty.
- Kliknij Utwórz agenta i nadaj mu nazwę. Jego czat pojawi się w zakładce Czaty, w sekcji Na tym komputerze.
- Napisz do niego. Na pierwszą odpowiedź poczekasz kilka sekund, aż model się załaduje.
W terminalu: antenna local install qwen3.5-2b --wait (albo --from-file dla kopii, którą już masz), potem antenna local add helper --model qwen3.5-2b i antenna local say helper "hello".
Dwie piaskownice
Model działa we własnej piaskownicy: czyta tylko swój plik modelu i nie może się nigdzie połączyć — ani z internetem, ani z Antenną, ani z innymi programami. Program samego agenta działa w drugiej piaskownicy, z której dociera tylko do modelu. Rozmowa jest przechowywana w zaszyfrowanej bazie danych Antenny. W tej wersji lokalny agent nie ma połączeń ani narzędzi, więc nie może nikomu niczego wysłać, a Antenna nigdy nie poprosi cię o wklejenie polecenia z jego odpowiedzi.
Pamięcią zarządza Antenna
Kilku agentów może korzystać z jednego modelu, a modele różnej wielkości mogą działać obok siebie. Gdy pamięć potrzebną do odpowiedzi zajmuje inny model, odpowiedź czeka („Czekanie na pamięć…”), zamiast zmuszać komputer do swapowania, a model, którego nikt nie używał przez 30 minut, zostaje wyładowany z pamięci.
Lokalne modele w zespole
Gdy tworzysz zespół agentów, lokalny model może być pomocnikiem w rolach dopasowanych do jego wielkości: małe modele do wstępnej selekcji i podsumowań, większe także do dokumentacji, szkiców i tłumaczeń. Z opcją Tylko lokalnie cały zespół, łącznie z agentem prowadzącym, działa bez żadnego modelu w chmurze. W zespole lokalne modele jeszcze nie piszą kodu.
Pytania
Czy model korzysta z GPU?
Na Macu model ma korzystać z GPU przez Metal. Na Linuksie działa na CPU, w wersjach zbudowanych pod zestawy instrukcji danego procesora.
Czy moi pozostali agenci mogą rozmawiać z lokalnym modelem?
Jeszcze nie. W tej wersji lokalny agent rozmawia z tobą w swoim czacie, a gdy pracuje w zespole, także z agentem prowadzącym.
Czy cokolwiek opuszcza mój komputer?
Tylko pobieranie modelu z Hugging Face. Potem model działa offline, a jego piaskownica w ogóle nie ma dostępu do sieci.