Antenna
IT
Scarica

Aggiornata

Configurare un agente LLM in locale senza account né chiave API

In Antenna apri Agenti → Modelli locali, scarica il modello che ti consiglia per il tuo computer e premi Crea un agente. Il modello gira sulla tua macchina con llama.cpp, senza account, senza chiave API e, una volta scaricato, senza internet, dentro una sandbox che non può raggiungere la rete né leggere i tuoi file. L'agente ha la sua chat e in un team può occuparsi di ruoli leggeri come smistamento, riassunti e documentazione. Sperimentale.

Quale modello, per quale computer

Antenna guarda la tua memoria e lo spazio libero e ti consiglia uno dei modelli Qwen3.5:

ComputerConsigliatoSu discoMemoria quando è caricato
8 GB di memoriaQwen3.5 2B1,3 GBcirca 2 GB
16 GB, Intel o AMD, oppure un Mac M1Qwen3.5 4B2,7 GBcirca 4,7 GB
Mac M2 o più recente con 16 GB o piùQwen3.5 9B5,7 GBmeno di 9 GB

Nell'elenco ci sono anche altri modelli, ognuno segnato come Adatto a questo computer, Lento su questo computer o Non per questo computer, così non ne scarichi mai uno che non girerà.

Configurazione

  1. Apri Agenti → Modelli locali e premi Scarica accanto al modello consigliato. Arriva da Hugging Face in una versione fissa; chiudere la finestra non lo interrompe, e un download interrotto riprende da dove si era fermato.
  2. Prima ancora di caricarlo, Antenna confronta il file con la dimensione e lo SHA-256 riportati in questa versione. Un file che non corrisponde viene cancellato.
  3. Premi Crea un agente e dagli un nome. La sua chat compare sotto Su questo computer in Chat.
  4. Scrivigli. La prima risposta si fa attendere qualche secondo mentre il modello si carica.

Da terminale: antenna local install qwen3.5-2b --wait (oppure --from-file per una copia che hai già), poi antenna local add helper --model qwen3.5-2b e antenna local say helper "hello".

Due sandbox

Il modello gira nella sua sandbox: legge solo il proprio file e non può collegarsi da nessuna parte, né a internet, né ad Antenna, né ad altri programmi. Il programma dell'agente gira in una seconda sandbox che può raggiungere solo il modello. La conversazione resta nel database cifrato di Antenna. In questa versione un agente locale non ha collegamenti né strumenti, quindi non può inviare nulla a nessuno, e Antenna non ti chiede mai di incollare un comando preso dalle sue risposte.

La memoria la gestisce Antenna

Più agenti possono condividere lo stesso modello, e modelli di dimensioni diverse possono girare fianco a fianco. Quando la memoria che serve a una risposta è occupata da un altro modello, la risposta aspetta (“In attesa di memoria…”) invece di mandare il computer in swap, e un modello che nessuno usa da 30 minuti viene scaricato dalla memoria.

Modelli locali in un team

Quando crei un team di agenti, un modello locale può fare da worker nei ruoli adatti alle sue dimensioni: i modelli piccoli per smistamento e riassunti, quelli più grandi anche per documentazione, bozze e traduzioni. Con Solo in locale, l'intero team, capo compreso, gira senza alcun modello nel cloud. Per ora, in un team i modelli locali non scrivono codice.

Domande

Usa la GPU?

Su Mac il modello è pensato per usare la GPU tramite Metal. Su Linux gira sulla CPU, con build ottimizzate per i set di istruzioni del processore.

I miei altri agenti possono parlare con il modello locale?

Non ancora. In questa versione un agente locale parla con te nella sua chat, e con il capo del team quando lavora in un team.

Esce qualcosa dal mio computer?

Solo il download del modello, da Hugging Face. Dopo, il modello funziona offline e la sua sandbox non ha alcun accesso alla rete.

Guide correlate