Software libero a scuola/Ollama
È possibile provare a interagire con l'intelligenza artificiale in rete su siti come gemini di google oppure chatGPT. Grazie a ollama è possibile installare sul proprio pc in locale una istanza di intelligenza artificiale che permette attraverso una chat, ottenuta nel terminale su ubuntu, di fare richieste, domande, porre problemi ed ottenere risposte come se si stesse chiacchierando, per iscritto, con un essere umano. Sono necessari:
- almeno 8GB di memoria ram
- almeno 10Gb di spazio su disco
- un po' di pazienza
Se, fortunatamente o per scelta, sul proprio pc si ha montata una scheda video Nvidia con una adeguata dotazione di ram i tempi di elaborazione e risposta dell'IA si riducono notevolmente.
Installazione su linux Ubuntu
[modifica | modifica sorgente]Su linux ubuntu, per installare ollama si da il comando
sudo snap install ollama
Installazione alternativa
[modifica | modifica sorgente]In alternativa è possibile installate Ollama con curl così come suggerito sul sito.
Sulla ubuntu 22.04 se non lo si ha già installato si può installare curl dal terminale con il comando
sudo apt install curl
in genere ubuntu suggerisce di utilizzare anche snap per l'installazione, ma per il momento il comando curl installato via snap non permette poi di installare ollama.
Una volta installato curl si procede all'installazione con il comando
curl -fsSL https://ollama.com/install.sh | sh
Uso di ollama
[modifica | modifica sorgente]Per avviare ollama si deve scegliere un modello di linguaggio, una volta scelto il modello, ad esempio llama3, si lancia il prompt con il comando
ollama run llama3
Alla prima esecuzione ollama scarica sul pc una file di circa 5 gb, nel caso di llama3, e quindi si deve avere la pazienza, e lo spazio su disco, per concludere il download.
Una volta avviato ollama presenta un prompt in colore grigio
>>>Send a message (/? for help)
scrivendo sopra al prompt si possono fare domande e presentare problemi in italiano oppure in inglese e, dopo un attimo di elaborazione, si ottiene una risposta.
Per uscire dal prompt si deve dare il comando
/bye
Per avere una lista dei comandi prima di attivare il prompt nel terminale si lancia
ollama help
Che il server di ollama sia attivo e funzionante lo si può controllare dal browser andando all'indirizzo
http://127.0.0.1:11434
la scritta Ollama is running ci garantisce che ollama sia in funzione.
Se ci fosse la necessità di spegnerlo si può ricorrere al comando
systemctl stop ollama
Ollama interfaccia web
[modifica | modifica sorgente]Una volta installato Ollama risponde anche su una interfaccia web
localhost:8080
ed ovviamente se cercato da un pc in rete locale
ip_del_server:8080
Se sono stati scaricati diversi modelli di linguaggio è possibile scegliere con quale modello interagire ed avviare poi una chat semplicemnte inserendo la richiesta nella casella in basso.
Nella chat si possono anche caricare file, ad esempio un pdf, che l'AI leggerà ed imparerà permettendoci così di farle richieste a riguardo del testo che le abbiamo passato. Per caricare i file basta trascinarli sulla casella della chat.
In questo modo però il testo passato all'AI sarà disponibile solo per la chat in corso. Ollama permette però di fornire dei testi al server che possono essere richiamati e messi a disposizione dell'AI per migliorare le proprie risposte.
Allenare Ollama RAG
[modifica | modifica sorgente]A seconda del modello di linguaggio scelto Ollama può dare risposte più o meno precise.
E' possibile però mettere sul server dei testi che possono essere facilmente richiamati a seconda del bisogno inserendo nella casella della chat il simbolo #.
Innanzitutto ci si deve procurare dei testi che parlino dell'argomento che vogliamo sia imparato dall'AI, ad esempio dei libri in formato pdf.
Poi facendo la login sull'interfaccia web di Ollama, in modalità amministratore, si deve aprire la scheda documenti che si trova clikkando su Area di lavoro/documenti.
Un evidente tasto + in alto a destra permette il caricamento dei documenti che avviene trascinando il file sulla casella di inserimento.
Una volta caricato il documento è buona cosa andare nella finestra di impostazioni/documenti e clikkare sul tasto scansiona.
A questo punto Ollama mette a disposizione di chiunque si colleghi la possibilità di utilizzare i testi caricati come propria conoscenza. Se si vuole che l'AI risponda utilizzando il contenuto del file si deve semplicemente iniziare la chat con un # e scegliere i file che si vuole sia imparato dalla AI.