Creare agenti AI di intelligenza artificiale/RAG, LangChain, ChromaDB e HuggingFace

Volendo realizzare un agente AI che risponda a domande relative ad un documento di grandi dimensioni bisogna utilizzare la tecnica RAG (Retrieval-Augmented Generation) che arricchisce la generazione linguistica degli LLM con la ricerca di informazioni pertinenti in basi di dati esterne o archivi documentali. Poi bisogna usare LangChain che è un framework per semplificare la costruzione di applicazioni basate su LLM e RAG. Funziona come un “orchestratore” che collega il modello a strumenti esterni: database, API, motori di ricerca, file locali. Poi bisogna utilizzare i database vettoriali che sono sistemi che memorizzano testi, immagini o altri dati come embedding (rappresentazioni numeriche in spazi ad alta dimensione). Tra questi, ChromaDB si distingue come un’opzione open source leggera e integrabile. Se LangChain è il framework e ChromaDB la memoria, HuggingFace rappresenta la biblioteca dei modelli e delle risorse. È una piattaforma che ospita migliaia di LLM, dataset e strumenti, accessibili attraverso API e librerie come transformers.

Nel seguente notebook Colab si può eseguire il codice python per fare domande relative a un documento fornito dal Partito Democratico, dopo averlo tradotto in inglese e convertito in formato testo. Tale documento scaricabile da qui in formato pdf, deve essere convertito in formato testo txt, tramite ad esempio il programma pdftotext, formattato in maniera comprensibile e tradotto in inglese, in modo da essere dato in pasto al modello di intelligenza artificiale Llama 2 che si trova su HuggingFace dopo avere accettato la sua licenza da qui, aspettando al massimo 2 giorni, affinché avvenga l'approvazione da parte di Meta e poi fare una richiesta ad HuggingFace da qui per potere utilizzare il modello. Il suddetto notebook Colab è stato scritto utilizzando questo notebook su Kaggle rilasciato con licenza Apache 2.0.