Applicazioni pratiche di deep learning/Realizzare un chatbot(LLM)

Per realizzare un chatbot, cioè una chat personalizzata online o in privato, che risponda all'utente basandosi su documenti ad essa forniti, utilizzando il modello di intelligenza artificiale Llama 2 (Large Language Model LLM alternativo a GPT) , rilasciato da Meta creatore di Facebook, occorre innanzitutto eseguire il seguente notebook su Google Colab, cliccando sul link descritto nella pagina Interrogare documenti(LLM) .

Alla fine del notebook Colab bisogna installare la libreria Gradio:

!pip install --upgrade gradio

e poi eseguire le seguenti righe di codice :

import gradio as gr

def get_lama_response(message,history):
  return qa.run(message)

gr.ChatInterface(get_lama_response).launch()

in tal modo si creerà un link pubblico della durata di 72 ore, dove funzionerà la chat, basata sui documenti forniti al modello di intelligenza artificiale Llama 2 . Tale link potrà essere reso permanente attraverso l'opzione share=True . Inoltre all'interno dello stesso notebook colab apparirà la chat che potrà essere utilizzata temporaneamente per fare testing.

Link esterni

Come creare un chatbot con gradio