Alternativa open source gratuita a ChatGPT — GPT4All (2023)

Ormai dovresti già avere molta familiarità conChatGPT(o almeno ho sentito parlare della sua abilità). Sebbene ChatGPT sia molto potente e utile, presenta diversi inconvenienti che potrebbero impedire ad alcune persone di utilizzarlo:

• Non può essere eseguito offline, il che solleva anche la prossima preoccupazione.
• Pone rischi per la privacy in quanto i dati forniti verranno inviati a OpenAI. Questo è un grande no-no per le imprese.
• L'integrazione di ChatGPT nelle tue applicazioni richiede una chiave API di OpenAI, che adotta un modello pay-per-use.

Fortunatamente, l'attesa è finita per una soluzione che affronti le preoccupazioni di cui sopra:GPT4Tutti.

GPT4Tutti(https://gpt4all.io/index.html) è un progetto open source contenente una serie di LLM (Large Language Models) preaddestrati che è possibile utilizzare per l'esecuzione in locale utilizzando CPU di livello consumer. GPT4All contiene un numero di modelli che va da 3 GB a 8 GB. Cosa c'è di più eccitante? È gratis!

Sebbene le prestazioni di GPT4All potrebbero non essere alla pari con l'attuale ChatGPT, con i contributi della comunità open source ha potenziali significativi per ulteriori sviluppi e miglioramenti. Alla fine potrebbe essere in grado di competere allo stesso livello con modelli commerciali come ChatGPT di OpenAI.

In questo articolo, ti accompagnerò in un vorticoso tour su come utilizzare GPT4All utilizzando Python e su come utilizzarlo per creare un chatbot.

Andiamo!

Per utilizzare GPT4All a livello di programmazione in Python, è necessario installarlo utilizzando il filepippocomando:

Per questo articolo userò Jupyter Notebook.

!pip installa gpt4all

GPT4All supporta una serie di modelli preaddestrati. Per elencare tutti i modelli disponibili, utilizzare illist_models()funzione:

da gpt4all importa GPT4All
GPT4All.list_models()

Otterrai il seguente risultato (ho evidenziato i nomi dei modelli ingrassetto):

[{'md5sum': '81a09a0ddf89690372fc296ff7f625af',
'nome del file': 'ggml-gpt4all-j-v1.3-groovy.bin',
'dimensione file': '3785248281',
'isDefault': 'true',
'bestGPTJ': 'vero',
'description': 'Attualmente il miglior modello con licenza commerciale basato su GPT-J e addestrato da Nomic AI sull'ultimo set di dati GPT4All curato.'},
{'md5sum': '91f886b68fbce697e9a3cd501951e455',
'nome del file': 'ggml-gpt4all-l13b-snoozy.bin',
'dimensione file': '8136770688',
'bestLlama': 'vero',
'description': 'Miglior modello corrente con licenza non commerciale basato su Llama 13b e addestrato da Nomic AI sull'ultimo set di dati GPT4All curato.'},
{'md5sum': '756249d3d6abe23bde3b1ae272628640',
'nome del file': 'ggml-mpt-7b-chat.bin',
'dimensione file': '4854401050',
'isDefault': 'true',
'bestMPT': 'vero',
'richiede': '2.4.1',
'description': 'Attualmente il miglior modello di chat con licenza non commerciale basato su MPT e addestrato da Mosaic ML.'},
{'md5sum': '879344aaa9d62fdccbda0be7a09e7976',
'nome del file': 'ggml-gpt4all-j-v1.2-jazzy.bin',
'dimensione file': '3785248281',
'description': 'Un modello con licenza commerciale basato su GPT-J e addestrato da Nomic AI sul set di dati v2 GPT4All.'},
{'md5sum': '61d48a82cb188cceb14ebb8082bfec37',
'nome del file': 'ggml-gpt4all-j-v1.1-breezy.bin',
'dimensione file': '3785248281',
'description': 'Un modello con licenza commerciale basato su GPT-J e addestrato da Nomic AI sul set di dati GPT4All v1.'},
{'md5sum': '5b5a3f9b858d33b29b52b89692415595',
'nome del file': 'ggml-gpt4all-j.bin',
'dimensione file': '3785248281',
'description': 'Un modello con licenza commerciale basato su GPT-J e addestrato da Nomic AI sul set di dati v0 GPT4All.'},
{'md5sum': '29119f8fa11712704c6b22ac5ab792ea',
'nome del file': 'ggml-vicuna-7b-1.1-q4_2.bin',
'dimensione file': '4212859520',
'description': 'Un modello con licenza non commerciale basato su Llama 7b e addestrato da team di UC Berkeley, CMU, Stanford, MBZUAI e UC San Diego.'},
{'md5sum': '95999b7b0699e2070af63bf5d34101a8',
'nome del file': 'ggml-vicuna-13b-1.1-q4_2.bin',
'dimensione file': '8136770688',
'description': 'Un modello con licenza non commerciale basato su Llama 13b e addestrato da team di UC Berkeley, CMU, Stanford, MBZUAI e UC San Diego.'},
{'md5sum': '99e6d129745a3f1fb1121abed747b05a',
'nome del file': 'ggml-wizardLM-7B.q4_2.bin',
'dimensione file': '4212864640',
'description': 'Un modello con licenza non commerciale basato su Llama 7b e addestrato da Microsoft e dall'Università di Pechino.'},
{'md5sum': '6cb4ee297537c9133bddab9692879de0',
'nome del file': 'ggml-stable-vicuna-13B.q4_2.bin',
'dimensione file': '8136777088',
'description': 'Un modello con licenza non commerciale basato su Llama 13b e RLHF addestrato da Stable AI.'},
{'md5sum': '120c32a51d020066288df045ef5d52b9',
'nome del file': 'ggml-mpt-7b-base.bin',
'dimensione file': '4854401028',
'richiede': '2.4.1',
'description': 'Una base di modelli con licenza commerciale preaddestrata da Mosaic ML.'},
{'md5sum': 'd5eafd5b0bd0d615cfd5fd763f642dfe',
'nome del file': 'ggml-nous-gpt4-vicuna-13b.bin',
'dimensione file': '8136777088',
'description': 'Un modello con licenza non commerciale basato su Vicuna 13b, messo a punto su ~180.000 istruzioni, addestrato da Nous Research.'},
{'md5sum': '1cfa4958f489f0a0d1ffdf6b37322809',
'nome del file': 'ggml - mpt - 7b - istruisci .bin',
'dimensione file': '4854401028',
'richiede': '2.4.1',
'description': 'Un modello di istruzione con licenza commerciale basato su MPT e addestrato da Mosaic ML.'}]

Sulla base dei modelli che hai visto elencati nella sezione precedente, ora puoi andare avanti e caricare il modello che desideri. Per questo esempio, userò ilggml-gpt4all-j-v1.3-groovymodello:

gpt = GPT4All("ggml-gpt4all-l13b-snoozy.bin")

Personalmente ho provato due modelli:ggml-gpt4all-j-v1.3-groovy.binEggml-gpt4all-l13b-snoozy.bin. Sulla base di alcuni dei test, trovo che ilggml-gpt4all-l13b-snoozy.binè molto più preciso. È un modello da 8,14 GB.

La prima volta che lo esegui, scaricherà il modello e lo memorizzerà localmente sul tuo computer nella seguente directory:~/.cache/gpt4all/.

llama.cpp: caricamento del modello da /Users/weimenglee/.cache/gpt4all/ggml-gpt4all-l13b-snoozy.bin
llama_model_load_internal: formato = ggjt v1 (più recente)
llama_model_load_internal: n_vocab = 32000
llama_model_load_internal: n_ctx = 2048
llama_model_load_internal: n_embd = 5120
llama_model_load_internal: n_mult = 256
llama_model_load_internal: n_head = 40
llama_model_load_internal: n_layer = 40
llama_model_load_internal: n_rot = 128
llama_model_load_internal: ftype = 2 (principalmente Q4_0)
llama_model_load_internal: n_ff = 13824
llama_model_load_internal: n_parti = 1
llama_model_load_internal: dimensione del modello = 13B
llama_model_load_internal: dimensione ctx ggml = 73,73 KB
llama_model_load_internal: mem richiesto = 9807,47 MB ​​(+ 1608,00 MB per stato)
llama_init_from_file: kv self size = 1600,00 MB

Per fare una domanda, chiama ilchat_completamento()funzione passandogli un elenco di dizionari, come questo:

[
{
"ruolo": "utente",
"content": "Qual è il fiore nazionale del Canada"
}
]

ILruoloil tasto indica chi sta ponendo la domanda (utente) o rispondendo (assistente) e ilcontenutochiave contiene la domanda. Per tenere una conversazione con GPT4All, devi passargli la domanda e le sue risposte precedenti (vedrai come funziona a breve). Questo è simile a come funziona ChatGPT:

I seguenti frammenti di codice inviano la domanda a GPT4All:

messaggi = [{"role": "user", "content": "Qual è il fiore nazionale del Canada"}]
gpt.chat_completion(messaggi)

Vedrai il seguente output in Jupyter Notebook (hoin grassettola risposta):

### Istruzioni:
Il messaggio di seguito è una domanda a cui rispondere, un'attività da completare o una conversazione
per rispondere a; decidere quale e scrivere una risposta appropriata.
### Richiesta:
Qual è il fiore nazionale del Canada?
### Risposta:
Il fiore nazionale del Canada è la foglia d'acero canadese.

Allo stesso tempo, verrà stampata anche la risposta restituita da GTP4All (formattata per chiarezza):

{
'modello': 'ggml-gpt4all-l13b-snoozy',
'utilizzo': {
'prompt_token': 264,
'completamento_token': 57,
'totale_token': 321
},
'scelte': [
{
'Messaggio': {
'ruolo': 'assistente',
'contenuto': 'Il fiore nazionale del Canada è la foglia d'acero canadese.'
}
}
]
}

Come puoi vedere dall'output sopra, la risposta che desideri si trova nelle chiavi evidenziate ingrassetto.

Per facilitare agli utenti l'interazione con GTP4All, dovresti idealmente associarlo a un'interfaccia utente basata sul web. Per questo useròCostruito, un pacchetto Python che associa la funzione Python a un'interfaccia utente basata sul Web.

Per fare ciò, prima definisco una funzione chiamatachiacchierata(), che chiamerà GTP4All con la domanda posta dall'utente. Quindi lego questa funzione a Gradio:

gradio di importazione come gr
# per memorizzare i prompt e le risposte
messaggi = []
def chat(messaggio):
messaggi globali
# accoda il prompt
messaggi.append({"role": "utente", "content": messaggio})
# invia a GPT4All
risposta = gpt.chat_completion(messaggi)
# estrae il contenuto della risposta
contenuto = risposta['scelte'][0]['messaggio']['contenuto']
# accoda la risposta di GPT4All
messaggi.append({"role":"assistente", "content": contenuto})
# restituisce il contenuto all'utente
restituire il contenuto
# associalo a gradio
gr.Interface(fn = chat,
input = "testo",
output = "testo"). launch()

Osserva che nel codice sopra, ogni risposta di GPT4All viene aggiunta amessaggielenco. Questo per garantire che GPT4All sia in grado di tenere una conversazione con l'utente.

Quando esegui lo snippet di codice sopra, vedrai la seguente interfaccia utente:

Digita una domanda nella casella di testo a sinistra e fai clicInvia. La domanda verrà passata a GPT4All e dopo un po' vedrai la risposta:

Per porre una domanda di follow-up, fare clic suChiaroe fai la domanda successiva:

Renditi conto che GPT4All è a conoscenza del contesto della domanda e può dare seguito alla conversazione. Questo perché hai aggiunto le risposte precedenti di GPT4All nella chiamata di follow-up.

Se stai leggendo fino a questo punto, ti saresti reso conto che dover cancellare il messaggio ogni volta che vuoi porre una domanda di follow-up è fastidioso. Un'interfaccia utente molto più intuitiva sarebbe quella di farla comportare più come un'applicazione di chat. In effetti, puoi creare un'interfaccia utente simile a un chatbot utilizzando Gradio.

Il seguente frammento di codice mostra come eseguire il wrapping della chiamata GTP4All con un'interfaccia utente simile a un chatbot utilizzando Gradio:

gradio di importazione come gr
importa casuale
tempo di importazione
messaggi = []
with gr.Blocks() as mychatbot: # Blocks è un'API di basso livello che consente
# di creare applicazioni web personalizzate
chatbot = gr.Chatbot() # visualizza un chatbot
question = gr.Textbox() # per consentire all'utente di porre una domanda
clear = gr.Button("Cancella conversazione") # Pulsante Cancella
(Video) GPT4ALL - Alternativa gratis y local de CHATGPT
# funzione per cancellare la conversazione
def clear_messages():
messaggi globali
messages = [] # resetta la lista dei messaggi
def chat(messaggio, chat_history):
messaggi globali
messaggi.append({"role": "utente", "content": messaggio})
risposta = gpt.chat_completion(messaggi)
contenuto = risposta['scelte'][0]['messaggio']['contenuto']
messaggi.append({"role":"assistente", "content": contenuto})
chat_history.append((messaggio, contenuto))
return "", chat_history
# cabla il gestore di eventi per il pulsante Invia (quando l'utente preme Invio)
domanda.submit(fn = chat,
input = [domanda, chatbot],
uscite = [domanda, chatbot])
# cabla il gestore di eventi per il pulsante Cancella conversazione
clear.click(fn = clear_messages,
ingressi = Nessuno,
uscite = chatbot,
coda = Falso)
mychatbot.launch()

Si noti che questa volta ilchiacchierata()La funzione accetta due argomenti: la domanda da porre e un'istanza diChatBot.

Quando esegui lo snippet di codice sopra, vedrai quanto segue:

Digita una domanda nella casella di testo e premi Invio. La risposta verrà aggiunta all'interfaccia utente:

Puoi proseguire con un'altra domanda:

Se ti piace leggere i miei articoli e questo ti ha aiutato nella tua carriera/studio, considera di iscriverti come membro Medium. Costa $ 5 al mese e ti dà accesso illimitato a tutti gli articoli (incluso il mio) su Medium. Se ti iscrivi utilizzando il seguente link, guadagnerò una piccola commissione (senza costi aggiuntivi per te). Il tuo supporto significa che potrò dedicare più tempo alla scrittura di articoli come questo.

In questo articolo, ho discusso di come utilizzare GPT4All, il progetto open source gratuito che puoi eseguire localmente utilizzando alcuni degli LLM pre-addestrati. La bella caratteristica di GTP4All è che non ha bisogno di Internet per funzionare e che funziona localmente, dissipando così i timori che i tuoi dati vengano inviati al cloud. Nei prossimi articoli parlerò di più di GPT4All. Rimani sintonizzato!

Grazie per far parte della nostra comunità! Prima che tu vada:

• 👏 Batti le mani per la storia e segui l'autore 👉
• 📰 Visualizza altri contenuti nelPubblicazione Level Up Coding
• 💰 Corso di colloquio di programmazione gratuito ⇒Visualizza corso
• 🔔 Seguici:Cinguettio|Linkedin|Notiziario

🚀👉Unisciti al collettivo di talenti Level Up e trova un lavoro fantastico