Come funziona GPT 3?

GPT-3 è l’acronimo di Generative Pre-trained Transformer 3 ed è la terza versione del modello linguistico rilasciato da Open AI a maggio 2020.

È generativo, poiché GPT-3 può generare lunghe frasi del testo univoco come output. Si noti che la maggior parte delle reti neurali è in grado solo di dare risposte sì o no o frasi semplici.

Pre-trained significa che il modello linguistico non è stato creato con alcuna conoscenza specifica del dominio, ma può completare attività specifiche del dominio come la traduzione. Pertanto, GPT-3 è il modello linguistico più innovativo che sia mai esistito.

Ma cosa rende GPT-3 così unico? Il modello linguistico GPT-3 ha 175 miliardi di parametri, ovvero valori che una rete neurale ottimizza durante l’addestramento.

Pertanto, questo modello linguistico ha un eccellente potenziale per l’automazione in vari settori, dal servizio clienti alla generazione della documentazione.

Quindi, per dirla senza mezzi termini, GPT-3 calcola la probabilità che una parola possa apparire nel testo.

Ad esempio, la parola sedia nelle frasi: “Margaret sta organizzando una vendita di garage… Forse potremmo comprare quel vecchio…” è molto più probabile che appaia piuttosto che, diciamo, la parola elefante.

Ciò significa che la probabilità che la parola sedia ricorra nel testo richiesto è maggiore della probabilità che esiste un elefante.

GPT-3 utilizza una qualche forma di compressione dei dati consumando milioni di testi di esempio per convertire le parole in vettori, ovvero rappresentazioni numeriche.

Successivamente, il modello linguistico scompone il testo compresso in frasi comprensibili per l’uomo. Pertanto, la compressione e la decompressione del testo sviluppa l’accuratezza del modello durante il calcolo della probabilità condizionale delle parole.

Poiché GPT-3 è ad alte prestazioni nelle impostazioni ” few-shot“, può rispondere in modo coerente con un testo di esempio che non è mai stato esposto prima.

Pertanto, ha bisogno solo di pochi esempi per produrre una risposta pertinente, poiché è già stato addestrato su molti esempi di testo.

Dopo l’addestramento, quando la probabilità condizionale del modello linguistico è il più precisa possibile, può prevedere la parola successiva mentre ne riceve una, oppure una frase o un frammento di input come prompt.

Parlando formalmente, la previsione della parola successiva si riferisce all’inferenza del linguaggio naturale.

In sostanza, GPT-3 è un predittore di testo: il suo output è una risposta statisticamente plausibile all’input dato, basato sui dati su cui è stato addestrato in precedenza.

Tuttavia, alcune critiche sostengono che GPT-3 non è il miglior sistema di intelligenza artificiale per rispondere alle domande e riassumere il testo.

GPT-3 è mediocre rispetto ai metodi SOTA per ciascuna attività PNL separatamente, ma è molto più generale di qualsiasi sistema precedente, con quelli imminenti che assomiglieranno a GPT-3.

Per quanto riguarda la traduzione, i modelli di traduzione automatica neurale SOTA (NMT) supervisionati sono i leader indiscussi in questo dominio.

Tuttavia, GPT-3 riflette la sua forza nel LM inglese, soprattutto quando traduce in inglese. I ricercatori affermano inoltre che “GPT-3 supera in modo significativo il precedente lavoro NMT senza supervisione durante la traduzione in inglese, ma ha prestazioni inferiori durante la traduzione nell’altra direzione”.

Come usare ChatGPT?

ChatGPT è un’app creata da OpenAI utilizzando il suo modello di linguaggio GPT-3 (Generative Pre-trained Transformer 3).

Serve sia come modo per raccogliere dati dagli utenti e sia come demo per la potenza di GPT-3. Esistono altri strumenti basati su GPT-3 che utilizzano il modello per generare contenuti in modi diversi, ad esempio scrivendo post di blog o riformulando email.

ChatGPT è impostato per agire come un chatbot e un partner di conversazione, ma si ha ancora accesso al modello GPT-3 sottostante.

ChatGPT può essere un ottimo partner per il brainstorming. È come avere un’altra persona con cui parlare, anche se forse non è l’esperto più qualificato.

Anche se si può contare su di esso per ottenere ogni fatto in modo corretto, può anche creare alcuni buoni giri di parole.

È particolarmente utile se un utente ritiene di essere più bravo a scrivere contenuti di lunga durata rispetto a titoli accattivanti o testi pubblicitari.

Certamente non fornirà una copia perfetta da un prompt, ma se gli vengono chiesti un sacco di suggerimenti, è possibile ottenere un mucchio di idee per il test A/B.

I suoi suggerimenti sono almeno alla pari con il tipo di cose che vengono escogitate in 30 minuti di brainstorming, ma in modo più veloce.

È possibile anche dargli delle indicazioni per ottenere una copia migliore: ad esempio, si potrebbe chiedere di emulare la voce di un marchio o di non mettere troppi punti esclamativi.

Una delle cose in cui ChatGPT è il migliore è riassumere il testo che gli viene dato. Quando gli viene chiesto di inventare qualcosa di totalmente nuovo, è un po’ come un gioco da ragazzi.

Si potrebbe ottenere qualcosa di eccezionale, ma quando gli viene dato qualche centinaio di parole su cui lavorare, è molto meno probabile che manchi il bersaglio.

Ciò lo rende davvero ottimo per scrivere meta descrizioni SEO. Per onestà, le meta descrizioni sembrano tutte veramente scritte da un bot, quindi perché non farlo fare a un bot vero?

L’output approssimativo di ChatGPT può creare una buona struttura su cui lavorare per un post sul blog.

Sebbene ChatGPT possa offrire occasionali grandi giri di parole, fa fatica a fornire in modo affidabile una copia eccezionale.

Lasciato a sé stesso, generalmente sforna un italiano stereotipato, in stile liceo, piuttosto che qualsiasi cosa che possa invogliare le persone a leggere un post.

È impressionante che un computer possa scrivere in questo modo, ma non è una ragione sufficiente per pubblicare semplicemente ciò che scrive senza un po’ di editing.

ChatGPT mostra il suo meglio quando gli vengono date più opzioni e poi si modificano le cose personalmente, piuttosto che trattarlo come uno strumento pratico.

È anche importante ricordare che quasi tutto ciò che ChatGPT emette suona plausibile e sembra ragionevolmente coerente.

Sfortunatamente, a volte è un’assurdità dal suono plausibile. Ad esempio, utilizzando ChatGPT per generare un elenco di blog popolari che trattano il lavoro da remoto, dei cinque suggeriti, tre erano collegamenti non più esistenti, uno era un sito di marketing per un sensitivo e uno era un sito di lavoro a distanza.

Tutti gli URL e le descrizioni sembravano plausibili, ma in realtà non erano informazioni utili. Se in realtà non viene confermato ciò che ha detto ChatGPT, è probabile che l’utente venga ingannato.