La capacità di ChatGPT di fornire risposte via chat a qualsiasi domanda in qualsiasi momento rende il chatbot una risorsa utile per le tue esigenze informative. Nonostante la convenienza, un nuovo studio rileva che potresti non voler utilizzare ChatGPT per affermazioni di ingegneria del software.
Prima dell’avvento dei chatbot AI, Stack Overflow era la risorsa principale per i programmatori che avevano bisogno di consigli per i loro progetti, con un modello di domande e risposte simile a ChatGPT.
Anche: Come impedire al nuovo web crawler di addestramento AI di OpenAI di importare i tuoi dati
Tuttavia, con Stack Overflow devi aspettare che qualcuno risponda alla tua domanda mentre con ChatGPT non lo fai.
Di conseguenza, molti ingegneri e programmatori di software si sono rivolti a ChatGPT con le loro domande. Poiché non ci sono dati che mostrino quanto sia efficace ChatGPT nel rispondere a questi tipi di richieste, il Studio della Purdue University Indaga sul dilemma.
Per vedere quanto sia efficace ChatGPT nel rispondere alle affermazioni di ingegneria del software, i ricercatori hanno inviato domande a ChatGPT 517 Stack Overflow e hanno esaminato l’accuratezza e la qualità di queste risposte.
Anche: Come utilizzare ChatGPT per scrivere codice
I risultati hanno mostrato che su 512 domande, 259 (52%) delle risposte di ChatGPT erano errate e solo 248 (48%) erano corrette. Inoltre, il 77% delle risposte era prolisso.
Sebbene le risposte fossero significativamente imprecise, i risultati hanno mostrato che le risposte erano complete il 65% delle volte e affrontavano tutti gli aspetti della domanda.
Per analizzare ulteriormente la qualità delle risposte di ChatGPT, i ricercatori hanno chiesto a 12 partecipanti con diversi livelli di esperienza di programmazione di fornire le loro opinioni sulle risposte.
Anche: Il team rosso di Microsoft monitora l’IA dal 2018. Ecco cinque grandi intuizioni
Sebbene i partecipanti preferissero le risposte Stack Overflow rispetto a ChatGPT in diverse categorie, come evidenziato dal grafico, i partecipanti non sono riusciti a identificare correttamente le risposte errate generate da ChatGPT il 39,34% delle volte.
Secondo lo studio, risposte ben articolate nei punteggi ChatGPT hanno fatto sì che gli utenti trascurassero informazioni errate nelle risposte.
“Gli utenti ignorano le informazioni errate nelle risposte di ChatGPT (39,34% delle volte) a causa delle intuizioni umane complete, ben dettagliate nelle risposte di ChatGPT”, hanno scritto gli autori.
Anche: Come ChatGPT può riscrivere e migliorare il codice esistente
La generazione di risposte apparentemente plausibili e errate è un problema importante in tutti i chatbot perché consente la diffusione di disinformazione. Oltre a questo rischio, i punteggi di accuratezza inferiori dovrebbero essere sufficienti per farti riconsiderare l’utilizzo di ChatGPT per questi tipi di reclami.
