ChatGPT fallisce nel diagnosticare accuratamente i casi medici pediatrici

ChatGPT non è in grado di diagnosticare accuratamente i casi medici pediatrici, secondo uno studio pubblicato su JAMA Pediatrics. Condotto da ricercatori del Cohen Children's Medical Center di New York, ha valutato le prestazioni di ChatGPT nella diagnosi di 100 casi medici pediatrici pubblicati tra il 2013 e il 2023.

La ricerca ha rilevato che ChatGPT ha avuto un tasso di accuratezza del solo 17% nella diagnosi di casi medici pediatrici, rispetto a un tasso di accuratezza del 39% nella diagnosi di casi medici generali. Il tasso di successo piuttosto basso suggerisce che i pediatri non rimarranno presto senza lavoro.

I ricercatori ritengono che le scarse prestazioni di ChatGPT siano dovute a due fattori principali. Il primo è la difficoltà del modello nel riconoscere le relazioni tra le condizioni mediche: ad esempio, in un caso ChatGPT ha diagnosticato una cisti del solco branchiale, una condizione benigna, quando la diagnosi corretta era una sindrome branchio-oto-renale, una condizione genetica rara che può causare malformazioni. In un altro caso non è stata stabilita la connessione tra autismo e scorbuto (carenza di vitamina C), un fattore di rischio del quale si dovrebbe tenere conto in fase di diagnosi.

Il secondo fattore è la mancanza di accesso ai dati medici: ChatGPT è stato addestrato su un dataset di testo e codice, che includeva solo una piccola quantità di dati medici.

Curiosit 06 Dic

I ricercatori suggeriscono che ChatGPT potrebbe essere migliorato qualora venisse addestrato in modo specifico e selettivo su letteratura medica accurata e affidabile, inoltre dovrebbe avere un completo accesso in tempo reale ai dati dei pazienti.

Nonostante questi limiti, i ricercatori ritengono che i chatbot AI potrebbero comunque essere uno strumento prezioso nella cura clinica, in particolare per attività come la prenotazione di appuntamenti, la risposta alle domande dei pazienti e la fornitura di informazioni educative. "Questi risultati sottolineano l'importanza di ulteriori ricerche per migliorare l'accuratezza e l'efficacia degli chatbot AI per l'uso clinico", hanno affermato i ricercatori.

Nel frattempo il mondo dei chatbot e degli strumenti AI è ormai parte integrante della nostra vita e c'è una vera e propria corsa allo sviluppo di soluzioni sempre più avanzate. Google sta introducendo il suo nuovo LLM, Gemini AI, alla base di Bard e degli altri servizi AI proprietari. A proposito di Google Bard, l'azienda ha deciso di utilizzare Reddit per sondare quali sarebbero le funzionalità più richieste dagli utenti in questo 2024 e possiamo dirvi che molte di queste arriveranno con il debutto di Gemini.

Nel frattempo OpenAI è saldamente in testa con il suo GPT-4: questo LLM è alla base di ChatGPT a pagamento, ma può essere utilizzato anche all'interno di Copilot di Microsoft, gratuitamente. A proposito di Copilot, lo sapevate che è disponibile come applicazione sia su Android sia su iOS?