Chatbotovi (pod)jednaki dijagnostičari kao „nespecijalisti“
Meta-studija koji su istraživači sa Sveučilišta Osaka Metropolitan proveli koristeći 83 ranije studije o učinkovitosti chatbotova u dijagnosticiranju pokazuje da ovi sustižu liječnike
U publikaciji npj Digital Medicine objavljena je meta-studija japanskih istraživača sa Sveučilišta Osaka Metropolitan koja je korištenjem 83 prethodne studije na tu temu došla do (pouzdanije) zaključka da tehnologija sustiže ljudske kliničare.
U usporedbi s medicinskim specijalistima, ljudi su zadržali prednost od 15,8% u točnosti. Međutim, kada su uspoređeni sa nespecijalistima, napredni AI modeli poput GPT-4, Claude 3 Opus i Gemini 1.5 Pro pokazali su gotovo jednaku učinkovitost.
(Da se ne bi netko ponadao, ovo „nespecijalisti“ ne znači „nisam doktor, ali mogu pogledati…“, već se odnosi na studente medicine i specijalizante, dakle, one koji su ipak u struci…)
Analiza je ispitala oko 30 različitih AI sustava, pri čemu je ChatGPT bio najčešće proučavan. Ukupno, ovi digitalni dijagnostičari postigli su prosječnu točnost od 52,1%, iako je učinkovitost varirala između sustava. Kao ljudi iz računalne domene vjerojatno ćete uočiti da je ova točnost slična uspjehu kod generiranja računalnog koda od strane LLM-ova, gdje prosjeci također variraju od 50-tak do 60-tak postotaka.
Da se vratimo na medicinu: AI nije jednako vješt u svim specijalizacijama. Posebno dobro se pokazao u dermatologiji, dok je više poteškoća imao s urološkim slučajevima, što je u skladu s ranijim istraživanjima koja pokazuju da AI prednjači u vizualno orijentiranim specijalizacijama.
Istraživači ne predlažu potpuno prepuštanje dijagnostike strojevima, već korištenje kao pomoć liječnicima uz potrebu za dodatnim rafiniranjem i sposobnostima AI sustava.
