Il team di ricerca ha condotto migliaia di esperimenti per valutare la capacità degli LLM di affrontare compiti mai incontrati prima. I risultati hanno dimostrato che le abilità di questi modelli si basano su una combinazione di capacità di seguire istruzioni tramite l’apprendimento in contesto (ICL), memoria e competenza linguistica, confermando sia le potenzialità sia i limiti di questi modelli.
Durante la 62ª Riunione Annuale dell’Association for Computational Linguistics (ACL 2024), è stato sottolineato che, con l’aumento delle dimensioni dei dataset utilizzati per l’addestramento, questi modelli diventeranno sempre più capaci di generare un linguaggio sofisticato e di migliorare nell’eseguire prompt dettagliati ed espliciti. Tuttavia, è altamente improbabile che acquisiscano abilità nel ragionamento complesso.
Il Dr. Harish Tayyar Madabushi ha osservato che la paura diffusa riguardo a queste tecnologie sta ostacolando la loro adozione e sviluppo su larga scala, distogliendo l’attenzione da problemi realmente significativi, come la produzione di notizie false o il rischio aumentato di frodi.
La Professoressa Iryna Gurevych ha aggiunto che, sebbene i risultati dello studio non suggeriscano che l’intelligenza artificiale non presenti alcun rischio, essi dimostrano attraverso prove concrete che le preoccupazioni relative all’emergere spontaneo di capacità cognitive complesse negli LLM sono infondate. Pertanto, le ricerche future dovrebbero focalizzarsi su altri rischi associati a questi modelli.
Nel rapporto conclusivo presentato alla conferenza ACL 2024, viene ribadita la necessità per gli utenti finali di specificare chiaramente ciò che richiedono dai modelli LLM, fornendo esempi dove possibile, tranne nei compiti più semplici.