El lenguaje es uno de los principales rasgos que diferencia a los seres humanos de otras especies. De d\u00f3nde proceden, c\u00f3mo se aprende y por qu\u00e9 las personas han sido capaces de desarrollar este complejo sistema de comunicaci\u00f3n ha generado muchos interrogantes a ling\u00fcistas y cient\u00edficos de diversos campos de la investigaci\u00f3n. En los \u00faltimos a\u00f1os se ha avanzado mucho a la hora de intentar ense\u00f1ar el lenguaje a los ordenadores, lo que ha dado lugar a la aparici\u00f3n de los llamados grandes modelos de lenguaje, tecnolog\u00edas entrenadas a partir de enormes cantidades de datos que son la base de algunas aplicaciones de inteligencia artificial (IA): motores de b\u00fasqueda, traductores autom\u00e1ticos o conversores de audio a texto, por ejemplo.<\/p>\n
Pero, \u00bfc\u00f3mo son las capacidades ling\u00fc\u00edsticas de estos modelos? \u00bfSe pueden equiparar a las de un ser humano? Un equipo investigador liderado por la URV con participaci\u00f3n de la Universidad Humboldt de Berl\u00edn, la Universitat Aut\u00f2noma de Barcelona (UAB) y la Instituci\u00f3n Catalana de Investigaci\u00f3n y Estudios Avanzados (ICREA) puso a prueba estos sistemas para comprobar si realmente tienen capacidades ling\u00fc\u00edsticas equiparables a las de las personas. Para ello compararon la habilidad humana con la de los tres mejores grandes modelos de lenguaje disponibles actualmente: dos basados en GPT3, adem\u00e1s de ChatGPT, basado en GP3.5.<\/p>\n
Se les asign\u00f3 una tarea f\u00e1cilmente ejecutable para las personas: a partir de muchos tipos distintos de oraciones deb\u00edan identificar al momento si esta estaba gramaticalmente bien formada en su lengua materna o no. Tanto a los humanos que participaron en este experimento como a los modelos del estudio se les hizo una pregunta muy simple: \u00ab\u00bfEsta oraci\u00f3n es gramaticalmente correcta?\u00bb.<\/p>\n
Los resultados demostraron que los humanos respondieron correctamente mientras que los grandes modelos de lenguaje dieron muchas respuestas err\u00f3neas. De hecho, se detect\u00f3 que adoptaron una estrategia predeterminada que consist\u00eda en responder \u00abs\u00ed\u00bb la mayor\u00eda de las veces, independientemente de si la respuesta era correcta o no.<\/p>\n
\u00abEl resultado es sorprendente, ya que a estos sistemas se les instruye seg\u00fan lo que es gramaticalmente correcto o no en un idioma\u00bb, explica Vittoria Dentella, investigadora del Departamento de Estudios Ingleses y Alemanes, que ha liderado el estudio. Los evaluadores humanos capacitan a estos grandes modelos de lenguaje expl\u00edcitamente sobre el estado de gramaticalidad de las construcciones que pueden encontrar. A trav\u00e9s del proceso de aprendizaje reforzado a partir de la retroalimentaci\u00f3n humana, a estos modelos se les pondr\u00e1 ejemplos de frases que no est\u00e1n gramaticalmente bien construidas y se les dar\u00e1 la correcta versi\u00f3n. Este tipo de instrucci\u00f3n es parte fundamental de su \u201centrenamiento\u201d. Esto, en cambio, no ocurre en los humanos. \u201cSi bien las personas que educan a un beb\u00e9 pueden corregirle ocasionalmente la forma en que habla, esto no ocurre constantemente ni en todas las comunidades ling\u00fc\u00edsticas del mundo\u201d, afirma la investigadora.<\/p>\n
El estudio, pues, pone de manifiesto que existe un doble desajuste entre humanos y IA. Las personas no tienen acceso a \u201cevidencia negativa\u201d \u2014sobre lo que no es gramaticalmente correcto en el idioma que se hable\u2014, mientras que los grandes modelos de lenguaje tienen un amplio acceso a esta informaci\u00f3n a trav\u00e9s de la retroalimentaci\u00f3n humana, pero aun as\u00ed no pueden reconocer fallos gramaticales triviales, mientras que los humanos pueden hacerlo instant\u00e1neamente y sin esfuerzo.<\/p>\n
\u201cDesarrollar herramientas \u00fatiles y seguras de inteligencia artificial puede ser muy \u00fatil, pero pasa necesariamente por determinar sus limitaciones. Dado que la mayor\u00eda de las aplicaciones de IA dependen de la comprensi\u00f3n de \u00f3rdenes dadas en lenguaje natural, determinar estas limitaciones en el manejo de la gram\u00e1tica, como hemos hecho en este estudio, es de vital importancia\u201d, se\u00f1ala Evelina Leivada, profesora de investigaci\u00f3n ICREA en el Departamento de Filolog\u00eda Catalana de la UAB.<\/p>\n
\u201cCon estos resultados pensamos que es necesaria una reflexi\u00f3n cr\u00edtica sobre las afirmaciones que atribuyen a las IA capacidades ling\u00fc\u00edsticas similares a las de las personas\u201d, concluye Dentella, quien considera que adoptar estos modelos de lenguaje como teor\u00edas de lenguaje humano no est\u00e1 justificado en la etapa actual de su desarrollo.<\/p>\n
Referencia bibliogr\u00e1fica: <\/strong>Systematic testing of three Language Models reveals low Language accuracy, absence of response stability, and a yes-response bias. Vittoria Dentella<\/a>, Fritz G\u00fcnther and Evelina Leivada<\/a>. PNAS<\/em>. https:\/\/doi.org\/10.1073\/pnas.2309583120<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" Una investigaci\u00f3n liderada por la URV en colaboraci\u00f3n con la UAB pone de manifiesto que el ser humano puede reconocer errores gramaticales en una oraci\u00f3n en la que la IA falla<\/p>\n","protected":false},"author":5,"featured_media":119188,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[117,102,3469,253,100,4260,123],"tags":[4888],"class_list":["post-119190","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia-y-tecnologia","category-comunicacion-ciencia","category-estudios-ingleses-alemanes","category-facultad-letras","category-investigacion","category-cofund-es","category-notas-prensa","tag-ia-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/posts\/119190","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/comments?post=119190"}],"version-history":[{"count":0,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/posts\/119190\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/media\/119188"}],"wp:attachment":[{"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/media?parent=119190"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/categories?post=119190"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/diaridigital.urv.cat\/es\/wp-json\/wp\/v2\/tags?post=119190"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}