¿Cuántas palabras conoce ChatGPT?

ChatWords permite evaluar el conocimiento léxico que ChatGPT tiene de diferentes idiomas. Pixabay

Investigadores de la Universidad Politécnica de Madrid (UPM), junto a colegas de la Universidad Carlos III de Madrid y la Universidad de Valladolid, se propusieron responder a la pregunta. Para ello, han desarrollado la aplicación ChatWords, que permite evaluar el conocimiento léxico que el sistema de inteligencia artificial tiene de diferentes idiomas.

Su estudio inicial de las más de 90.000 palabras contenidas en el diccionario de la Real Academia de la Lengua muestra que el modelo ChatGPT3.5turbo desconoce aproximadamente el 20 %. Y no solo eso. Del 80 % restante, ofrece significados erróneos en algunos casos, en torno al 5 %.

La última versión de ChatGPT desconoce aproximadamente el 20 % del léxico español y del 80 % restante, ofrece significados erróneos en torno al 5 %

Para entender mejor los resultados, conviene tener en cuenta que un hispanohablante reconoce 30.000 palabras de media, es decir, casi un tercio del léxico español. Puede parecer un dato pobre frente a la máquina.

“Pero como pasa muchas veces con los sistemas de IA, no es oro todo lo que reluce, y analizando los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto”, afirma Javier Conde, profesor ayudante en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la UPM y uno de los participantes en el trabajo. “Quizás ChatGPT no sea hoy en día tan sabio como aparenta”, añade.

Garantizar la riqueza léxica en la IA

Es razonable pensar que los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), basados en inteligencia artificial y diseñados para procesar y comprender lenguaje natural en una escala enorme, no utilizarán palabras que desconocen. Por tal motivo, surge otra preocupación.

La aplicación española ChatWords es de código abierto y está diseñada para ser fácil de usar y ampliar

Para Pedro Reviriego, coautor del trabajo y profesor titular de ETSIT, resulta “muy factible un escenario en que el contenido recién generado tenga un número cada vez menor de palabras distintas. Por tanto, es fundamental garantizar la riqueza léxica en el texto creado por inteligencia artificial”, sostiene.

La aplicación ChatWords es de código abierto y está diseñada para ser fácil de usar y ampliar. El siguiente paso de los investigadores es evaluar otros idiomas y LLM para comprender mejor el conocimiento léxico que tienen las herramientas de inteligencia artificial y cómo evoluciona a medida que aparecen nuevas versiones y herramientas.

Su trabajo se enmarca en el proyecto Redes del Futuro para Centros de Procesados de Datos y Operadores, financiado por la Agencia Estatal de Investigación, y cuenta con el apoyo de OpenAI, laboratorio estadounidense responsable de ChatGPT, a través de su programa de acceso a investigadores.

Referencia:

Gonzalo Martínez et al. “How many words does ChatGPT know? The answer is ChatWords”. arXiv (2023).