ESCUCHARSegún detalla el documento de la OIT, los transformadores generativos pre entrenados (GPT, por sus siglas en inglés de Generative Pre-Trained Transformers) pertenecen a la familia de los grandes modelos de lenguaje, un tipo de modelo de aprendizaje automático basado en redes neuronales.
Específicamente, la palabra “generativa” refiere a su capacidad para “producir resultados de naturaleza creativa, que en los modelos de lenguaje pueden tomar la forma de oraciones, párrafos o estructuras de texto completas, con características a menudo indistinguibles de las producidas por los humanos”.
Por otro lado, la referencia de “pre entrenamiento” está relacionada al entrenamiento inicial sobre la base de un gran corpus de datos de texto. Esto se realiza típicamente a través del aprendizaje no supervisado o autosupervisado, durante el cual el modelo aprende sobre la estructura del texto. Vale señalar que, previamente al entrenamiento, dichos modelos se perfeccionan aún más con el uso de datos etiquetados y el llamado «aprendizaje por refuerzo». Esta fase de la formación se percibe a menudo como un trabajo especializado, ejecutado por expertos técnicos.
En este caso, el requisito previo es la producción de grandes cantidades de datos etiquetados, normalmente realizada por trabajadores en plataformas de crowdsourcing.
Finalmente, la referencia a “transformadores” se refiere a la arquitectura del modelo subyacente, que utiliza numerosos mecanismos para desarrollar los elementos del texto, como las palabras en una oración, que posteriormente se utilizan para predicciones.
