Expertos explican cómo es Reformer, la nueva red neuronal de Google

INFOBAE.- Uno de los desafíos más grandes a la hora de hablar de inteligencia artificial es lograr que el sistema comprenda de manera efectiva y rápida el contexto. Entender contenido que se da en secuencias como ocurre en la música, los videos o en cualquier lenguaje requiere de una buena comprensión del contexto.

En el dominio del lenguaje, las redes neuronales de memoria a largo plazo (LSTM, por sus siglas en inglés) cubren suficiente contexto para traducir oración por oración de un texto. El modelo Transformer empleado por Google no solo mejoró el rendimiento en la traducción de oración por oración, sino que también podría usarse para generar artículos completos a través de un resumen de múltiples documentos; así como para producir fotos y música.

Ahora Google anunció la llegada de Reformer, una versión mejorada de Transformer. Este modelo está diseñado para manejar ventanas de contexto (se denomina así al rango de datos que se tienen en cuenta en la traducción) de hasta 1 millón de palabras, usando solo 16GB de memoria.

El modelo combina dos técnicas para resolver los problemas de atención y asignación de memoria que limitan la aplicación de Transformer a ventanas de contexto largas. Reformer utiliza hash sensible a la localidad (LSH) para reducir la complejidad de asistir a secuencias largas; y capas residuales reversibles para usar de manera más eficiente la memoria disponible.

En Google hicieron una prueba con Reformer: lo emplearon para completar imágenes parciales. Cuando se le muestra al fragmentos de fotos, el sistema es capaz de generar una imagen completa píxel por píxel.

Pero hay algo más: Reformer también puede procesar novelas completas y en un solo dispositivo. Google contó en su comunicado que Reformer pudo procesar la novela Crimen y el castigo de una sola vez.

“En el futuro, cuando haya más conjuntos de datos con texto de formato largo para entrenar, técnicas como Reformer pueden hacer posible generar composiciones largas y coherentes”, se concluye en el texto.

BERT, el cambio en el algoritmo de Google que mejora las búsquedas

En septiembre de 2019 Google dio a conocer un cambio importante en su algoritmo que permite optimizar las búsquedas, por medio de la técnica denominada BERT, que favorece la interpretación de las frases en contextos. Y en diciembre se anunció que esta herramienta, que hasta ahora sólo estaba disponible en inglés, comenzaría a estar disponible en español, portugués entre otro y que desembarcaba, además, en más de 20 piases.

El gran aporte de BERT es que permite una interpretación bidireccional, es decir que para interpretar un término en contexto se tiene en cuenta tanto la palabra que le antecede como la que tiene a continuación.

Así, por ejemplo, en la oración “accedí a la clave bancaria”, el concepto “clave” es interpretado teniendo en cuenta el fragmento “accedí a” y “bancaria”. A esto se refiere el concepto de interpretación bidireccional.

BERT permite poder resolver algunas interpretaciones que, de otro modo, podrían resultar ambiguas. Si, por ejemplo, se escribe en el buscador “2020 turista a Tailandia necesita certificado vacuna” se entenderá con mayor precisión que la búsqueda es de información para saber si es condición tener este documento.

BERT también aprende a modelar las relaciones entre oraciones mediante el entrenamiento previo en una tarea que se puede generar a partir de cualquier corpus de texto.

últimas noticias
Cristian Casa Blanca pagará cuatrimestre a 200 estudiantes de O&M

El numerólogo Cristian Casa Blanca publicó un video en sus redes sociales donde anunciaba que iba a pagar el cuatrimestre 200 estudiantes de la universidad O&M.

jueves 09 abril, 2020 | 10:26:34 AM
Detienen personas bañándose en piscina y fumando hooka durante toque de queda

Dos empleados del equipo de seguridad del negocio Mixer Vip Pool, fueron encontrados por agentes de la Policía Nacional la noche del martes en el área de la piscina junto a tres ...

jueves 09 abril, 2020 | 10:09:50 AM
Cardi B dice donará 1 millón de dólares a personas que hayan sido afectadas por el coronavirus

La cantante Cardi B anunció este miércoles a través de su cuenta de Instagram que donará junto a la firma de moda “Fashion Nova”  1 millón de dólares a personas que haya ...

miércoles 08 abril, 2020 | 9:42:03 PM
Lady Gaga llama a expertos en tecnología a unirse en la lucha contra el coronavirus

Lady Gaga llamó este martes a los desarrolladores, programadores y otros expertos en tecnología a que se unan para poder frenar la pandemia del coronavirus. miércoles 08 abril, 2020 | 8:20:45 PM

APS ARS dona materiales para personal médico ante emergencia sanitaria por coronavirus

Con el fin de salvaguardar la salud de estos ante la situación de emergencia generada por el coronavirus. miércoles 08 abril, 2020 | 7:40:43 PM

Luisito Pie: "El deporte me ha permitido ayudar a otros"

El dominicano, que ha vivido grandes logros, dijo en una conversación para ESPN que agradece cómo sus éxitos deportivos le han permitido realizar algo mucho más importante: a ... miércoles 08 abril, 2020 | 5:07:48 PM

Eloy exhorta a detener la propagación del virus

Cuando terminó una conferencia telefónica con el dominicano Eloy Jiménez la noche del martes, dedicó estas palabra “tengan buenas noches, disfruten su cena y quédense en cas ... miércoles 08 abril, 2020 | 4:51:49 PM