Expertos explican cómo es Reformer, la nueva red neuronal de Google

INFOBAE.- Uno de los desafíos más grandes a la hora de hablar de inteligencia artificial es lograr que el sistema comprenda de manera efectiva y rápida el contexto. Entender contenido que se da en secuencias como ocurre en la música, los videos o en cualquier lenguaje requiere de una buena comprensión del contexto.

En el dominio del lenguaje, las redes neuronales de memoria a largo plazo (LSTM, por sus siglas en inglés) cubren suficiente contexto para traducir oración por oración de un texto. El modelo Transformer empleado por Google no solo mejoró el rendimiento en la traducción de oración por oración, sino que también podría usarse para generar artículos completos a través de un resumen de múltiples documentos; así como para producir fotos y música.

Ahora Google anunció la llegada de Reformer, una versión mejorada de Transformer. Este modelo está diseñado para manejar ventanas de contexto (se denomina así al rango de datos que se tienen en cuenta en la traducción) de hasta 1 millón de palabras, usando solo 16GB de memoria.

El modelo combina dos técnicas para resolver los problemas de atención y asignación de memoria que limitan la aplicación de Transformer a ventanas de contexto largas. Reformer utiliza hash sensible a la localidad (LSH) para reducir la complejidad de asistir a secuencias largas; y capas residuales reversibles para usar de manera más eficiente la memoria disponible.

En Google hicieron una prueba con Reformer: lo emplearon para completar imágenes parciales. Cuando se le muestra al fragmentos de fotos, el sistema es capaz de generar una imagen completa píxel por píxel.

Pero hay algo más: Reformer también puede procesar novelas completas y en un solo dispositivo. Google contó en su comunicado que Reformer pudo procesar la novela Crimen y el castigo de una sola vez.

“En el futuro, cuando haya más conjuntos de datos con texto de formato largo para entrenar, técnicas como Reformer pueden hacer posible generar composiciones largas y coherentes”, se concluye en el texto.

BERT, el cambio en el algoritmo de Google que mejora las búsquedas

En septiembre de 2019 Google dio a conocer un cambio importante en su algoritmo que permite optimizar las búsquedas, por medio de la técnica denominada BERT, que favorece la interpretación de las frases en contextos. Y en diciembre se anunció que esta herramienta, que hasta ahora sólo estaba disponible en inglés, comenzaría a estar disponible en español, portugués entre otro y que desembarcaba, además, en más de 20 piases.

El gran aporte de BERT es que permite una interpretación bidireccional, es decir que para interpretar un término en contexto se tiene en cuenta tanto la palabra que le antecede como la que tiene a continuación.

Así, por ejemplo, en la oración “accedí a la clave bancaria”, el concepto “clave” es interpretado teniendo en cuenta el fragmento “accedí a” y “bancaria”. A esto se refiere el concepto de interpretación bidireccional.

BERT permite poder resolver algunas interpretaciones que, de otro modo, podrían resultar ambiguas. Si, por ejemplo, se escribe en el buscador “2020 turista a Tailandia necesita certificado vacuna” se entenderá con mayor precisión que la búsqueda es de información para saber si es condición tener este documento.

BERT también aprende a modelar las relaciones entre oraciones mediante el entrenamiento previo en una tarea que se puede generar a partir de cualquier corpus de texto.

últimas noticias
CESFRONT detiene jeepeta con 40 mil unidades de cigarrillos

De igual modo fue retenida la motocicleta marca BENYE color, la cual era conducida por otra persona de generales desconocidas que también emprendió la huida, para franquear el je ...

martes 18 febrero, 2020 | 3:00:18 PM
Confirman técnico investigado por la Policía Nacional es empleado de Claro

La empresa de telecomunicaciones Claro Dominicana, emitió este martes un comunicado en el que confirmó que el técnico que fue detenido por la Policía Nacional para fines de inv ...

martes 18 febrero, 2020 | 2:11:00 PM
Francisco Fernández: “nada humano impedirá triunfo del PRM en Santo Domingo Norte”

El candidato a alcalde dice que “la Junta Central Electoral demostró su incompetencia, su falta de capacidad, pero, sobre todo, evidenció la falta de certeza, legalidad y tran ...

martes 18 febrero, 2020 | 11:56:41 AM
Muere dominicano durante choque vehicular en el Alto Manhattan

Un dominicano de 45 años, no identificado por las autoridades, murió la madrugada de este domingo durante un choque ocurrido en la calle 204 con la avenida Sherman en el Alto Ma ... martes 18 febrero, 2020 | 11:46:11 AM

Suspenden a lanzador de Astros por 162 juegos

Una segunda suspensión le costará al lanzador dominicano de los Astros, Francis Martes, toda la temporada del 2020, luego de dar positivo por Boldenone, una sustancia para mejora ... martes 18 febrero, 2020 | 11:33:00 AM

Escobar llega listo tras pasar susto en Venezuela

Reveló que“me dio un virus en Venezuela y me hospitalizaron”. “Mi cerebro estaba un poco hinchado y estuve en el hospital por unos cinco días. Me asusté, pero afortunadame ... martes 18 febrero, 2020 | 11:27:12 AM

El dominicano Segura listo para defender cualquier posición

Jean Segura tuvo un invierno saludable en su natal República Dominicana. Comió más saludable, bebió menos, durmió más y entrenó duro. martes 18 febrero, 2020 | 11:21:47 AM