Google Search presenta EdiT5 un nuevo modelo de IA de edición de texto con función de corrección gramatical en Google Search

Google Search presenta EdiT5, un nuevo modelo de IA para edición de texto con función de corrección gramatical en Google Search

En un avance revolucionario, Google ha introducido una innovadora función de corrección de gramática en su motor de búsqueda, impulsada por el modelo EdiT5. Este enfoque revolucionario aborda los desafíos planteados por la corrección de errores gramaticales complejos (GEC), asegurando una alta precisión y recuperación al tiempo que ofrece resultados con una velocidad excepcional.

Tradicionalmente, la GEC se ha abordado como un problema de traducción, utilizando modelos autoregresivos Transformer. Si bien es efectivo, este método carece de eficiencia, ya que la decodificación autoregresiva limita la paralelización. Reconociendo la necesidad de un proceso más eficiente, el equipo detrás de EdiT5 reinventó la GEC como un problema de edición de texto. Al emplear la arquitectura codificador-decodificador T5 Transformer, redujeron significativamente los pasos de decodificación, minimizando la latencia.

El modelo EdiT5 toma una entrada con errores gramaticales y utiliza un codificador para determinar qué tokens conservar o eliminar. Los tokens retenidos forman una salida preliminar, que se puede reordenar opcionalmente utilizando una red de punteros no autoregresiva. Luego, un decodificador inserta los tokens faltantes necesarios para generar una salida gramaticalmente correcta. Es crucial destacar que el decodificador solo opera en tokens ausentes en el borrador, lo que reduce drásticamente el tiempo de procesamiento en comparación con la GEC basada en traducción tradicional.

• Esta Investigación de IA presenta DreamCraft3D Un enfoque jerárquico para crear material en 3D que genera modelos en 3D cohesivos y de alta fidelidad.
• Gráfico de barras agrupadas con barras de error en R
• ¿Te convertirías en un estratega de datos?

Para mejorar aún más la velocidad de decodificación, el equipo simplificó el decodificador a una sola capa mientras aumentaba el tamaño del codificador. Esta ajuste estratégico equilibra eficazmente la carga de trabajo y resulta en una reducción significativa en la latencia. En términos prácticos, esto significa que el modelo EdiT5 logra resultados notables con una latencia promedio impresionante de solo 4.1 milisegundos.

Las evaluaciones de rendimiento en el benchmark público de corrección de errores gramaticales BEA demuestran la superioridad de EdiT5. Un modelo grande de EdiT5 con 391 millones de parámetros supera a un modelo base de T5 con 248 millones de parámetros, obteniendo puntajes F0.5 más altos, los cuales miden la precisión de la corrección. Esta mejora se acompaña de una asombrosa aceleración de 9 veces, lo que demuestra la eficiencia excepcional del modelo.

Además, el estudio subraya el papel fundamental del tamaño del modelo en generar correcciones gramaticales precisas. Al aprovechar una técnica conocida como destilación dura, el equipo combina las ventajas de los grandes modelos de lenguaje (LLMs) con la baja latencia de EdiT5. Al entrenar un LLM profesor y utilizarlo para generar datos de entrenamiento para el modelo EdiT5 estudiante, se logra una poderosa sinergia entre precisión y velocidad.

El proceso de desarrollo también implicó refinar los datos de entrenamiento para garantizar un rendimiento óptimo. Los conjuntos de entrenamiento, compuestos por pares de oraciones de origen no gramaticales y objetivo gramatical, fueron sometidos a un riguroso autotratamiento y refinamiento iterativo. Este enfoque meticuloso eliminó de manera efectiva la parafraseo innecesario, los artefactos y los errores gramaticales, lo que resultó en datos de entrenamiento más limpios y consistentes.

En la implementación final, se entrenaron dos modelos basados en EdiT5: un modelo de corrección de errores gramaticales y un clasificador de grammaticalidad. Cuando un usuario utiliza la función de verificación de gramática, la consulta pasa por una corrección por parte del modelo antes de ser validada por el clasificador. Este proceso de dos pasos garantiza que solo se presenten correcciones precisas al usuario, reduciendo el riesgo de sugerencias erróneas o confusas.

Con la introducción de la función de verificación de gramática impulsada por EdiT5, la Búsqueda de Google establece un nuevo estándar de corrección gramatical eficiente y precisa. Los usuarios ahora pueden evaluar con confianza la gramaticalidad de sus consultas simplemente incluyendo la frase “verificación de gramática” en su búsqueda. Este hito en el procesamiento del lenguaje natural reafirma el compromiso de Google de mejorar la experiencia del usuario y proporcionar resultados de búsqueda confiables y precisos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!