La nueva función de diseño de Amazon Textract introduce eficiencias en tareas de procesamiento de documentos de inteligencia artificial generales y generativos.

La nueva función de diseño de Amazon Textract revoluciona el procesamiento de documentos con inteligencia artificial generales y generativos

Amazon Textract es un servicio de aprendizaje automático (ML) que extrae automáticamente texto, escritura a mano y datos de cualquier documento o imagen. AnalyzeDocument Layout es una nueva función que permite a los clientes extraer automáticamente elementos de diseño como párrafos, títulos, subtítulos, encabezados, pies de página y más de los documentos. Layout amplía la detección de palabras y líneas de Amazon Textract agrupando automáticamente el texto en estos elementos de diseño y secuenciándolos según los patrones de lectura humana (es decir, orden de lectura de izquierda a derecha y de arriba abajo).

La creación de soluciones de procesamiento y comprensión de documentos para informes financieros e investigación, transcripciones médicas, contratos, artículos de medios, etc., requiere la extracción de información presente en títulos, encabezados, párrafos, etc. Por ejemplo, al catalogar informes financieros en una base de datos de documentos, extraer y almacenar el título como índice de catálogo permite una fácil recuperación. Antes de la introducción de esta función, los clientes tenían que construir estos elementos utilizando código de posprocesamiento y la respuesta de palabras y líneas de Amazon Textract.

La complejidad de implementar este código se amplifica con documentos con múltiples columnas y diseños complejos. Con este anuncio, la extracción de elementos de diseño que ocurren comúnmente en los documentos se vuelve más fácil y permite a los clientes construir soluciones de procesamiento de documentos eficientes más rápidamente y con menos código.

En septiembre de 2023, Amazon Textract lanzó la función de diseño que extrae automáticamente elementos de diseño como párrafos, títulos, listas, encabezados y pies de página y ordena el texto y los elementos como lo haría un humano. También lanzamos la versión actualizada del kit de herramientas de posprocesamiento de código abierto, diseñado específicamente para Amazon Textract, conocido como Amazon Textract Textractor.

• Aprendizaje automático con MATLAB y Amazon SageMaker
• Cómo Amazon Music utiliza SageMaker con NVIDIA para optimizar el rendimiento y el costo del entrenamiento y la inferencia de machine learning.
• Los hackers están explotando una falla en el software de Citrix a pesar de la solución

En esta publicación, discutimos cómo los clientes pueden aprovechar esta función para cargas de trabajo de procesamiento de documentos. También hablamos sobre un estudio cualitativo que demuestra cómo Layout mejora la precisión de las tareas de inteligencia artificial (IA) generativa tanto para tareas abtractivas como extractivas en cargas de trabajo de procesamiento de documentos que involucran modelos de lenguaje grandes (LLM).

Elementos de diseño

Central para la función de diseño de Amazon Textract son los nuevos elementos de diseño. La función LAYOUT de la API de AnalyzeDocument ahora puede detectar hasta diez elementos de diseño diferentes en una página de un documento. Estos elementos de diseño se representan como tipos de bloque en el JSON de respuesta y contienen la confianza, geometría (es decir, información de cuadro delimitador y polígono) y Relationships, que es una lista de ID correspondientes al tipo de bloque LINE.

• Título – El título principal del documento. Se devuelve como un tipo de bloque LAYOUT_TITLE.
• Encabezado – Texto ubicado en el margen superior del documento. Se devuelve como un tipo de bloque LAYOUT_HEADER.
• Pie de página – Texto ubicado en el margen inferior del documento. Se devuelve como un tipo de bloque LAYOUT_FOOTER.
• Título de sección – Los títulos debajo del título principal que representan secciones en el documento. Se devuelve como un tipo de bloque LAYOUT_SECTION_HEADER.
• Número de página – El número de página del documento. Se devuelve como un tipo de bloque LAYOUT_PAGE_NUMBER.
• Lista – Cualquier información agrupada en forma de lista. Se devuelve como un tipo de bloque LAYOUT_LIST.
• Figura – Indica la ubicación de una imagen en un documento. Se devuelve como un tipo de bloque LAYOUT_FIGURE.
• Tabla – Indica la ubicación de una tabla en el documento. Se devuelve como un tipo de bloque LAYOUT_TABLE.
• Clave Valor – Indica la ubicación de pares clave-valor en un formulario de documento. Se devuelve como un tipo de bloque LAYOUT_KEY_VALUE.
• Texto – Texto que está presente típicamente como parte de párrafos en documentos. Es un contenedor para texto que no está presente en otros elementos. Se devuelve como un tipo de bloque LAYOUT_TEXT.

Cada elemento de diseño puede contener una o más relaciones de LÍNEA, y estas líneas constituyen el contenido textual real del elemento de diseño (por ejemplo, TEXTO_DE_DISEÑO es típicamente un párrafo de texto que contiene múltiples LÍNEAs). Es importante destacar que los elementos de diseño aparecen en el orden de lectura correcto en la respuesta de la API como el orden de lectura en el documento, lo que facilita la construcción del texto de diseño a partir de la respuesta JSON de la API.

Casos de uso de la extracción consciente del diseño

A continuación se presentan algunos de los casos de uso comunes para la nueva función de DISEÑO de AnalyzeDocument.

1. Extracción de elementos de diseño para fines de indexación de búsqueda y catalogación. Los contenidos del TÍTULO_DE_DISEÑO o CABECERA_DE_SECCIÓN_DE_DISEÑO, junto con el orden de lectura, se pueden utilizar para etiquetar o enriquecer los metadatos de manera adecuada. Esto mejora el contexto de un documento en un repositorio de documentos para mejorar las capacidades de búsqueda u organizar documentos.
2. Resumir el documento completo o partes del mismo mediante la extracción de texto en el orden de lectura adecuado y utilizando los elementos de diseño.
3. Extracción de partes específicas del documento. Por ejemplo, un documento puede contener una mezcla de imágenes con texto y otras secciones o párrafos de texto sin formato. Ahora puedes aislar las secciones de texto utilizando el elemento TEXTO_DE_DISEÑO.
4. Mejor rendimiento y respuestas precisas para preguntas y extracciones de entidades en contexto utilizando un LLM.

Existen otros posibles casos de uso de automatización de documentos donde el Diseño puede ser útil. Sin embargo, en esta publicación explicamos cómo extraer elementos de diseño con el fin de ayudar a entender cómo utilizar la función para soluciones tradicionales de automatización de documentación. Discutimos los beneficios de usar Diseño para un caso de uso de preguntas y respuestas de documentos con LLM mediante un método común conocido como Generación Aumentada de Recuperación (RAG), y para el caso de uso de extracción de entidades. Para los resultados de ambos casos de uso, presentamos puntuaciones comparativas que ayudan a diferenciar los beneficios del texto de diseño consciente en contraposición al texto sin formato.

Para resaltar los beneficios, realizamos pruebas para comparar cómo el texto sin formato extraído mediante análisis de imágenes con DetectDocumentText y el texto linealizado consciente del diseño extraído mediante AnalyzeDocument con la función de DISEÑO afecta al resultado de las salidas de preguntas y respuestas en contexto mediante un LLM. Para esta prueba, utilizamos el modelo instantáneo Claude de Anthropic con Amazon Bedrock. Sin embargo, para diseños de documentos complejos, la generación de texto en el orden de lectura adecuado y su posterior segmentación puede ser un desafío, dependiendo de la complejidad del diseño del documento. En las secciones siguientes, discutimos cómo extraer elementos de diseño, y linealizar el texto para construir una aplicación basada en LLM. Específicamente, discutimos la evaluación comparativa de las respuestas generadas por el LLM para la aplicación de preguntas y respuestas de documentos utilizando texto sin formato basado en escaneo de imágenes y texto linealizado consciente del diseño.

Extracción de elementos de diseño de una página

La herramienta Textract Textractor de Amazon puede procesar un documento a través de la API AnalyzeDocument con la función de DISEÑO y posteriormente expone los elementos de diseño detectados a través de la propiedad LAYOUT_DE_PÁGINA de la página y su subpropiedad TÍTULOS, CABECERAS, PIES_DE_PÁGINA, TABLAS, VALORES_CLAVE, NÚMEROS_DE_PÁGINA, LISTAS y FIGURAS. Cada elemento tiene su propia función de visualización, lo que te permite ver exactamente lo que se detectó. Para empezar, debes instalar Textractor usando

pip install amazon-textract-textractor

Como se muestra en el siguiente fragmento de código, el documento news_article.pdf se procesa con la API AnalyzeDocument con la función de DISEÑO. La respuesta da como resultado una variable llamada documento que contiene cada uno de los bloques de diseño detectados de las propiedades.

from textractor import Textractorfrom textractor.data.constants import TextractFeaturesextractor = Textractor(profile_name="default")input_document = "./news_article.pdf"document = extractor.analyze_document(                   file_source=input_document,                   features=[TextractFeatures.LAYOUT],                   save_image=True)document.pages[0].visualize()document.pages[0].page_layout.titles.visualize()document.pages[0].page_layout.headers.visualize()document.pages[0].page_layout.section_headers.visualize()document.pages[0].page_layout.footers.visualize()document.pages[0].page_layout.tables.visualize()document.pages[0].page_layout.key_values.visualize()document.pages[0].page_layout.page_numbers.visualize()document.pages[0].page_layout.lists.visualize()document.pages[0].page_layout.figures.visualize()

Consulta un ejemplo más detallado en la documentación oficial de Textractor.

Linearizar el texto de la respuesta de diseño

Para utilizar las capacidades de diseño, Amazon Textract Textractor se renovó extensivamente para la versión 1.4 con más de 40 opciones de configuración para la linearización. Esto te permite personalizar la salida de texto linearizado según tus necesidades sin mucho esfuerzo. El nuevo linearizador admite todas las API de AnalyzeDocument disponibles actualmente, incluyendo formularios y firmas, lo que te permite agregar elementos de selección al texto resultante sin realizar cambios en el código.

from textractor import Textractorfrom textractor.data.constants import TextractFeaturesfrom textractor.data.text_linearization_config import TextLinearizationConfigextractor = Textractor(profile_name="default")config = TextLinearizationConfig(                         hide_figure_layout=True,                         title_prefix="# ",                         section_header_prefix="## ")document = extractor.analyze_document(                                 file_source=input_document,                                 features=[TextractFeatures.LAYOUT],                                 save_image=True)print(document.get_text(config=config))

Consulta este ejemplo y más en la documentación oficial de Textractor.

También hemos agregado una impresora de diseño en la biblioteca que te permite llamar a una sola función pasando la respuesta de la API de diseño en formato JSON y obtener el texto linearizado (por página) a cambio.

python -m pip install -q amazon-textract-prettyprinter

Tienes la opción de formatear el texto en formato markdown, excluir texto dentro de figuras en el documento, excluir encabezados de página, pies de página y extracciones de números de página del resultado linearizado. También puedes almacenar la salida linearizada en formato de texto simple en tu sistema de archivos local o en una ubicación de Amazon S3 pasando el parámetro save_txt_path. El siguiente fragmento de código muestra un ejemplo de uso:

from textractcaller.t_call import call_textract, Textract_Featuresfrom textractprettyprinter.t_pretty_print import get_text_from_layout_jsontextract_json = call_textract(input_document=input_document,                      features=[Textract_Features.LAYOUT,                      Textract_Features.TABLES])layout = get_text_from_layout_json(textract_json=textract_json,exclude_figure_text=True, # opcional                         exclude_page_header=True, # opcional                         exclude_page_footer=True, # opcional                         exclude_page_number=True, # opcional                         save_txt_path="s3://bucket/prefix") # opcionalfull_text = layout[1]print(full_text)

Evaluando métricas de desempeño LLM para tareas abtractivas y extractivas

Se ha descubierto que el texto sensible al diseño mejora el rendimiento y la calidad del texto generado por LLMs. En particular, evaluamos dos tipos de tareas LLM: tareas abtractivas y extractivas.

Las tareas abtractivas se refieren a asignaciones que requieren que la IA genere texto nuevo que no se encuentra directamente en el material fuente. Algunos ejemplos de tareas abtractivas incluyen resúmenes y preguntas y respuestas. Para estas tareas, utilizamos la métrica Recall-Oriented Understudy for Gisting Evaluation (ROUGE) para evaluar el rendimiento de un LLM en tareas de preguntas y respuestas en relación a un conjunto de datos de referencia.

Las tareas extractivas se refieren a actividades en las que el modelo identifica y extrae porciones específicas del texto de entrada para construir una respuesta. En estas tareas, el modelo se centra en seleccionar segmentos relevantes (como frases, oraciones o palabras clave) del material fuente en lugar de generar nuevo contenido. Algunos ejemplos de tareas extractivas son reconocimiento de entidades nombradas (NER) y extracción de palabras clave. Para estas tareas, utilizamos la Similaridad Promediada Normalizada de Levenshtein (ANLS) en tareas de reconocimiento de entidades nombradas basadas en el texto linearizado del diseño extraído por Amazon Textract.

Análisis de la puntuación ROUGE en la tarea de respuesta de preguntas abstractas

Nuestra prueba está configurada para realizar preguntas y respuestas en contexto sobre un documento de varias columnas mediante la extracción del texto y luego realizar RAG para obtener respuestas de la LLM. Realizamos preguntas y respuestas sobre un conjunto de preguntas utilizando el texto en bruto basado en escaneo de ráster y el texto linealizado sensible al diseño. Luego evaluamos las métricas ROUGE para cada pregunta comparando la respuesta generada por la máquina con la respuesta verdadera correspondiente. En este caso, la respuesta verdadera es el mismo conjunto de preguntas respondidas por un humano, que se considera un grupo de control.

La pregunta y respuesta en contexto con RAG requiere extraer el texto del documento, crear trozos más pequeños del texto, generar incrustaciones vectoriales de los trozos y posteriormente almacenarlos en una base de datos de vectores. Esto se hace para que el sistema pueda realizar una búsqueda de relevancia con la pregunta en la base de datos de vectores para devolver trozos de texto que sean más relevantes para la pregunta realizada. Estos trozos relevantes luego se utilizan para construir el contexto general y se proporcionan a la LLM para que pueda responder con precisión la pregunta.

El siguiente documento, tomado del conjunto de datos DocUNet: Document Image Unwarping via a Stacked U-Net, se utiliza para la prueba. Este documento es un documento de varias columnas con encabezados, títulos, párrafos e imágenes. También definimos un conjunto de 20 preguntas respondidas por un humano como un grupo de control o respuesta verdadera. El mismo conjunto de 20 preguntas se usó luego para generar respuestas de la LLM.

En el siguiente paso, extraemos el texto de este documento utilizando la API DetectDocumentText y la API AnalyzeDocument con la función LAYOUT. Dado que la mayoría de las LLM tienen una ventana de contexto de tokens limitada, mantenemos el tamaño del trozo pequeño, aproximadamente 250 caracteres con una superposición de trozos de 50 caracteres, utilizando RecursiveCharacterTextSplitter de LangChain. Esto resultó en dos conjuntos separados de trozos de documento: uno generado utilizando el texto en bruto y otro utilizando el texto linealizado sensible al diseño. Ambos conjuntos de trozos se almacenaron en una base de datos de vectores generando incrustaciones vectoriales utilizando el modelo de incrustación de texto Amazon Titan Embeddings G1 Text.

El siguiente fragmento de código genera el texto en bruto a partir del documento.

import textractcaller as tcfrom textractcaller.t_call import call_textractfrom textractprettyprinter.t_pretty_print import get_lines_stringplain_textract_json = call_textract(input_document = input_document)plain_text = get_lines_string(textract_json = plain_textract_json)print(plain_text)

La salida (recortada por brevedad) se ve así. El orden de lectura del texto es incorrecto debido a la falta de conocimiento de diseño de la API, y el texto extraído abarca las columnas de texto.

PHOTONICS FOR A BETTER WORLDUNESCO ENDORSESINTERNATIONAL DAY OF LIGHTFirst celebration in 2018 will become an annualreminder of photonics-enabled technologiesT he executive board of the United Nations Educational,in areas such as science, culture, education, sustainable development,Scientific, and Cultural Organization (UNESCO) has endorsedmedicine, communications, and energy.a proposal to establish an annual International Day of LightThe final report of IYL 2015 was delivered to UNESCO in Paris(IDL) as an extension of the highly successful International Year ofduring a special meeting in October 2016. At this event, SPIE memberLight and Light-based Technologies (IYL 2015)....

La visualización del orden de lectura del texto crudo extraído por DetectDocumentText se puede ver en la siguiente imagen.

El siguiente fragmento de código genera el texto linealizado del documento. Puede utilizar cualquiera de los métodos para generar el texto linealizado del documento utilizando la última versión de la biblioteca de Python de Amazon Textract Textractor.

import textractcaller as tcfrom textractcaller.t_call import call_textract, Textract_Featuresfrom textractprettyprinter.t_pretty_print import get_text_from_layout_jsonlayout_textract_json = call_textract(input_document = input_document,                                     features = [Textract_Features.LAYOUT])layout_text = get_text_from_layout_json(textract_json = layout_textract_json)[1]print(layout_text)

La salida (recortada por brevedad) se ve así. El orden de lectura del texto se conserva ya que utilizamos la función LAYOUT, y el texto tiene más sentido.

FOTÓNICA PARA UN MUNDO MEJORLA UNESCO APOYA EL DÍA INTERNACIONAL DE LA LUZEn 2018, la primera celebración se convertirá en un recordatorio anual de las tecnologías habilitadas por la fotónica. La consejo ejecutivo de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) ha apoyado la propuesta de establecer un Día Internacional de la Luz (IDL) como una extensión del exitoso Año Internacional de la Luz y las Tecnologías Basadas en la Luz (AIL 2015). El respaldo a un Día de la Luz ha sido apoyado por SPIE y otros socios fundadores de AIL 2015...

La visualización del orden de lectura del texto crudo extraído por AnalyzeDocument con la función LAYOUT se puede ver en la siguiente imagen.

Realizamos la división del texto extraído por separado, con un tamaño de fragmento de 250 y un solapamiento de 50.

A continuación, generamos incrustaciones vectoriales para los fragmentos y los cargamos en una base de datos vectorial en dos colecciones separadas. Utilizamos ChromaDB de código abierto como nuestra base de datos vectorial en memoria y usamos un valor topK de 3 para la búsqueda de relevancia. Esto significa que para cada pregunta, nuestra consulta de búsqueda de relevancia con ChromaDB devuelve 3 fragmentos relevantes de texto de tamaño 250 cada uno. Estos tres fragmentos se utilizan luego para construir un contexto para LLM. Elegimos intencionalmente un tamaño de fragmento más pequeño y un topK más pequeño por las siguientes razones específicas.

1. Acortar el tamaño general de nuestro contexto, ya que la investigación sugiere que los LLM tienden a rendir mejor con un contexto más corto, aunque el modelo admita un contexto más largo (a través de una ventana de contexto de tokens más grande).
2. Un tamaño general de consulta más pequeño resulta en una menor latencia general del modelo de generación de texto. Cuanto mayor sea el tamaño general de la consulta (que incluye el contexto), más tiempo puede llevar al modelo generar una respuesta.
3. Cumplir con la ventana de contexto de tokens limitados del modelo, como sucede con la mayoría de los LLM.
4. Eficiencia de costos, ya que el uso de menos tokens significa un menor costo por pregunta para los tokens de entrada y salida combinados.

Tenga en cuenta que Anthropic Claude Instant v1 admite una ventana de contexto de tokens de 100.000 a través de Amazon Bedrock. Nos limitamos intencionalmente a un tamaño de fragmento más pequeño, ya que eso también hace que la prueba sea relevante para los modelos con menos parámetros y ventanas de contexto más cortas en general.

Utilizamos métricas de ROUGE para evaluar el texto generado por máquina frente a un texto de referencia (o verdad básica), midiendo varios aspectos como la superposición de n-gramas, secuencias de palabras y pares de palabras entre los dos textos. Elegimos tres métricas de ROUGE para la evaluación.

1. ROUGE-1: Compara la superposición de unigramas (palabras individuales) entre el texto generado y un texto de referencia.
2. ROUGE-2: Compara la superposición de bigramas (secuencias de dos palabras) entre el texto generado y un texto de referencia.
3. ROUGE-L: Mide la subsecuencia común más larga (LCS) entre el texto generado y un texto de referencia, centrándose en la secuencia más larga de palabras que aparecen en ambos textos, aunque no necesariamente de manera consecutiva.

Para nuestras 20 preguntas de muestra relevantes para el documento, ejecutamos Q&A con el texto sin procesar y el texto linearizado, respectivamente, y luego realizamos el análisis de puntuación ROUGE. Notamos una mejora promedio de casi el 50 por ciento en la precisión en general. Además, hubo una mejora significativa en los puntajes F1 cuando se comparó el texto linearizado del diseño con la verdad absoluta en comparación con el texto sin procesar y la verdad absoluta.

Esto sugiere que el modelo mejoró en la generación de respuestas correctas con la ayuda del texto linearizado y la fragmentación más pequeña. Esto condujo a un aumento en la precisión y un cambio favorable en el equilibrio entre precisión y recuperación hacia la precisión, lo que resultó en un aumento en la puntuación F1. El aumento en la puntuación F1, que equilibra la precisión y la recuperación, sugiere una mejora. Es esencial considerar las implicaciones prácticas de estos cambios métricos. Por ejemplo, en un escenario donde los falsos positivos son costosos, el aumento en la precisión es altamente beneficioso.

Análisis de puntuación ANLS en tareas de extracción sobre conjuntos de datos académicos

Medimos el ANLS o la Similaridad Promedio Normalizada de Levenshtein, que es una métrica de distancia de edición introducida por el artículo “Scene Text Visual Question Answering” y tiene como objetivo penalizar suavemente las imperfecciones menores en el OCR al mismo tiempo que considera las habilidades de razonamiento del modelo. Esta métrica es una versión derivada de la distancia de Levenshtein tradicional, que mide la diferencia entre dos secuencias (como cadenas). Se define como el número mínimo de ediciones de un solo carácter (inserciones, eliminaciones o sustituciones) requeridas para cambiar una palabra en la otra.

Para nuestras pruebas ANLS, realizamos una tarea de NER en la que se le solicitó al LLM que extrajera el valor exacto del texto extraído por OCR. Los dos conjuntos de datos académicos utilizados para las pruebas son DocVQA e InfographicVQA. Utilizamos indicaciones sin entrenamiento para intentar extraer entidades clave. La indicación utilizada para los LLM es de la siguiente estructura:

plantilla = """Se te pide que respondas una pregunta usando solo el Documento proporcionado. La respuesta a la pregunta debe tomarse tal cual del documento y ser lo más breve posible. Documento:\n{documento} Pregunta: {pregunta} Extrae la respuesta del documento con la menor cantidad de palabras posible."""

Se observaron mejoras en la precisión en todos los conjuntos de datos de preguntas y respuestas de documentos analizados con el modelo FlanT5-XL de código abierto al utilizar texto linearizado con consciencia del diseño en respuesta a indicaciones sin entrenamiento, en comparación con texto sin procesar (escaneo de raster). En el conjunto de datos InfographicVQA, el uso del texto linearizado con consciencia del diseño permite que el modelo FlanT5-XL más pequeño con 3B parámetros iguale el rendimiento del modelo FlanT5-XXL más grande (en texto sin procesar), que tiene casi cuatro veces más parámetros (11B).

Conjunto de Datos	ANLS*
FlanT5-XL (3B)	FlanT5-XXL (11B)
No Consciente del Diseño (Raster)	Consciente del Diseño	Δ	No Consciente del Diseño (Raster)	Consciente del Diseño	Δ
DocVQA	66.03%	68.46%	1.43%	70.71%	72.05%	1.34%
InfographicsVQA	29.47%	35.76%	6.29%	37.82%	45.61%	7.79%

* ANLS se mide en el texto extraído por Amazon Textract, no en la transcripción del documento proporcionado

Conclusión

El lanzamiento de Layout marca un avance significativo en el uso de Amazon Textract para construir soluciones de automatización de documentos. Como se discute en esta publicación, Layout utiliza métodos de IA tradicionales y generativos para mejorar la eficiencia al construir una amplia variedad de soluciones de automatización de documentos, como la búsqueda de documentos, preguntas y respuestas contextuales, resúmenes, extracción de entidades clave y más. A medida que continuamos aprovechando el poder de la IA en la construcción de sistemas de procesamiento y comprensión de documentos, estas mejoras sin duda allanarán el camino para flujos de trabajo más eficientes, mayor productividad y un análisis de datos más perspicaz.

Para obtener más información sobre la función de Layout y cómo aprovecharla para soluciones de automatización de documentos, consulte AnalyzeDocument, Análisis de Layout y Linearización de texto para documentación de aplicaciones de IA generativa.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!