Potenciando la IA conversacional con BERT El poder de rellenar espacios

Potenciando la IA conversacional con BERT El poder de completar espacios

Introducción

En la era de la Inteligencia Artificial Conversacional, los chatbots y asistentes virtuales se han vuelto ubicuos, revolucionando la forma en que interactuamos con la tecnología. Estos sistemas inteligentes pueden entender las consultas de los usuarios, proporcionar información relevante y ayudar con diversas tareas. Sin embargo, lograr respuestas precisas y contextualmente conscientes es un desafío complejo. Un componente crucial que ayuda en este proceso es el “slot filling”, y la llegada de BERT (Representaciones de Codificador Bidireccional provenientes de Transformers) ha mejorado significativamente su efectividad. En este artículo, exploraremos el papel e implementación de BERT en aplicaciones de “slot filling”, desentrañando cómo mejora los sistemas de inteligencia artificial conversacional.

Objetivos de aprendizaje

1. Comprender el concepto y la importancia del “slot filling” en la inteligencia artificial conversacional.
2. Explorar cómo BERT mejora el “slot filling” aprovechando su comprensión contextual y aprender los pasos para implementar BERT para “slot filling”, desde la preparación de datos hasta el ajuste fino.
3. Descubrir las ventajas de usar BERT en la inteligencia artificial conversacional, incluido un mejor reconocimiento de la intención del usuario.

Este artículo fue publicado como parte del Data Science Blogathon.

¿Qué es el “Slot Filling”?

El “slot filling” es una tarea vital en sistemas de conversación orientados a tareas. Involucra extraer información específica, conocida como “slots”, de las consultas de los usuarios. Por ejemplo, los “slots” podrían incluir la ciudad de origen, destino, fecha y clase en un escenario de reserva de vuelos. Los valores de “slots” extraídos se utilizan luego para generar respuestas apropiadas y cumplir efectivamente la solicitud del usuario. El “slot filling” preciso es fundamental para comprender la intención del usuario y proporcionar respuestas personalizadas y relevantes.

• Meet LLMWare Un marco de Inteligencia Artificial todo en uno para agilizar el desarrollo de aplicaciones basadas en LLM para aplicaciones de IA generativa
• Transformando texto en vectores Enfoque no supervisado de TSDAE para mejorar los embeddings
• Aceptando a Julia Una Carta de Invitación

El poder de BERT en “Slot Filling”

La comprensión contextual de BERT y su pre-entrenamiento en grandes cantidades de datos de texto lo convierten en una combinación natural para aplicaciones de “slot filling”. Al aprovechar las capacidades de BERT, los sistemas de inteligencia artificial conversacional pueden mejorar significativamente la precisión de extracción de “slots” y su rendimiento general.

Así es como BERT mejora el “slot filling”:

• Representaciones Contextualizadas: BERT captura la información contextual de toda la secuencia de entrada, lo que le permite comprender las relaciones entre palabras y frases. Esta comprensión contextual ayuda a identificar los límites de los “slots” y distinguir entre palabras o frases similares en diferentes contextos.
• Resolución de Ambigüedades: Las consultas de los usuarios a menudo contienen expresiones o abreviaturas ambiguas que requieren desambiguación. La capacidad de BERT para comprender los matices contextuales ayuda a resolver tales ambigüedades, permitiendo una extracción precisa de valores de “slots”.
• Manejo de Términos fuera del Vocabulario (OOV): El vocabulario de BERT incluye muchas palabras, pero puede encontrarse con términos fuera de vocabulario. Sin embargo, el enfoque de tokenización de subpalabras de BERT le permite manejar los términos fuera de vocabulario dividiéndolos en unidades de subpalabras más pequeñas y representándolos mediante incrustaciones de subpalabras.
• Ajuste Fino para el “Slot Filling”: Las representaciones pre-entrenadas de BERT se pueden ajustar fino en conjuntos de datos de “slot filling” específicos para una tarea o dominio en particular. Este proceso de ajuste fino adapta a BERT para comprender y extraer “slots” según los requisitos del sistema de inteligencia artificial conversacional, mejorando aún más su rendimiento.

Implementación de BERT para el “Slot Filling”

Sumergámonos en la implementación de BERT para el “slot filling” en sistemas de inteligencia artificial conversacional.

Los siguientes pasos describen el proceso:

Paso 1: Preparación de Datos

El primer paso implica preparar un conjunto de datos etiquetado para entrenar a BERT. El conjunto de datos consiste en consultas de usuarios anotadas con etiquetas de “slots”. Cada consulta se segmenta en tokens y se asocia con etiquetas de “slots” correspondientes. Por ejemplo, una consulta “Reservar un vuelo desde Nueva York a Londres” se tokenizaría en [“Reservar”, “un”, “vuelo”, “desde”, “Nueva”, “York”, “a”, “Londres”] y etiquetaría como [“O”, “O”, “O”, “O”, “B-from locate.city_name”, “B-to locate.city_name”, “O”, “O”].

Paso 2: Tokenización de BERT

Para convertir las consultas tokenizadas al formato de entrada de BERT, BERT utiliza la tokenización WordPiece, que divide las palabras en unidades de subpalabras. Asigna un índice a cada token y los mapea a sus respectivas incrustaciones de subpalabras.

Paso 3: Arquitectura del modelo

La arquitectura del modelo de llenado de ranuras generalmente consiste en BERT como codificador base, seguido de una capa de clasificación de ranuras. BERT procesa la secuencia de entrada tokenizada y genera representaciones contextualizadas. Estas representaciones se alimentan luego a una capa softmax que predice las etiquetas de ranuras para cada token.

Paso 4: Ajuste fino

El modelo BERT pre-entrenado se ajusta finamente en el conjunto de datos etiquetado de llenado de ranuras. Durante el ajuste fino, el modelo aprende a optimizar sus parámetros para la tarea de llenado de ranuras. La función de pérdida suele ser la pérdida de entropía cruzada, que mide la disimilitud entre las etiquetas de ranuras predichas y las etiquetas verdaderas.

Paso 5: Inferencia

El modelo BERT afinado está listo para la inferencia después del entrenamiento. Dada una consulta del usuario, el modelo tokeniza, lo alimenta a través de BERT y predice las etiquetas de ranuras. Los valores de ranuras se pueden extraer en base a las etiquetas predichas y utilizarse para generar respuestas adecuadas.

Código

A continuación se muestra el código para implementar el llenado de ranuras utilizando BERT:

import torchfrom transformers import BertTokenizer, BertForTokenClassification# Paso 1: Preparación de datos# Prepara tu conjunto de datos etiquetados para el llenado de ranuras# Paso 2: Tokenización de BERTtokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# Paso 3: Arquitectura del modelomodel = BertForTokenClassification.from_pretrained('bert-base-uncased', num_labels=num_labels)# num_labels: número de etiquetas de ranuras

# Paso 4: Ajuste finopara epoch in range(num_epochs):    model.train()    total_loss = 0    for batch in training_data:        optimizer.zero_grad()        inputs = tokenizer(batch['text'], truncation=True, padding=True, return_tensors='pt')        labels = torch.tensor(batch['labels']).unsqueeze(0)        outputs = model(**inputs, labels=labels)        loss = outputs.loss                total_loss += loss.item()        loss.backward()        optimizer.step()    print('Época:', epoch, 'Pérdida:', total_loss)optimizer = torch.optim.AdamW(model.parameters(), lr=learning_rate)

# Paso 5: Inferenciamodel.eval()def predecir_ranuras(consulta):    inputs = tokenizer(consulta, truncation=True, padding=True, return_tensors='pt')    with torch.no_grad():        outputs = model(**inputs)    logits = outputs.logits    predicted_labels = torch.argmax(logits, dim=2).squeeze(0)    tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0])    ranuras = [tokenizer.convert_ids_to_tokens(pred.item())[2:] for pred in predicted_labels]    resultados = []    for token, ranura in zip(tokens, ranuras):        if token == '[PAD]':            break        resultados.append((token, ranura))    return resultados  

# Ejemplo de usorespuesta = "Reservar un vuelo desde Nueva York a Londres"ranuras = predecir_ranuras(consulta)for token, ranura in ranuras:    print(token, '->', ranura)

En el fragmento de código anterior, puedes reemplazar ‘bert-base-uncased’ con el nombre del modelo BERT correspondiente según los requisitos. Ajusta los hiperparámetros como learning_rate, num_epochs y el formato de datos de entrenamiento de acuerdo con el conjunto de datos específico y la configuración. Personaliza los formatos de entrada y salida para que se ajusten a la estructura de tu conjunto de datos.

Recuerda preprocesar tu conjunto de datos etiquetados y convertirlo en lotes para el entrenamiento. La variable training_data en el código representa los datos de entrenamiento en lotes de entrada.

La función predecir_ranuras toma una consulta del usuario, la tokeniza utilizando el tokenizador BERT y la alimenta a través del modelo afinado finamente. Luego, predice las etiquetas de ranuras para cada token y devuelve los resultados.

Conclusión

El llenado de ranuras es un componente fundamental de los sistemas de IA conversacionales, permitiendo una comprensión precisa de las intenciones del usuario y respuestas personalizadas. La integración de BERT ha revolucionado las aplicaciones de llenado de ranuras gracias a su comprensión contextual, manejo de ambigüedad, resolución de OOV y capacidades de ajuste fino.

Principales conclusiones:

1. Al aprovechar las representaciones poderosas de BERT y las técnicas de procesamiento de lenguaje natural de vanguardia, los sistemas de IA conversacionales pueden proporcionar respuestas más precisas y contextualmente conscientes, mejorando la experiencia del usuario.
2. A medida que BERT continúa evolucionando y los investigadores exploran técnicas novedosas en IA conversacional, podemos esperar avances adicionales en el llenado de ranuras y otras tareas de comprensión del lenguaje natural.
3. Al aprovechar el poder de BERT y combinarlo con otros componentes de IA conversacional, podemos esperar chatbots y asistentes virtuales más inteligentes e intuitivos que satisfagan nuestras necesidades con una precisión notable.

Preguntas frecuentes

Los medios mostrados en este artículo no son propiedad de Analytics Vidhya y se utilizan bajo la discreción del autor.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!