Introducción a los marcos de transmisión

Introducción al mundo de los marcos de transmisión

Comprendiendo algunas de las características clave a considerar al evaluar y comparar tecnologías de streaming.

Introducción

A medida que las arquitecturas de datos se vuelven cada vez más maduras, el streaming ya no se considera un lujo, sino una tecnología con una amplia gama de aplicaciones en diferentes industrias. Debido a limitaciones técnicas y de recursos, el procesamiento por lotes siempre fue la forma preferida de procesar y entregar aplicaciones, aunque con el desarrollo de marcos de micro-lotes y streaming nativo en sistemas distribuidos basados en Apache, el streaming de alta escala ahora es mucho más accesible (Figura 1).

Algunos ejemplos de aplicaciones para utilizar sistemas de streaming son: procesamiento de datos de transacciones para detectar anomalías, datos meteorológicos, datos de IoT de ubicaciones remotas, seguimiento de geolocalización, etc.

Procesamiento en tiempo real vs Procesamiento en micro-lotes

Existen dos tipos clave de sistemas de procesamiento de streaming: micro-lotes y en tiempo real:

• En el procesamiento en tiempo real, cada registro se procesa tan pronto como está disponible. Esto puede resultar en sistemas con una latencia muy baja, listos para aprovechar de inmediato los datos entrantes (por ejemplo, detección de transacciones fraudulentas en sistemas financieros).
• En los sistemas de procesamiento de micro-lotes, los puntos de datos no se procesan uno por uno, sino en bloques pequeños y luego se devuelven después de intervalos de tiempo específicos o una vez que se alcanza un tamaño máximo de almacenamiento. Este tipo de enfoque favorece el alto rendimiento sobre la baja latencia. Finalmente, los sistemas de micro-lotes pueden ser particularmente útiles si se desea realizar operaciones complejas como agregaciones (por ejemplo, mínimos, máximos, promedios), uniones, etc. sobre la marcha antes de enviar los resultados a un sistema de almacenamiento. Por lo tanto, el procesamiento en micro-lotes se puede considerar un buen compromiso entre el streaming puro y el procesamiento por lotes al realizar tareas de informes por hora (por ejemplo, temperatura media del clima, etc.).

• Las Nuevas Implicaciones Éticas de la Inteligencia Artificial Generativa
• Densidad del núcleo de profundidad para la detección de valores atípicos en datos funcionales
• Samsung presenta ‘Gauss’ un nuevo modelo de lenguaje de IA para desafiar el reinado de ChatGPT.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!