Investigadores crean una herramienta para simular con precisión sistemas complejos.

Researchers create tool to accurately simulate complex systems.

El sistema que desarrollaron elimina una fuente de sesgo en las simulaciones, lo que conduce a algoritmos mejorados que pueden mejorar el rendimiento de las aplicaciones.

Los investigadores a menudo utilizan simulaciones al diseñar nuevos algoritmos, ya que probar ideas en el mundo real puede resultar costoso y arriesgado. Pero dado que es imposible capturar cada detalle de un sistema complejo en una simulación, suelen recopilar una pequeña cantidad de datos reales que reproducen mientras simulan los componentes que desean estudiar.

• Estudio Los modelos de IA no logran reproducir los juicios humanos sobre violaciones de reglas.
• Celebrando el impacto de IDSS
• Herramientas de Análisis de Datos que Necesitas Conocer en 2023

Conocido como simulación conducida por trazas (las pequeñas piezas de datos reales se llaman trazas), este método a veces produce resultados sesgados. Esto significa que los investigadores podrían elegir sin saberlo un algoritmo que no sea el mejor que evaluaron y que tenga un rendimiento peor en datos reales de lo que la simulación predijo que debería tener.

Los investigadores del MIT han desarrollado un nuevo método que elimina esta fuente de sesgo en la simulación conducida por trazas. Al permitir simulaciones conducidas por trazas imparciales, la nueva técnica podría ayudar a los investigadores a diseñar mejores algoritmos para una variedad de aplicaciones, incluida la mejora de la calidad de video en Internet y el aumento del rendimiento de los sistemas de procesamiento de datos.

El algoritmo de aprendizaje automático de los investigadores se basa en los principios de causalidad para aprender cómo las trazas de datos fueron afectadas por el comportamiento del sistema. De esta manera, pueden reproducir la versión correcta e imparcial de la traza durante la simulación.

Al compararla con un simulador conducido por trazas previamente desarrollado, el método de simulación de los investigadores predijo correctamente cuál sería el mejor algoritmo recién diseñado para la transmisión de video, lo que significa el que condujo a menos rebúfering y mayor calidad visual. Los simuladores existentes que no tienen en cuenta el sesgo habrían apuntado a un algoritmo con un peor rendimiento.

“Los datos no son lo único que importa. También es importante la historia detrás de cómo se generaron y recopilaron los datos. Si desea responder una pregunta contrafáctica, debe conocer la historia subyacente de la generación de datos para intervenir solo en aquellas cosas que realmente desea simular”, dice Arash Nasr-Esfahany, estudiante graduado de ingeniería eléctrica e informática (EECS) y coautor principal de un artículo sobre esta nueva técnica.

Lo acompañan en el artículo los coautores principales y compañeros estudiantes graduados de EECS Abdullah Alomar y Pouya Hamadanian; el recién graduado estudiante de doctorado Anish Agarwal PhD ’21; y los autores principales Mohammad Alizadeh, profesor asociado de ingeniería eléctrica e informática; y Devavrat Shah, el profesor Andrew y Erna Viterbi en EECS y miembro del Instituto de Datos, Sistemas y Sociedad y del Laboratorio de Sistemas de Información y Decisión. La investigación se presentó recientemente en el Simposio USENIX sobre Diseño e Implementación de Sistemas en Red.

Simulaciones falsas

Los investigadores del MIT estudiaron la simulación conducida por trazas en el contexto de las aplicaciones de transmisión de video.

En la transmisión de video, un algoritmo de velocidad de bits adaptativa decide continuamente la calidad de video o velocidad de bits que se va a transferir a un dispositivo en función de los datos en tiempo real sobre el ancho de banda del usuario. Para probar cómo diferentes algoritmos de velocidad de bits adaptativa afectan el rendimiento de la red, los investigadores pueden recopilar datos reales de los usuarios durante una transmisión de video para una simulación conducida por trazas.

Utilizan estas trazas para simular lo que habría sucedido con el rendimiento de la red si la plataforma hubiera utilizado un algoritmo de velocidad de bits adaptativa diferente en las mismas condiciones subyacentes.

Los investigadores tradicionalmente han asumido que los datos de trazas son exógenos, lo que significa que no están afectados por factores que cambian durante la simulación. Supondrían que, durante el período en que recopilaron los datos de rendimiento de la red, las opciones que hizo el algoritmo de adaptación de velocidad de bits no afectaron esos datos.

Pero esta es a menudo una suposición falsa que resulta en sesgos sobre el comportamiento de los nuevos algoritmos, lo que hace que la simulación sea inválida, explica Alizadeh.

“Reconocimos, y otros han reconocido, que esta forma de simulación puede inducir errores. Pero no creo que la gente necesariamente supiera cuán significativos podrían ser esos errores”, dice.

Para desarrollar una solución, Alizadeh y sus colaboradores plantearon el problema como un problema de inferencia causal. Para recopilar una traza imparcial, uno debe comprender las diferentes causas que afectan los datos observados. Algunas causas son intrínsecas a un sistema, mientras que otras se ven afectadas por las acciones que se toman.

En el ejemplo de la transmisión de video, el rendimiento de la red se ve afectado por las opciones que hizo el algoritmo de adaptación de velocidad de bits, pero también se ve afectado por elementos intrínsecos, como la capacidad de la red.

“Nuestra tarea es desentrañar estos dos efectos, tratar de entender qué aspectos del comportamiento que estamos viendo son intrínsecos al sistema y cuánto de lo que estamos observando se basa en las acciones que se tomaron. Si podemos desentrañar estos dos efectos, entonces podemos hacer simulaciones imparciales”, dice.

Aprendizaje a partir de datos

Pero a menudo los investigadores no pueden observar directamente las propiedades intrínsecas. Aquí es donde entra en juego la nueva herramienta llamada CausalSim. El algoritmo puede aprender las características subyacentes de un sistema utilizando solo los datos de traza.

CausalSim toma los datos de traza que se recopilaron a través de un ensayo controlado aleatorio y estima las funciones subyacentes que produjeron esos datos. El modelo le dice a los investigadores, bajo las mismas condiciones subyacentes exactas que experimentó un usuario, cómo un nuevo algoritmo cambiaría el resultado.

Usando un simulador típico impulsado por trazas, el sesgo podría llevar a un investigador a seleccionar un algoritmo de peor rendimiento, aunque la simulación indique que debería ser mejor. CausalSim ayuda a los investigadores a seleccionar el mejor algoritmo que se probó.

Los investigadores del MIT observaron esto en la práctica. Cuando usaron CausalSim para diseñar un algoritmo de adaptación de velocidad de bits mejorado, los llevó a seleccionar una nueva variante que tenía una tasa de interrupción que era casi 1,4 veces más baja que un algoritmo competidor bien aceptado, mientras lograba la misma calidad de video. La tasa de interrupción es la cantidad de tiempo que un usuario pasó en el almacenamiento en búfer del video.

Por el contrario, un simulador impulsado por trazas diseñado por expertos predijo lo contrario. Indicó que esta nueva variante debería causar una tasa de interrupción que era casi 1,3 veces más alta. Los investigadores probaron el algoritmo en transmisión de video en el mundo real y confirmaron que CausalSim era correcto.

“Las ganancias que estábamos obteniendo en la nueva variante estaban muy cerca de la predicción de CausalSim, mientras que el simulador experto estaba muy equivocado. Esto es realmente emocionante porque este simulador diseñado por expertos se ha utilizado en la investigación durante la última década. Si CausalSim puede ser tan claramente mejor que esto, ¿quién sabe qué podemos hacer con él? ”, dice Hamadanian.

Durante un experimento de 10 meses, CausalSim mejoró consistentemente la precisión de la simulación, lo que resultó en algoritmos que cometieron aproximadamente la mitad de errores que aquellos diseñados utilizando métodos de línea de base.

En el futuro, los investigadores quieren aplicar CausalSim a situaciones en las que los datos del ensayo controlado aleatorio no estén disponibles o donde sea especialmente difícil recuperar las dinámicas causales del sistema. También quieren explorar cómo diseñar y monitorear sistemas para hacerlos más adecuados para el análisis causal.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!