Cómo StackOverflow se está adaptando frente a la IA generativa

Adaptación de StackOverflow frente a la IA generativa.

StackOverflow, la plataforma más utilizada por los desarrolladores de software para obtener soporte en programación, ha pasado por momentos difíciles últimamente. A pesar de que se responden impresionantes 69% de las preguntas, el tráfico de StackOverflow ha ido en declive. Los datos de Similarweb muestran que su tráfico disminuyó un 14% año tras año (StackOverflow dice que es más cercano al 5%). Sin embargo, la tendencia es a la baja y se explica principalmente por la aparición de productos de codificación de IA como ChatGPT y GitHub Copilot. Estos productos tienen capacidades significativas para escribir código y, por lo tanto, son capaces de brindar soporte en programación, al menos en parte, tan bueno como lo hace StackOverflow. Irónicamente, algunos de los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) detrás de estos productos de IA se entrenaron utilizando datos obtenidos de StackOverflow.

La compañía ha recibido una cobertura mediática bastante negativa con estos desarrollos. Business Insider, en su artículo “Muerte por LLM”, escribió:

Bienvenido al futuro de Internet en un mundo de IA. Comunidades en línea como Stack Overflow y Wikipedia prosperaron como centros para que expertos y curiosos se reunieran y compartieran información libremente. Ahora, estos lugares de encuentro digitales están siendo saqueados por grandes empresas tecnológicas que buscan datos humanos para entrenar sus grandes modelos de lenguaje.

Los nuevos productos que surgen de este auge de la IA generativa ponen en duda el futuro de estos foros en línea. Los chatbots responden preguntas de manera clara, automática y a menudo agradable, por lo que los humanos no necesitan tratar con otros humanos para obtener información.

• HubSpot presenta HubSpot AI y el nuevo Sales Hub en INBOUND 2023
• Aumentar la eficiencia matemática Navegando por las operaciones de matrices Numpy
• ¿Puede la IA realmente restaurar detalles faciales de imágenes de baja calidad? Conozca DAEFR un marco de doble rama para mejorar la calidad

En medio de toda esta atención, StackOverflow ha mantenido una postura firme y ha articulado su enfoque de dos frentes para abordar este desafío:

1. Hace algunas semanas, anunciaron que comenzarán a cobrar a los grandes desarrolladores de IA que utilizan las más de 50 millones de preguntas y respuestas de la plataforma para entrenar sus modelos (exploramos este tema en el artículo sobre el scraping de datos anterior).
2. La semana pasada, lanzaron el producto OverflowAI, que es un conjunto de características de IA generativa realmente útiles que pueden ayudar a iniciar su segunda etapa. Nos enfocaremos en esto hoy.

En este artículo, profundizaremos en:

• Herramientas de escritura de código de IA que están perturbando a StackOverflow.
• Qué hace OverflowAI.
• Tendencias subyacentes de la estrategia de StackOverflow.

Herramientas de escritura de código de IA que perturban a StackOverflow

Existen varias herramientas de escritura y edición de código de IA disponibles en el mercado actualmente. Estas son productos independientes (como OpenAI Codex, ChatGPT, Google Bard) o productos integrados nativamente en plataformas existentes (como GitHub Copilot, Replit Ghostwriter, Amazon CodeWhisperer). Tienen una amplia gama de capacidades, incluyendo generación de código, edición de código, autocompletado y depuración.

Los productos con distribución nativa (como GitHub Copilot) tienen una gran ventaja porque pueden funcionar sin problemas dentro de los entornos que los programadores ya utilizan hoy en día, y veremos más productos intentando integrarse en entornos existentes. Por ejemplo, CodeGPT tiene un complemento que permite a los desarrolladores utilizar el producto desde Visual Studio Code (una herramienta popular de edición de código).

Las herramientas de escritura de código de IA existentes son buenas en ciertas tareas. Por ejemplo, este hilo de Reddit recoge comentarios de varios desarrolladores web sobre GitHub Copilot: la idea principal es que el producto es útil en un subconjunto de situaciones en las que los desarrolladores tienen que escribir código completamente nuevo y no quieren perder tiempo haciéndolo desde cero. Incluso en esas situaciones, a veces funciona y a veces no.

La razón no es sorprendente. Conceptualmente, los grandes modelos de lenguaje (LLMs) toman una gran cantidad de datos y generan resultados en base a esta construcción: en un contexto particular, para la pregunta que hiciste, ¿cuál es la palabra/texto más probable que siga a la palabra anterior? Básicamente calcula la probabilidad de que una palabra siga a otra y genera resultados en base a eso. A pesar de esta construcción, dada la cantidad de datos que se han utilizado para entrenar estos modelos, los resultados para casos de uso más generales de ChatGPT (como redactar un correo electrónico o resumir una página) han sido impresionantes. Pero es importante recordar que los modelos de lenguaje, por diseño, tienen capacidades analíticas/matemáticas limitadas. En otras palabras, cuando le preguntas al modelo “¿Cuánto es 2+2?”, puede darte la respuesta correcta, no porque comprenda matemáticas, sino porque ha visto ese patrón de texto antes en sus datos de entrenamiento.

De manera similar, cuando se trata de generación de código, el modelo realmente no “conoce” los conceptos subyacentes de la programación, sino que predice resultados en base a su entrenamiento con una gran cantidad de datos de texto. La consecuencia de esto es el comentario sobre GitHub Copilot mencionado anteriormente: a veces es bueno para generar el código base que necesitas, pero su capacidad para comprender realmente el código, depurarlo y proporcionar explicaciones es limitada. Esto mejorará con el tiempo, pero es difícil decir si alguna vez alcanzará un alto nivel de precisión y confiabilidad.

El CEO de StackOverflow, Prashanth Chandrasekar, lo describe de manera concisa:

Un problema con los sistemas modernos de Aprendizaje de Lenguaje es que proporcionarán respuestas incorrectas con la misma confianza que las correctas y “alucinarán” hechos y cifras si sienten que se ajustan al patrón de la respuesta que busca el usuario.

En algún momento, necesitarás saber qué estás construyendo. Es posible que debas depurarlo y no tener idea de lo que acaba de construirse, y es difícil saltarse el viaje de aprendizaje tomando atajos.

Esta es la oportunidad para StackOverflow: su disminución de tráfico puede ser permanente y es muy probable que los programadores acudan a StackOverflow con menos frecuencia para preguntas más simples (por ejemplo, es posible que ya no visiten StackOverflow para un algoritmo de clasificación predefinido). Pero donde el producto puede destacar es: 1) proporcionando respuestas de alta precisión / alta confiabilidad a preguntas más complejas que los modelos de lenguaje podrían no tener la capacidad de responder, y 2) proporcionando respuestas a preguntas en nuevas tecnologías/espacios de problemas en los que los modelos no hayan tenido datos previos para entrenar. OverflowAI está diseñado para aprovechar directamente esta oportunidad.

Lo que hace OverflowAI

Hay tres aspectos clave en los que apuestan: respuestas directas a preguntas, usabilidad desde entornos de desarrollo y potenciar el conocimiento dentro de las empresas.

OverflowAI Search proporciona respuestas directas a los usuarios en formato de preguntas y respuestas (similar a ChatGPT), pero también proporciona varios enlaces a publicaciones reales de StackOverflow. Además de ayudar a generar confianza, esto también brinda a los usuarios la oportunidad de profundizar cuando la respuesta proporcionada por la IA no resuelve completamente su problema. Esto logra un equilibrio delicado al dar una respuesta directa cuando la pregunta es simple, pero también guiar al usuario por un camino más exploratorio para preguntas difíciles.

Overflow AI Search

Si el usuario no está satisfecho con las respuestas, puede ingresar a una interfaz tipo chat para hacer preguntas de seguimiento. Si ninguna de las respuestas es satisfactoria, pueden pedirle a StackOverflow que redacte una pregunta en su nombre, lista para ser publicada en el foro de preguntas y respuestas. Esta experiencia también evita la situación frecuente en la que la pregunta que hacen ya ha sido respondida previamente.

Borrador automático de preguntas

El producto también se enfoca en la usabilidad al hacer que todas estas capacidades estén disponibles desde Visual Studio Code a través de una extensión. Esto ayuda a StackOverflow a competir de manera más efectiva con los asistentes de codificación integrados de forma nativa, ya que permite a los desarrolladores obtener respuestas desde sus entornos de codificación (en lugar de tener que cambiar de contexto y buscar en un navegador).

Extensión dentro de Visual Studio Code

Además de esto, para los clientes empresariales, OverflowAI está creando la capacidad de conectar varias fuentes de información dentro de una empresa (preguntas y respuestas internas, páginas wiki, repositorios de documentos) para proporcionar una experiencia cohesiva de preguntas y respuestas para los desarrolladores. Poder utilizar datos internos y de StackOverflow, y más importante aún, exponer esto fácilmente en una interfaz tipo preguntas y respuestas, puede ser un gran impulso para la productividad de las organizaciones de ingeniería. También tienen la intención de lanzar una integración con Slack como una interfaz sin problemas para exponer esta capacidad.

Lo impresionante del enfoque del producto de OverFlowAI es que aprovecha el activo principal de la empresa (respuestas a preguntas difíciles), expone las respuestas en una interfaz altamente utilizable donde sea que se encuentren los usuarios (ya sea en Slack o dentro de entornos de desarrollo) y, a su vez, crea un ciclo en el que los usuarios pueden aprovechar la IA generativa para enviar nuevas preguntas.

Tendencias subyacentes de la estrategia de StackOverflow

StackOverflow no es exactamente una empresa pública, es propiedad de Prosus, que a su vez es parte de un grupo empresarial más grande, Naspers, que cotiza en bolsa. Por lo tanto, es difícil obtener datos de ingresos claros, pero un informe de Prosus publicado en mayo de 2022 arroja algo de luz:

• La empresa generó ~$89 millones en ingresos en 2022, divididos al 50-50 entre el producto empresarial StackOverflow for Teams y los productos Reach (publicidad y marca de empleadores).
• De 2021 a 2022, los ingresos de StackOverflow for Teams aumentaron un 69%, mientras que los ingresos de los productos Reach disminuyeron un 12% (podría haber factores externos que hayan afectado los ingresos de 2022, como una contratación más lenta).

Números de ingresos del propietario de StackOverflow, Prosus (informado en mayo de 2022).

Estos datos de ingresos, combinados con lo que hace el producto OverflowAI, señalan algunas tendencias claras hacia dónde se dirige StackOverflow en el mundo de la IA generativa (estas tendencias también se pueden extender a otras plataformas de preguntas y respuestas):

• Su negocio de publicidad, cuyo éxito está directamente relacionado con el tráfico, está en declive. Esto no es necesariamente preocupante y solo indica una tendencia más amplia. Es probable que haya menos visitas/páginas vistas porque los consumidores obtendrán respuestas directamente a preguntas más fáciles (lo cual es bueno) y, por lo tanto, la publicidad se convierte en una fuente de ingresos menos crítica.
• StackOverflow seguirá siendo una fuente valiosa de respuestas para preguntas difíciles y el volumen de preguntas y respuestas seguirá creciendo con el impulso de la IA generativa de la compañía para redactar/enviar automáticamente preguntas. Además, es probable que si StackOverflow puede mantener su motor de contenido funcionando, la calidad del contenido en la plataforma mejore, ya que las preguntas repetitivas/fáciles dejarán de ser el contenido más numeroso.
• StackOverflow se enfocará en construir experiencias donde puedan brindar el mayor valor a los usuarios (como OverflowAI Search y la extensión de Visual Studio Code) y se centrará en líneas de productos donde los clientes estén dispuestos a pagar por estas experiencias superiores (por ejemplo, StackOverflow para Equipos).
• Los programas de licencia de datos, donde cobran a las empresas de IA por entrenar con sus datos, se acelerarán.

Estas tendencias apuntan todas en una dirección donde StackOverflow está logrando un cambio exitoso a la siguiente fase de la compañía, y la compañía ha realizado las inversiones correctas en productos/negocios para enfrentar lo que podría haber sido una interrupción potencial. Además, también han realizado un valioso servicio comunitario y han establecido una guía para que otras plataformas de preguntas y respuestas aprovechen. En general, soy optimista sobre la dirección hacia la que se dirigen y creo que esto encenderá un ecosistema de contenido próspero en el futuro.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!