El cambio de rumbo de StackOverflow de la disrupción a la oportunidad

StackOverflow de la disrupción a la oportunidad

OverFlowAI aprovecha el activo principal de la compañía, expone respuestas en una interfaz utilizable y crea un bucle de inteligencia artificial gen para crear nuevo contenido

Con la aparición de modelos altamente efectivos como GPT4 que potencian la inteligencia artificial generativa, cómo los profesionales de datos pueden proporcionar valor a largo plazo a las organizaciones a las que pertenecen está evolucionando. El valor real vendrá no solo de ser la persona técnicamente más competente en la sala, sino de ser capaz de dar forma a cómo esto impacta en los productos y resultados comerciales. Esto incluye poder guiar a su organización hacia la estrategia de datos correcta y dar forma a cómo los productos de datos se integran perfectamente en las experiencias de los productos. El análisis en este artículo sobre la transformación en StackOverflow sirve como un estudio de caso convincente hacia ese objetivo.

StackOverflow, la plataforma más utilizada por los desarrolladores de software para el soporte de programación, ha pasado por momentos difíciles últimamente. Si nunca has utilizado StackOverflow antes, es un foro de preguntas y respuestas similar a Quora/Reddit donde se pueden hacer preguntas relacionadas con la programación. Han pasado varios años desde que escribí código de calidad de producción, pero cuando lo hacía, StackOverflow era increíble. Por ejemplo, si te encontrabas con el error más oscuro al compilar tu código y recibías un mensaje de error que no podías entender, lo pegabas en el motor de búsqueda de Google. La mayoría de las veces, encontrarías una página de StackOverflow donde alguien había hecho la misma pregunta y había obtenido una respuesta. Menos frecuentemente, encontrarías a otra persona que tenía el mismo problema oscuro que tú pero no tenía respuesta, en cuyo caso, buena suerte. Más precisamente, el 69% de las preguntas en StackOverflow son respondidas, lo cual es bastante impresionante.

Recientemente, sin embargo, el tráfico de StackOverflow ha disminuido. Los datos de Similarweb muestran que su tráfico ha bajado un 14% en comparación con el año anterior (StackOverflow dice que es más cercano al 5%). Sin embargo, la tendencia es a la baja y se explica principalmente por la aparición de productos de inteligencia artificial para la codificación como ChatGPT y GitHub Copilot. Estos productos tienen capacidades significativas de escritura de código y, por lo tanto, pueden proporcionar soporte de programación, al menos en parte, tan bueno como lo hace StackOverflow. Irónicamente, varios de los grandes modelos de lenguaje (LLMs) detrás de estos productos de inteligencia artificial fueron entrenados utilizando datos extraídos de StackOverflow.

La compañía ha recibido una cobertura mediática bastante dura con estos desarrollos. Business Insider, en su artículo Death by LLM, escribió:

• Consideraciones éticas de utilizar IA con fines académicos
• ChatGPT con Ojos y Oídos BuboGPT es un Enfoque de IA que Permite la Fundamentación Visual en LLMs Multi-Modales
• Explorando los marcos de aprendizaje automático para desarrolladores de software

Bienvenido al futuro de Internet en un mundo de inteligencia artificial. Las comunidades en línea como Stack Overflow y Wikipedia prosperaron como centros de expertos y curiosos que se reunían para compartir información libremente. Ahora estos lugares de encuentro digitales están siendo saqueados por grandes empresas tecnológicas en busca de datos humanos para entrenar sus grandes modelos de lenguaje.

Los nuevos productos que surgen de este auge de la inteligencia artificial generativa están poniendo en duda el futuro de estos foros en línea. Los chatbots responden a las preguntas de manera clara, automática y a menudo agradable, por lo que los humanos no necesitan lidiar con otros humanos para obtener información.

En medio de toda esta atención, StackOverflow ha jugado un papel constante y ha articulado su enfoque de dos frentes para abordar este desafío:

1. Hace unas semanas, anunciaron que comenzarán a cobrar a los grandes desarrolladores de inteligencia artificial que utilizan las 50 millones de preguntas y respuestas de la plataforma para el entrenamiento de modelos (nos adentramos en este problema en el artículo sobre la extracción de datos)
2. La semana pasada lanzaron el producto OverflowAI, que es un conjunto de funciones de inteligencia artificial generativa realmente útiles que pueden ayudar a iniciar su segunda etapa: nos enfocaremos en esto hoy

En este artículo, profundizaremos en:

• Herramientas de escritura de código de inteligencia artificial que están perturbando a StackOverflow
• Lo que hace OverflowAI
• Tendencias subyacentes de la estrategia de StackOverflow

Herramientas de escritura de código de inteligencia artificial que están perturbando a StackOverflow

Hoy en día, existen varias herramientas de escritura y edición de código de inteligencia artificial disponibles en el mercado. Estas son productos independientes (como OpenAI Codex, ChatGPT, Google Bard) o productos integrados nativamente en plataformas existentes (como GitHub Copilot, Replit Ghostwriter, Amazon CodeWhisperer). Tienen una amplia gama de capacidades que incluyen generación de código, edición de código, autocompletado y depuración.

Los productos que tienen una distribución nativa (como GitHub Copilot) tienen una gran ventaja porque pueden operar sin problemas dentro de los entornos que los programadores ya utilizan hoy en día, y veremos más productos intentando integrarse en los entornos existentes. Por ejemplo, CodeGPT tiene un complemento que permite a los desarrolladores utilizar el producto desde Visual Studio Code (una herramienta popular de edición de código).

Las herramientas existentes de escritura de código de IA son buenas en ciertas tareas. Por ejemplo, este hilo de Reddit recopila comentarios de varios desarrolladores web sobre GitHub Copilot: el tema principal es que el producto es útil en un subconjunto de situaciones en las que los desarrolladores tienen que escribir código nuevo y no quieren perder tiempo escribiéndolo desde cero. Incluso para esas situaciones, a menudo es incierto si funcionará correctamente.

La razón no es sorprendente. Conceptualmente, los modelos de lenguaje grandes (LLM) reciben una gran cantidad de datos y generan una salida en función de esta estructura: en un contexto particular, para la pregunta que hiciste, cuál es la palabra / texto más probable que siga a la palabra anterior. Básicamente, calcula la probabilidad de que una palabra siga a otra y genera una salida en función de eso. A pesar de esta estructura, dada la cantidad de datos que se han utilizado para entrenar estos modelos, los resultados para casos de uso más generales de ChatGPT (como redactar un correo electrónico o resumir una página) han sido impresionantes. Pero es importante recordar que los modelos de lenguaje, por diseño, tienen capacidades analíticas / matemáticas limitadas. En otras palabras, cuando le preguntas al modelo “cuánto es 2+2”, puede darte la respuesta correcta, no porque sepa matemáticas, sino porque ha visto ese patrón de texto antes en sus datos de entrenamiento.

De manera similar, cuando se trata de la generación de código, el modelo realmente no “conoce” los conceptos subyacentes de la programación, pero predice los resultados en función de su entrenamiento con una gran cantidad de datos de texto. La consecuencia de esto es el feedback de GitHub Copilot mencionado anteriormente: a veces es bueno para generar el código base que necesitas, pero su capacidad para entender realmente el código, depurarlo y brindarte explicaciones es limitada. Esto mejorará con el tiempo, pero es difícil decir si alguna vez llegará al punto de alta precisión / alta confiabilidad.

El CEO de StackOverflow, Prashanth Chandrasekar, lo describe de manera sucinta:

Un problema con los sistemas modernos de LLM es que proporcionarán respuestas incorrectas con la misma confianza que las correctas, y “alucinarán” hechos y cifras si consideran que encaja en el patrón de respuesta que busca el usuario.

En algún momento, necesitarás saber qué estás construyendo. Es posible que tengas que depurarlo y no tengas idea de lo que acabas de construir, y es difícil saltar el proceso de aprendizaje tomando atajos.

Esta es la oportunidad para StackOverflow: su caída de tráfico puede ser permanente y es muy probable que los programadores visiten StackOverflow con menos frecuencia para preguntas más simples (por ejemplo, es posible que ya no visiten StackOverflow para un algoritmo de clasificación listo para usar). Pero donde el producto puede destacar es: 1) proporcionar respuestas de alta precisión / alta confiabilidad a preguntas más complejas que los modelos de lenguaje pueden no tener la capacidad de responder, y 2) proporcionar respuestas a preguntas en nuevas tecnologías / espacios de problemas en los que los modelos no han tenido datos anteriores para entrenar. OverflowAI está diseñado para aprovechar directamente esta oportunidad.

Lo que hace OverflowAI

Hay tres aspectos clave en los que están apostando: respuestas directas a preguntas, facilidad de uso desde entornos de desarrollo y potenciación del conocimiento dentro de las empresas.

OverflowAI Search proporciona respuestas directas a los usuarios en formato de preguntas y respuestas (similar a ChatGPT), pero también proporciona varios enlaces a publicaciones reales de StackOverflow. Además de ayudar a crear confianza, esto también brinda a los usuarios la oportunidad de profundizar cuando la respuesta proporcionada por la IA no resuelve completamente el problema del usuario. Esto logra un equilibrio delicado al brindar una respuesta directa cuando la pregunta es simple, pero también guiar al usuario por un camino más exploratorio para preguntas difíciles.

Si el usuario no está satisfecho con las respuestas, puede ingresar a una interfaz similar a un chat para hacer preguntas de seguimiento. Si ninguna de las respuestas es satisfactoria, pueden pedirle a StackOverflow que redacte una pregunta en su nombre, lista para ser publicada en el foro de preguntas y respuestas. Esta experiencia también evita que los usuarios se encuentren en la situación a menudo en la que la pregunta que hacen ya ha sido respondida anteriormente.

El producto también se enfoca en la usabilidad al hacer toda esta capacidad disponible desde Visual Studio Code a través de una extensión. Esto ayuda a StackOverflow a competir de manera más efectiva con asistentes de codificación integrados nativamente al permitir que los desarrolladores obtengan respuestas desde su entorno de codificación (en lugar de tener que cambiar de contexto y buscar en un navegador).

Además de esto, para clientes empresariales, OverflowAI está creando la capacidad de conectar varias fuentes de información dentro de una empresa (preguntas y respuestas internas, páginas de wiki, repositorios de documentos), para proporcionar una experiencia de preguntas y respuestas cohesiva para los desarrolladores. Poder utilizar datos internos y de StackOverflow, y más importante aún, exponerlos fácilmente en una interfaz de tipo de preguntas y respuestas, puede ser un gran impulso para la productividad de las organizaciones de ingeniería. También tienen la intención de lanzar una integración con Slack como una interfaz perfecta para aprovechar esta capacidad.

Lo impresionante del enfoque del producto de OverFlowAI es que toma el activo principal de la empresa (respuestas a preguntas difíciles), expone las respuestas en una interfaz altamente utilizable donde sea que se encuentren los usuarios (ya sea en Slack o en entornos de desarrollo) y, a su vez, crea un ciclo donde los usuarios pueden aprovechar la IA generativa para enviar nuevas preguntas.

Tendencias subyacentes de la estrategia de StackOverflow

StackOverflow no es exactamente una empresa pública, es propiedad de Prosus, que a su vez es parte de una compañía matriz más grande, Naspers, que cotiza en bolsa. Por lo tanto, es difícil obtener datos de ingresos claros, pero un informe de Prosus publicado en mayo de 2022 arroja algo de luz:

• La empresa generó ~$89M en ingresos en 2022, divididos 50-50 entre el producto empresarial StackOverflow for Teams y los productos Reach (publicidad y marca de empleadores)
• De 2021 a 2022, los ingresos de StackOverflow for Teams aumentaron un 69%, mientras que los ingresos de los productos Reach disminuyeron un 12% (es posible que haya habido factores externos que afectaron los ingresos de 2022, como una contratación más lenta)

Estos datos de ingresos, combinados con lo que hace el producto de OverflowAI, apuntan a algunas tendencias claras hacia dónde se dirige StackOverflow en el mundo de la IA generativa (estas tendencias también se pueden extender a otras plataformas de preguntas y respuestas):

1. Su negocio de publicidad, cuyo éxito está directamente relacionado con el tráfico, está en declive. Esto no es necesariamente alarmante y simplemente señala una tendencia más amplia: probablemente haya menos visitas / vistas de página porque los consumidores obtendrán respuestas a preguntas más fáciles directamente (lo cual es bueno) y, por lo tanto, la publicidad se convierte en una fuente de ingresos menos crítica.
2. StackOverflow seguirá siendo una fuente valiosa de respuestas para preguntas difíciles, y el volumen de preguntas y respuestas seguirá creciendo con el impulso de la IA generativa de la empresa para redactar/enviar preguntas automáticamente. Además, también es probable que si StackOverflow puede mantener en funcionamiento el motor de contenido, la calidad del contenido en la plataforma mejore, ya que las preguntas repetitivas/fáciles dejarán de ser el contenido de mayor volumen.
3. StackOverflow se concentrará en construir experiencias donde pueda brindar el máximo valor a los usuarios (como OverflowAI Search y la extensión de Visual Studio Code) y se enfocará en líneas de productos donde los clientes estén dispuestos a pagar por estas experiencias superiores (por ejemplo, StackOverflow for Teams)
4. Los programas de licencias de datos, en los que cobran a las empresas de IA por capacitarse con sus datos, se acelerarán

Todas estas tendencias apuntan en una dirección donde StackOverflow está pivotando con éxito hacia la siguiente fase de la empresa, y la empresa ha realizado las inversiones correctas en productos/negocios para superar lo que podría haber sido una interrupción potencial. Además, también han realizado un valioso servicio a la comunidad y han presentado un manual de instrucciones para que otras plataformas de preguntas y respuestas aprovechen. En general, soy optimista sobre la dirección hacia la que se dirigen y creo que esto encenderá un próspero ecosistema de contenido en el futuro.

🚀 Si te ha gustado este artículo, considera suscribirte a mi boletín semanal. Cada semana, publico un análisis exhaustivo sobre un tema tecnológico actual / estrategia de producto en forma de una lectura de 10 minutos. Saludos, Viggy.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!