ChatGPT destronado cómo Claude se convirtió en el nuevo líder de IA

ChatGPT destronado por Claude, nuevo líder de IA

 

Nos hemos acostumbrado a avances continuos en IA en los últimos meses.

Pero no a anuncios históricos que establecen una nueva marca diez veces mayor que la anterior, que es precisamente lo que Anthropic ha logrado con su nueva versión de su chatbot Claude, el competidor más grande de ChatGPT.

Literalmente deja en ridículo a todos los demás.

• Justin McGill, Fundador y CEO de Content at Scale – Serie de entrevistas
• Conoce a Tongyi Qianwen, el competidor de ChatGPT de Alibaba un modelo de lenguaje grande que se integrará en sus altavoces inteligentes Tmall Genie y en la plataforma de mensajería laboral DingTalk.
• Sobre el aprendizaje en presencia de grupos subrepresentados

Pronto podrás convertir horas de búsqueda de texto e información en segundos, evolucionando los chatbots generativos de IA de simples agentes de conversación a herramientas verdaderamente revolucionarias para tu vida y la de quienes te rodean.

 

Un chatbot potenciado y enfocado en hacer el bien

 

Como sabes, con GenAI hemos abierto una ventana para que la IA genere cosas, como texto o imágenes, lo cual es genial.

Pero como ocurre con cualquier cosa en tecnología, tiene una compensación, en el sentido de que los modelos de GenAI carecen de conciencia o juicio de lo que es “bueno” o “malo”.

De hecho, han logrado la capacidad de generar texto imitando datos generados por humanos que, en la mayoría de los casos, ocultan prejuicios discutibles y contenido dudoso.

Desafortunadamente, a medida que estos modelos mejoran al crecer más, el incentivo de simplemente darles cualquier texto posible que encuentres, sin importar el contenido, es particularmente tentador.

Y eso conlleva enormes riesgos.

 

El problema de la alineación

 

Debido a su falta de juicio, los modelos de lenguaje base de gran tamaño, o base LLMs como se les llama comúnmente, son particularmente peligrosos, ya que son muy susceptibles a aprender los prejuicios que oculta su conjunto de datos de entrenamiento porque replican esos mismos comportamientos.

Por ejemplo, si los datos tienen sesgos hacia el racismo, estos LLMs se convierten en la personificación de dicho racismo. Lo mismo se aplica a la homofobia y cualquier otro tipo de discriminación que puedas imaginar.

Por lo tanto, considerando que muchas personas ven Internet como el campo de pruebas perfecto para poner a prueba sus límites de falta de ética e inmoralidad, el hecho de que los LLMs hayan sido entrenados con prácticamente todo Internet sin ninguna barrera de seguridad lo dice todo sobre los riesgos potenciales.

Afortunadamente, modelos como ChatGPT son una evolución de estos modelos base lograda mediante la alineación de sus respuestas a lo que los humanos consideran como “apropiado”.

Esto se hizo utilizando un mecanismo de recompensa descrito como Aprendizaje por Reforzamiento para Retroalimentación Humana, o RLHF.

En particular, ChatGPT fue filtrado a través del juicio firme de los ingenieros de OpenAI que transformaron un modelo muy peligroso en algo no solo mucho menos sesgado, sino también mucho más útil y capaz de seguir instrucciones.

No sorprende que a estos LLMs se les llame generalmente Modelos de Lenguaje Ajustados a Instrucciones.

Por supuesto, los ingenieros de OpenAI no deberían ser responsables de decidir qué es bueno o malo para el resto del mundo, ya que también tienen sus propios sesgos (culturales, étnicos, etc.).

Al final del día, incluso los seres humanos más virtuosos tienen sesgos.

No hace falta decir que este procedimiento no es perfecto.

Hemos visto en varios casos cómo estos modelos, a pesar de su supuesta alineación, han actuado de manera sospechosa, casi vil, hacia sus usuarios, como le ha ocurrido a muchos con Bing, obligando a Microsoft a limitar el contexto de la interacción a solo unos pocos mensajes antes de que las cosas se salgan de control.

Teniendo en cuenta todo esto, cuando dos ex investigadores de OpenAI fundaron Anthropic, tenían otra idea en mente… alinearían sus modelos utilizando IA en lugar de humanos, con el concepto completamente revolucionario de autoalineación.

 

Desde Massachusetts hasta la IA

 

En primer lugar, el equipo redactó una Constitución que incluía cosas como la Declaración Universal de Derechos Humanos o los términos de servicio de Apple.

De esta manera, el modelo no solo aprendió a predecir la siguiente palabra en una oración (como cualquier otro modelo de lenguaje), sino que también tuvo en cuenta, en cada una de sus respuestas, una Constitución que determinaba lo que podía decir o no.

A continuación, en lugar de los seres humanos, la IA real se encarga de alinear el modelo, potencialmente liberándolo del sesgo humano.

Pero la noticia crucial que Anthropic ha lanzado recientemente no es el concepto de alinear sus modelos a algo que los humanos puedan tolerar y utilizar con la IA, sino un anuncio reciente que ha convertido a Claude en el jugador dominante e inquebrantable en la guerra GenAI.

Específicamente, ha aumentado su ventana de contexto de 9,000 tokens a 100,000. Una mejora sin precedentes que tiene implicaciones incomparables.

Pero, ¿qué significa eso y cuáles son estas implicaciones?

 

Todo se trata de tokens

 

Permítanme dejar claro que la importancia de este concepto de ‘token’ no se puede descuidar, ya que a pesar de lo que muchas personas puedan decirte, LLMs no predicen la siguiente palabra en una secuencia… al menos no literalmente.

Cuando generan su respuesta, los LLMs predicen el siguiente token, que normalmente representa entre 3 y 4 caracteres, no la siguiente palabra.

Naturalmente, estos tokens pueden representar una palabra, o las palabras pueden estar compuestas por varios de ellos (por referencia, 100 tokens representan alrededor de 75 palabras).

Cuando se ejecuta una inferencia, modelos como ChatGPT dividen el texto que les das en partes y realizan una serie de cálculos matriciales, un concepto definido como autoatención, que combina todos los diferentes tokens en el texto para aprender cómo cada token afecta al resto.

De esta manera, el modelo “aprende” el significado y el contexto del texto y, de esa manera, puede proceder a responder.

El problema es que este proceso es muy intensivo en cómputo para el modelo.

Para ser precisos, los requisitos de cómputo son cuadráticos respecto a la longitud de entrada, por lo que cuanto más largo sea el texto que le des, descrito como ventana de contexto, más costoso será ejecutar el modelo tanto en el entrenamiento como en el tiempo de inferencia.

Esto obligó a los investigadores a limitar considerablemente el tamaño permitido de la entrada dada a estos modelos a alrededor de una proporción estándar entre 2,000 y 8,000 tokens, siendo este último alrededor de 6,000 palabras.

Previsiblemente, restringir la ventana de contexto ha debilitado gravemente la capacidad de los LLMs para impactar nuestras vidas, dejándolos como una herramienta divertida que puede ayudarte con un puñado de cosas.

Pero, ¿por qué aumentar esta ventana de contexto desbloquea el mayor potencial de los LLMs?

Bueno, simple, porque desbloquea la característica más poderosa de los LLMs, el aprendizaje en contexto.

 

Aprendizaje sin entrenamiento

 

En pocas palabras, los LLMs tienen una capacidad rara que les permite aprender “sobre la marcha”.

Como sabes, entrenar a los LLMs es costoso y peligroso, específicamente porque para entrenarlos tienes que entregarles tus datos, lo cual no es la mejor opción si quieres proteger tu privacidad.

Además, aparecen nuevos datos todos los días, por lo que si tuvieras que ajustar finamente, o sea, entrenar aún más, tu modelo constantemente, el caso empresarial para los LLMs estaría absolutamente destruido.

Afortunadamente, los LLMs son excelentes en este concepto descrito como aprendizaje en contexto, que es su capacidad de aprender sin modificar realmente los pesos del modelo.

En otras palabras, pueden aprender a responder a tu consulta simplemente dándoles los datos que necesitan al mismo tiempo que les estás solicitando lo que sea que necesitas de ellos… sin tener que entrenar el modelo.

Este concepto, también conocido como aprendizaje de cero disparos o aprendizaje de pocos disparos (dependiendo de cuántas veces necesita ver los datos para aprender), es la capacidad de los LLMs de responder con precisión a una solicitud dada utilizando datos que no han visto antes hasta ese momento.

En consecuencia, cuanto mayor sea la ventana de contexto, más datos puedes darles y, por lo tanto, más consultas complejas pueden responder.

Por lo tanto, aunque las ventanas de contexto pequeñas estaban bien para chatear y otras tareas más simples, eran completamente incapaces de manejar tareas verdaderamente poderosas… hasta ahora.

 

La saga de Star Wars en segundos

 

Voy al grano.

Como mencioné anteriormente, la versión más nueva de Claude, versión 1.3, puede asimilar de una sola vez 100,000 tokens, o alrededor de 75,000 palabras.

Pero eso no te dice mucho, ¿verdad?

Déjame darte una mejor idea de lo que cabe dentro de 75,000 palabras.

 

De Frankenstein a Anakin

 

El artículo que estás leyendo ahora mismo tiene menos de 2,000 palabras, lo cual es más de 37.5 veces menos de lo que Claude ahora es capaz de asimilar de una sola vez.

Pero, ¿cuáles son ejemplos de tamaño comparable? Bueno, para ser más específicos, 75,000 palabras representan:

• Aproximadamente la longitud total del libro Frankenstein de Mary Shelley
• El libro completo de Harry Potter y la piedra filosofal, que tiene 76,944 palabras
• Cualquiera de los libros de Las crónicas de Narnia, ya que todos tienen un número menor de palabras
• Y el número más impresionante de todos, es suficiente para incluir los diálogos de hasta 8 películas de Star Wars… combinadas

Ahora, piensa en un chatbot que puede, en cuestión de segundos, darte el poder de preguntarle todo lo que quieras sobre cualquier texto dado.

Por ejemplo, recientemente vi un video en el que le dieron a Claude un podcast de cinco horas de John Cormack, y el modelo era capaz no solo de resumir el podcast en general en pocas palabras, sino también de señalar cosas específicas dichas en un momento preciso durante una sesión de habla de cinco horas.

Es incomprensible pensar que este modelo no solo es capaz de hacer esto con una transcripción de 75,000 palabras, pero lo asombroso es que también está trabajando con datos que podría estar viendo por primera vez.

Sin duda, esta es la solución cumbre para estudiantes, abogados, científicos de investigación y básicamente cualquier persona que deba manejar grandes cantidades de datos simultáneamente.

Para mí, esto es un cambio de paradigma en IA como pocos hemos visto.

Sin duda, se ha abierto la puerta a una innovación verdaderamente disruptiva para los LLM.

Es increíble cómo la IA ha cambiado en solo unos pocos meses, y cómo está cambiando rápidamente cada semana. Y lo único que sabemos es que está cambiando… una ficha a la vez.

    Ignacio de Gregorio Noblejas tiene más de cinco años de experiencia integral en el sector tecnológico y actualmente ocupa un puesto como Gerente de Consultoría en una empresa de consultoría de primer nivel, donde ha desarrollado una sólida experiencia en ofrecer orientación estratégica sobre la adopción de tecnología e iniciativas de transformación digital. Su experiencia no se limita al trabajo en consultoría, sino que también comparte sus profundos conocimientos con una audiencia más amplia en su tiempo libre. Educa e inspira activamente a otros sobre los últimos avances en Inteligencia Artificial (IA) a través de su escritura en VoAGI y su boletín semanal, TheTechOasis, que tienen una audiencia comprometida de más de 11,000 y 3,000 personas respectivamente.

  Original. Reposted con permiso.  

We will continue to update Zepes; if you have any questions or suggestions, please contact us!