#150 All You Need Is...?
Discover more from Suma Positiva
Love!
¿Verdad?
Estoy convencido de que tu cerebro no ha podido resistirse a completar el título de este artículo al leerlo.
Las decenas o cientos de veces que has escuchado el estribillo de la archifamosa canción de los Beatles te han entrenado para asociar la palabra love al final de la cadena all you need, a pesar de que hay muchas otras palabras que encajarían perfectamente desde el punto de vista semántico y sintáctico.
¿Y si te dijera que algo parecido a lo que acabamos de hacer está en el corazón de los modelos lingüísticos que están revolucionando el campo de la inteligencia artificial como ChatGPT?
Hola, soy @samuelgil, Partner en JME Ventures.
Bienvenido a mi newsletter semanal, un lugar donde nos reunimos aquellos que creemos que la tecnología transforma juegos de suma cero en juegos de Suma Positiva.
Esta edición de Suma Positiva ha sido patrocinada por:
Una vacante publicada en LinkedIn recibe de media 250 candidaturas. Sólo un 2-3% de media es invitado a entrevistas.
¿La razón? El mejor talento es en general pasivo, es decir, está abierto a oportunidades pero no busca activamente en ese tipo de plataformas masivas.
Publica tus vacantes en Nova desde 96€/semana (sin fees de contratación) y podrás ahorrarte horas (y horas) revisando candidatos irrelevantes y dedicar tu tiempo al top 3% del mejor talento.
Ahórrate un 25% con el código SUMAPOSITIVA25 en tu primera posición publicada con nosotros. Solicítala aquí
👀 ¿Quieres patrocinar Suma Positiva? Toda la información aquí.
All You Need Is…?
Love?
No!
Attention!
Attention Is All You Need, al menos, si eres un modelo lingüístico de inteligencia artificial y no un vulgar mortal.
O así pensaban los científicos de Google que escribieron el ya célebre paper de junio de 2017 en el que describían la arquitectura Transformer, ideada originalmente para mejorar los sistemas de traducción automática como Google Translate gracias al empleo de mecanismos de atención.
¿Y si además de para traducir textos este modelo nos sirviera también para analizarlos, resumirlos o generarlos?
Pues ahí está ChatGPT de OpenAI, una interfaz tipo chat para hablar con un modelo GPT (Generative Pretrained Transformer), que será el protagonista de nuestra aventura de hoy.
¿Y si esto valiese no sólo para analizar y generar textos, sino también para imágenes o sonidos, pues aunque no lo parezca en apariencia en el fondo no son tan diferentes en su naturaleza?
Antes de seguir teorizando, quiero que experimentes por ti mismo de qué estamos hablando. Si no lo has hecho aún, ese es mi objetivo principal de esta semana.
Abre un navegador y ve a https://chat.openai.com/chat. Es ChatGPT, una interfaz gracias a a cual te podrás comunicar en lenguaje natural con GPT-3.5, uno de los modelos lingüísticos más avanzados que existen. Ni siquiera hace falta que te registres, puedes hacer login si tienes una cuenta de Google. De momento está en versión de prueba y es gratis.
Llegarás a una pantalla así 👇🏻
En la caja de texto de la parte inferior, puedes pedir o preguntar a ChatGPT lo que quieras. Déjame en twitter o en los comentarios a este post tus experimentos.
En parte, se parece a una búsqueda en Google, pero el lugar de darte enlaces a webs cuyo contenido responde a tu pregunta y que tú tendrás que abrir, leer y adaptar a tus propósitos, ChatGPT generará una respuesta propia a partir de todo lo que previamente ha aprendido.
Por un lado, es mucho más flexible. Le puedes pedir que te de la respuesta con la longitud, formato, estilo narrativo, nivel de dificultad o idioma que quieras. Para ello combinará un montón de fuentes sin que tú tengas que hacer nada.
Como ves, otra cosa interesante es que va recordando la conversación que estás manteniendo con él. Puedes ir refinando el resultado hasta dar con lo que quieres.
No sé si compartirás mi opinión, pero yo la primera vez que lo utilicé sentí esa sensación mágica que sentí cuando usé Google o un iPhone por primera vez.
Por mucho que algunos midwits intenten convencernos que la tecnología de ChatGPT no es nueva—como decíamos al inicio del artículo el paper en el que se basa es de 2017—, la gente de OpenAI ha creado un producto con una adopción sin precedentes: 10 millones de usuarios activos en 40 días. La clave está en la facilidad de uso y la rapidez con la que la gente se está imaginando potenciales casos de uso (sobre lo que luego discutiremos).
Pero ojo, hay que tener cuidado, MUCHO cuidado. Las respuestas que genera ChatGPT no tienen porqué ser ciertas o precisas. ChatGPT no revela sus fuentes y no comprende lo que dice. Por sorprendente que parezca, ChatGPT “sólo” genera textos que son correctos, coherentes y a menudo (muy) acertados, pero lo hace únicamente en base estadística. Como en el caso del “Love” en “All You Need Is Love” con el que arrancábamos, cada palabra en una respuesta ha sido elegida por ser la más probable considerando la petición y el texto generado anteriormente.
Cuando ChatGPT no sabe algo, se lo inventa. A este fenómeno se le llama “alucinaciones”. No es que nos quiera engañar. No hay ninguna intención detrás de ello. ChatGPT sigue el mismo proceso para generar una respuesta veraz y una inventada y no ve ninguna diferencia en ello.
En cualquier caso, es tal el volumen de datos con los que ha sido entrenado, que los resultados son sorprendentes.
Entiendo perfectamente las críticas, pero me sorprende la dureza de las mismas. ¿Son siempre ciertos los resultados a los que te lleva una búsqueda de Google? ¿Es siempre acertada la respuesta que te da una persona? ¿No mentimos y nos inventamos cosas?
Creo que en la teoría debemos juzgar a los modelos de IA (inteligencia artificial) contra la perfección, pero en la práctica debemos hacerlo contra la mejor alternativa disponible.
De nuevo, resaltemos una vez más la limitaciones del modelo, porque es un riesgo cierto que su extremada locuacidad y confianza puede persuadirnos y llevarnos a equívoco.
Aplicaciones
Esta semana Microsoft—quien ha invertido recientemente 10.000 millones de dólares en OpenAI—anunciaba una versión de premium de Teams en la que ChatGPT tomará automáticamente notas de la reunión y generará tareas.
Esto es un solo ejemplo de todo lo que viene.
En general, teniendo en cuenta lo comentado anteriormente, ¿podemos anticipar para qué aplicaciones de negocio está madura la tecnología y para cuáles todavía no?
Veamos lo que dice el bicho.
Y veamos ahora si alucina.
Para ello me voy a basar en un artículo de Barak Turovsky, quien fuera durante siete años el Director de Producto de Google AI.
Barak propone emplear tres dimensiones para evaluar cada caso de uso:
Precisión. ¿Cómo de importante es que la respuesta sea precisa?
Fluidez. ¿Cómo de importante es que la respuesta suene natural y fluida?
Cuánto está en juego. ¿Cuáles son las consecuencias de que la respuesta sea incorrecta?
Por supuesto, la escala es otro factor a considerar. Los problemas más frecuentes son los más interesantes para ser automatizados.
Los modelos actuales son muy fluidos y medianamente precisos. De ahí que podamos con ellos abordar problemas que estén en el cuadrante superior izquierdo (baja precisión, alta fluidez). Asimismo, podemos abordar problemas que requieran una mayor precisión, siempre y cuando las consecuencias de equivocarnos no sean muy altas (globos amarillos).
Otra de las consideraciones a tener en cuenta por supuesto es el coste. Se estima que a OpenAI le cuesta varios millones al mes pagar la infraestructura sobre la que corre ChatGPT.
Por otro lado, Sarah Tavel, inversora de Benchmark Capital, dice algo parecido en su artículo Startup weapons against ChatGPT.
De nuevo, la importancia de la corrección de la respuesta y la posibilidad o imposibilidad de medir esta como dimensiones de una matriz 2x2 para decirnos donde podemos emplear ChatGPT o desarrollar productos sustitutivos o complementarios.
Una de las curiosidades de los modelos de IA generativa es que la petición (el denominado “prompt”) que realizamos al modelo tiene un impacto brutal en el resultado. Los resultados que yo obtengo generando imágenes con Stable Diffusion están a años luz de los que obtiene @javilop, como nos enseñó hace unas semanas. Javi ha dedicado muchísimas horas a descubrir cómo tiene que escribir estos prompts para ir consiguiendo cosas de mayor calidad y más próximas a lo que él tiene en su cabeza. Está claro que encapsular ese conocimiento en una interfaz sencilla para el usuario inexperto es algo que puede tener valor, así como entrenar al modelo con datos propios que no sean de dominio público.
Otro de los ángulos que destaca Sarah es la posibilidad de incorporar un bucle de retroalimentación más rápido que permita al modelo aprender más rápido que en el caso de ChatGPT. Cuando hacemos una búsqueda a Google y clickamos en un resultado, estamos indicando al modelo qué respuesta parece mejor, conocimiento que va incorporando en futuras búsquedas. En ChatGPT el bucle de retroalimentación es mucho más débil, pues se nos presenta una única respuesta (que podemos de forma opcional calificar con un 👍🏻 o un 👎🏻 o regenerar).
Encontrar estructura y significado en un texto no es la única aplicación posible de esta tecnología. ¿Qué tal si lo aplicamos a una secuencia de genes? ¿O qué tal si gracias a ella somos capaces de entender mejor la estructura de la materia?
Está claro que aún no hemos llegado a la Inteligencia Artificial General (AGI), que tantos miedos y esperanzas despierta en unos y otros, pero Sam Altman (CEO de OpenAI) intuye que estamos en el camino para ello.
¿Revolución verdadera o punto álgido del ciclo de hype que nos llevará a la desilusión en breve? La realidad es que nadie lo sabe con certeza.
Y por echar más leña al fuego, ¿qué ocurrirá si en los próximos años si además de progresar en inteligencia artificial lo hacemos en fusión nuclear? ¿En qué clase de sociedad nos convertiremos si el coste marginal de la energía y la inteligencia tienden a cero?
Cuesta hacerse a la idea.
De lo que no hay duda alguna es de que los retos éticos a los que nos enfrentaremos serán o son ya probablemente tan importantes como los tecnológicos.
¿Estaremos a la altura?
Gracias por leer Suma Positiva.
Si te ha gustado esta edición, no te olvides de dar al ❤️ y de compartirla por email o redes sociales con otras personas a las que les pueda gustar.
Si quieres patrocinar una próxima edición, aquí tienes toda la información.
#150 All You Need Is...?
¡Fantástico post Samuel! Estamos viviendo tiempos apasionantes y, como dices, habrá que dar respuesta a retos y preguntas éticas que nunca nos habíamos planteado.
Aquí reflexiono sobre el incierto e interesantísimo futuro que viene: https://akoios.substack.com/p/the-independent-sentinel-37
Ahora si que veo claro lo que me decían en el instituto. Lo realmente importante va ser hacerse buenas preguntas, para poder elegir entre las distintas respuestas y...caminamos hacia Sócrates, para saber lo que alguien sabe realmente le haremos preguntas y nos las tendrá que responder caminando...