Mientras Meta anuncia su modelo de lenguaje más grande y capaz hasta el momento, el Llama 3.1 405B, Mark Zuckerberg dice que es importante que la tecnología no esté controlada por un puñado de empresas.
Optando por un enfoque transparente, el CEO escribió un Carta pública del martes (23 de julio) explicando por qué el LLM es de código abierto y por qué esto es “bueno para el mundo”.
“Creo que el código abierto es necesario para un futuro positivo de la IA”, escribe el multimillonario.
Mark es un CEO increíble.
Lo que más me llamó la atención de nuestra conversación fue lo profundamente que piensa sobre el código abierto y cómo beneficiará a Meta (y al mundo) a largo plazo.
Algunos de mis momentos y citas favoritos:
Sobre el futuro de los agentes de IA:
—Rowan Cheung (@rowancheung) 24 de julio de 2024
“El código abierto garantizará que más personas en todo el mundo tengan acceso a los beneficios y oportunidades de la IA, que el poder no se concentre en manos de un pequeño número de empresas y que la tecnología pueda implementarse de manera más uniforme y segura en toda la sociedad”.
El nuevo Llama 3.1 405B es el primer modelo de inteligencia artificial de código abierto de nivel de frontera de la empresa. A diferencia de las versiones anteriores, ahora se ha puesto un mayor énfasis en la creación de un ecosistema más amplio.
El equipo ha estado trabajando con una variedad de empresas para hacer crecer esto, y mencionó a “Amazon, Databricks y NVIDIA” como empresas que cuentan con conjuntos completos de servicios para ayudar a los desarrolladores a ajustar y destilar sus propios modelos.
Zuckerberg explica cómo se tomó esta decisión para “garantizar que siempre tengamos acceso a la mejor tecnología y que no estemos encerrados en el ecosistema cerrado de un competidor donde puedan restringir lo que construimos.
“Una de mis experiencias formativas ha sido construir nuestros servicios limitados por lo que Apple nos permite construir en sus plataformas.
“Entre la forma en que gravan a los desarrolladores, las reglas arbitrarias que aplican y todas las innovaciones de productos que impiden que se distribuyan, Meta y muchas otras empresas tendrían libertad para crear servicios mucho mejores para las personas si pudiéramos crear las mejores versiones de nuestros productos y los competidores no pudieran limitar lo que podemos crear”.
¿Qué es el modelo Llama 3.1 405B de Meta de Mark Zuckerberg?
Meta oficialmente anunciado Llama 3.1 el martes (23 de julio) describiéndolo como un dispositivo con “capacidades de última generación en conocimiento general, maniobrabilidad, matemáticas, uso de herramientas y traducción multilingüe”.
El LLM se entrenó en más de 15 billones de tokens y el entrenamiento del modelo se llevó a más de 16 mil GPU H100, lo que lo convirtió en el primer modelo de Llama realizado a tal escala.
Meta dice que han hablado con la comunidad y se han dado cuenta de que el desarrollo de IA generativa implica mucho más que simplemente generar modelos.
Como tal, creen que los desarrolladores pueden hacer lo siguiente con el ecosistema: “interferencia en tiempo real y por lotes, ajuste fino supervisado, evaluación de su modelo para una aplicación específica, preentrenamiento continuo, generación aumentada por recuperación, llamada de funciones y generación de datos sintéticos”.
Imagen destacada: Vía Anthony Quintano en Flickr
