Silo AI publica un punto de control en su misión de democratizar los LLMs
Silo AI publica un punto de control en su misión de democratizar los LLMs''Silo AI anuncia un hito en su objetivo de democratizar los LLMs
Ha pasado un año desde que OpenAI lanzó ChatGPT al mundo y popularizó términos como modelo fundamental, LLM y GenAI. Sin embargo, los beneficios prometidos de la tecnología de IA generativa aún son mucho más probables de obtener para aquellos que hablan inglés que para otros idiomas.
Existen más de 7,000 idiomas en el mundo. Sin embargo, la mayoría de los modelos de lenguaje grandes (LLMs) funcionan de manera mucho más efectiva en inglés. Naturalmente, esto amenaza con amplificar el sesgo lingüístico en lo que respecta al acceso al conocimiento, la investigación, la innovación y la ventaja competitiva para las empresas.
En noviembre, Silo AI de Finlandia lanzó su LLM multilingüe abierto en Europa llamado Poro 34B, desarrollado en colaboración con la Universidad de Turku. Poro, que significa reno en finlandés, ha sido entrenado en el supercomputador más poderoso de Europa, LUMI, en Kajani, Finlandia. (Curiosamente, LUMI funciona con una arquitectura AMD, a diferencia de la muy popular Nvidia para entrenamiento de LLM).
Junto con Poro 1, la empresa presentó un programa de checkpoints de investigación que lanzará checkpoints a medida que el modelo se complete (los primeros tres checkpoints se anunciaron con el modelo el mes pasado).
Ahora, la empresa, a través de su rama SiloGen, ha entrenado más del 50% del modelo y acaba de publicar los dos siguientes checkpoints en el programa. Con estos cinco checkpoints ahora completos, Poro 34B ha demostrado un rendimiento excepcional para idiomas de recursos limitados como el finlandés (en comparación con Llama, Mistral, FinGPT, etc.) sin comprometer el rendimiento en inglés.
- Sam Altman vuelve oficialmente a OpenAI como CEO
- Elon Musk insulta a los publicistas por la disputa sobre contenido ...
- Elon Musk OpenAI podría haber encontrado algo peligroso.
Sampo Pyysalo, investigador asociado de TurkuNLP, dice que esperan haber entrenado completamente el modelo en las próximas semanas. Como siguiente paso, el modelo agregará soporte para otros idiomas nórdicos, incluidos sueco, noruego, danés e islandés.
“Es imperativo para la soberanía digital de Europa tener acceso a modelos de lenguaje alineados con los valores, la cultura y los idiomas europeos. Nos enorgullece ver que Poro muestra un rendimiento excepcional en un idioma de recursos limitados como el finlandés”, dijo Peter Sarlin, cofundador y CEO de Silo AI, a TNW. “En línea con la intención de cubrir todos los idiomas europeos, es un paso natural comenzar con una extensión a los idiomas nórdicos”.
Además, SiloGen ha comenzado a entrenar a Poro 2. A través de una asociación con LAION, una organización sin fines de lucro dedicada al aprendizaje automático a gran escala, se agregará multimodalidad al modelo.
“También es natural extender Poro a la visión”, agregó Sarlin. “Al igual que los datos textuales, vemos un potencial aún mayor para que la IA generativa consolide grandes cantidades de datos de diferentes modalidades”.
LAION dice que está “apasionado por avanzar en el campo del aprendizaje automático para el bienestar general”. Siguiendo las intenciones de Silo AI de construir su modelo GenAI y la misión general de LAION de aumentar el acceso a modelos de aprendizaje automático y conjuntos de datos a gran escala, Poro 2 estará disponible de forma gratuita bajo la Licencia Apache 2.0. Esto significa que los desarrolladores también podrán construir soluciones propietarias sobre él.
Silo AI, que se autodenomina “el laboratorio de IA privado más grande de Europa”, fue lanzado en 2017 con la idea de que Europa necesitaba un buque insignia de IA. La empresa tiene su sede en Helsinki, Finlandia, y desarrolla soluciones y productos impulsados por IA para habilitar dispositivos inteligentes, vehículos autónomos, industria 4.0 y ciudades inteligentes. Actualmente, Silo AI cuenta con más de 300 empleados y también tiene oficinas en Suecia, Dinamarca, los Países Bajos y Canadá.
