Prime Intellect : l’infrastructure dédiée au développement de l’IA décentralisé à grande échelle

L'essor rapide de l'intelligence artificielle suscite des questions essentielles concernant l'accès aux ressources de calcul et la propriété des modèles. Alors que les investissements dans l'infrastructure de formation des modèles d'IA devraient atteindre 475 milliards de dollars d'ici 2032, la rareté des cartes graphiques (GPU) haut de gamme entraîne une fragmentation des fournisseurs

Dans ce contexte, l'IA open source apparaît comme une alternative prometteuse aux modèles propriétaires. Cependant, la communauté open source fait face à des défis en matière de coordination et de ressources.

Cet article se propose d'explorer les solutions offertes par Prime Intellect ainsi que la vision promue par ce nouvel acteur.

Qu’est-ce que Prime Intellect ?

Prime Intellect se positionne comme un acteur venant disrupter le domaine de l'intelligence artificielle décentralisée. Leur approche va au-delà de la simple agrégation de ressources de calcul, en proposant une vision holistique qui englobe le développement collaboratif, l'entraînement open-source et la gouvernance partagée des modèles d'IA. 

Cette plateforme vise à démocratiser l'accès aux capacités de calcul nécessaires pour l'IA à grande échelle, tout en créant un écosystème où chercheurs, développeurs et contributeurs peuvent collaborer efficacement.

L'ambition de Prime Intellect est de redéfinir la manière dont les modèles d'IA sont développés, déployés et possédés. En permettant la tokenisation et la propriété collective des modèles, ils ouvrent la voie à de nouveaux paradigmes économiques dans le domaine de l'IA. 

Finalement, cette approche pourrait non seulement stimuler l'innovation en attirant davantage de ressources et de talents, mais aussi favoriser une distribution plus équitable des bénéfices générés par les avancées en IA. Prime Intellect aspire ainsi à créer un environnement où le progrès technologique et l'équité vont de pair, en alignant les intérêts de multiples parties prenantes dans le développement de l'IA.

Comment fonctionne Prime Intellect ?

Prime Intellect est une plateforme qui vise à démocratiser le développement de l'intelligence artificielle à grande échelle. Son fonctionnement repose sur plusieurs aspects clés :

• Agrégation des ressources de calcul : Prime Intellect rassemble des ressources informatiques provenant de différentes sources à travers le monde, créant ainsi un “cloud de tous les clouds”. Cette approche permet d'accéder à une puissance de calcul considérable, nécessaire pour l'entraînement de modèles d'IA avancés.

• Entraînement distribué : la plateforme facilite l'entraînement de modèles d'IA de pointe grâce à des techniques d'entraînement distribuées sur des clusters. Cette méthode permet d'optimiser l'utilisation des ressources et d'accélérer le processus d'entraînement.

• Collaboration et open source : Prime Intellect encourage le développement collaboratif de modèles d'IA open source, à l'instar du développement de logiciels open source. Cela permet des améliorations continues et une innovation partagée.

• Recherche en entraînement décentralisé : l'entreprise investit dans la recherche de nouvelles approches d'entraînement décentralisé, visant à améliorer l'efficacité de l'entraînement sur des GPU distribués mondialement.

Prime Intellect : l'agrégateur de fournisseurs de cartes graphiques (GPU) dans le cloud

Le lancement récent de leur plateforme de GPU décentralisé constitue une avancée majeure pour Prime Intellect en proposant une solution qui compare les offres existantes et présente les meilleures opportunités sur le marché des GPU.

En effet, la plateforme centralise les offres des principaux fournisseurs de GPU, qu'ils soient centralisés ou décentralisés, tels qu'Akash, io.net ou Lambda Cloud.

Cette approche permet de proposer des services de calcul à la demande à la fois rentables et évolutifs, en permettant l'accès à des clusters plus importants allant de 16 à plus de 128 GPU. Une telle envergure facilite le développement de modèles d'intelligence artificielle révolutionnaires, jusqu'alors inaccessibles pour la majorité des chercheurs et entreprises.

L’objectif d’un agrégateur est de présenter à l’utilisateur les tarifs de location les plus avantageux en combinant les offres des différents fournisseurs et en fournissant les outils nécessaires pour faciliter ce processus. 

De cette manière, il est plus avantageux d'utiliser la plateforme Prime Intellect plutôt que de visiter directement Amazon Web Services, Akash ou io.net pour comparer les prix. Actuellement, Prime Intellect propose une large gamme de cartes graphiques (GPU), allant des modèles haut de gamme H100 aux séries RTX 3000 & RTX 4000.

L'entraînement décentralisé et la tokenisation de modèles d’IA 

L'entraînement décentralisé de modèles d'IA, un élément clé de la vision de Prime Intellect, représente une approche nouvelle. Contrairement à la méthode traditionnelle nécessitant des centres de données coûteux, cette approche répartit l'entraînement sur des clusters de GPU mondiaux. Cela pourrait démocratiser le développement de l'IA, permettant à des acteurs plus modestes de participer à la création de grands modèles, un domaine jusqu'ici dominé par Microsoft, Google et OpenAI.

Cependant, l'entraînement décentralisé pose de nombreux défis techniques : gestion de la communication entre nœuds dispersés, optimisation de la latence et de la bande passante, adaptation à divers GPU et résilience face aux fluctuations de disponibilité des clusters. 

Pour surmonter ces obstacles, Prime Intellect s'appuie sur des recherches de pointe comme DiLoCo, DiPaCo, et SWARM Parallelism. Ces techniques visent à optimiser l'efficacité de l'entraînement distribué, ouvrant la voie à une nouvelle ère où collaboration et décentralisation joueront un rôle central.

En fin de compte, l'objectif est de lancer un protocole décentralisé permettant la propriété collective des modèles d'IA et de collaborer vers la création d'une intelligence artificielle générale (AGI) alignée et bénéfique pour toute l'humanité. 

Dans les faits, les utilisateurs accèdent à des modèles pré-entraînés, facilitant le développement de l’utilisation de l'IA sans investissements coûteux en matériel ou logiciels. Les contributeurs au développement de ces modèles d’IA seraient alors récompensés. 

Concrètement, ce positionnement est particulièrement pertinent avec l'évolution du marché de la tokenisation.

Focus sur OpenDiloco : un cadre open-source pour la formation de modèles d’IA

DiLoCo (Distributed Local and Collective Optimization) est une méthode de formation distribuée pour les modèles d'IA, conçue pour réduire la communication entre les appareils tout en maintenant des performances élevées.

Elle combine des optimisations locales avec AdamW (optimisation interne) sur chaque appareil et une synchronisation globale via l'optimiseur de momentum Nesterov toutes les 500 étapes, réduisant ainsi les besoins en bande passante.

OpenDiLoCo, une implémentation open-source basée sur la bibliothèque Hivemind, permet une formation décentralisée tolérante aux pannes, évolutive et sans nœud maître, démontrant son efficacité sur des modèles allant jusqu'à 1,1 milliard de paramètres.

La recherche : une pierre angulaire de Prime Intellect 

Au cœur de la vision de Prime Intellect se trouve un engagement fort envers la recherche open source, avec pour objectif de progresser collectivement et de créer des modèles d'IA en copropriété. 

Le projet vise à permettre à chacun de former et de contribuer, de manière collaborative, à des modèles d'IA ouverts dans des domaines variés et à fort impact, tels que le langage, le code et la science. 

Prime Intellect soutiendra activement ces initiatives, offrant aux développeurs et aux investisseurs partageant cette vision l'opportunité d'accélérer le développement tout en rendant l'intelligence artificielle accessible à tous.

Récemment, une initiative nommée Fast Compute Grants a été lancée pour soutenir financièrement la recherche sur de nouveaux modèles, architectures et techniques nécessaires à la réalisation d’une AGI ouverte et décentralisée. 

Équipe, levée de fonds & token 

L'équipe à l'origine du projet est composée de professionnels expérimentés aux expertises variées, incluant les modèles d'IA avancés, les systèmes de formation distribués, l'IA et la science décentralisées ainsi que la tokenisation. 

Johannes Hagemann et Vincent Weisser, cofondateurs de Prime Intellect, ont consacré leur carrière à la formation de modèles d'IA de pointe et à la création d'une communauté de chercheurs engagée qui profitera au développement de ce projet.

En avril 2024, une levée de fonds (seed) à hauteur de 5,5 millions de dollars a été réalisée auprès de divers fonds d’investissement comme CoinFund et de business angels comme Robert Drost (Eigenlayer) ou encore Clem Delangue (Huggingface). 

Enfin, bien que le lancement d’un token ne soit pas explicitement mentionné, plusieurs éléments suggèrent son introduction future : 

1. Le financement de 5,5 millions de dollars sera utilisé pour “construire le protocole Prime Intellect afin d'établir un écosystème d'IA décentralisé où les participants sont récompensés pour leurs contributions”.

2. L'entreprise prévoit de permettre “la propriété collective des modèles d'IA”.

3. Le protocole vise à “récompenser les participants” et à permettre “la gouvernance collective”, ce qui implique généralement l'utilisation d'un token.

Conclusion 

En résumé, Prime Intellect se positionne comme un acteur clé dans la démocratisation de l'IA grâce à sa plateforme de calcul décentralisée et son protocole innovant. 
En favorisant la collaboration et la propriété collective des modèles d'IA, le projet aspire à transformer l'écosystème de l'intelligence artificielle. Avec des perspectives prometteuses, Prime Intellect pourrait bien redéfinir l'avenir de l'IA accessible à tous.