L’intelligence artificielle (IA) représente une révolution technologique dont l’impact redéfinit déjà notre monde. En permettant aux machines d’apprendre à partir de données et d’exécuter des tâches traditionnellement réservées aux humains, l’IA ouvre la voie à des avancées majeures dans des domaines variés.
Malheureusement, ces modèles appartiennent souvent à de grandes firmes internationales posant de nombreuses questions autour de sa propriété, son utilisation ou son accessibilité.
Gensyn revendique développer un protocole qui solutionnerait ces problèmes.
Sommaire
- La puissance de calcul latente : le pari de Gensyn
- Les défis d’un protocole de deep learning off-chain
- Le protocole Gensyn : la solution à tous ces défis ?
- Un protocole scalable et efficient
- Un système de gouvernance classique dans l’écosystème
- Une roadmap sans dates annoncées
- Les levées de fond de Gensyn
- Conclusion
- Pour aller plus loin
La puissance de calcul latente : le pari de Gensyn
La complexité informatique des systèmes d’intelligence artificielle (IA) de pointe double tous les trois mois, dépassant largement l’offre de calcul actuelle.
Le modèle GPT-3 d’OpenAI dispose de 1 000 cartes graphiques (GPU) pour l’entraînement de ses modèles. OpenAI a pris en charge le coût de l’entraînement de son modèle mais a refusé de mettre son modèle open source, malgré la controverse. Cela signifie que le meilleur modèle d’IA/deep-learning disponible au grand public n’est en réalité accessible qu’à très peu de monde. Les énormes ressources nécessaires à la construction de ces modèles créent d’importants obstacles et entraîneront une stagnation des progrès de l’IA.
Le problème est exacerbé par le fait que l’offre de calcul elle-même est paralysée par les progrès plus modestes de la performance des microprocesseurs, ainsi que par les pénuries de puces à l’échelle mondiale.
Des blockchains comme Ethereum disposent de protocoles qui explorent ce problème. Malheureusement, ils ne parviennent à un consensus trustless (sans confiance) qu’en reproduisant le travail de calcul sur la blockchain. Cette méthode n’est pas adaptée aux modèles de deep-learning.
La formation d’un petit réseau neuronal prendrait 8 minutes sur un ordinateur portable moyen, mais prendrait environ 80 jours sur Ethereum, pour un coût d’approximativement 32 millions de dollars.
Pour répondre à l’explosion de la demande, Gensyn imagine un système qui exploite de manière rentable toutes les capacités de calcul disponibles à l’aide d’un protocole ambitieux et adapté au deep-learning.
Les défis d’un protocole de deep learning off-chain
Un protocole qui connecterait et vérifierait sans confiance des travaux de deep-learning off-chain d’une manière rentable présenterait plusieurs défis.
La vérification du travail
Pour créer un réseau de calcul fiable avec des incitations économiques à la participation, il faut pouvoir vérifier que le travail de calcul a été effectué correctement. Le problème vient du fait que chaque couche d’un modèle de deep learning dépend du résultat de la couche précédente. Ce problème n’a pas encore de solution viable.
L’estimation du travail
Il est parfois impossible de quantifier la quantité de travail de calcul requise par un besoin de deep-learning et de savoir si elle se terminera un jour.
Confidentialité
Avec l’augmentation des réglementations sur la protection de la vie privée, les organisations doivent désormais adopter des pratiques de conception et de développement respectueuses de la vie privée.
Parallélisation
Les modèles de deep-learning de pointe sont généralement entraînés en parallèle sur de grands clusters de matériel pour atteindre une échelle impossible avec un seul appareil.
Le protocole Gensyn : la solution à tous ces défis ?
Le protocole Gensyn est un protocole trustless de layer 1 orienté sur l’IA et le deep-learning qui récompense directement et immédiatement les offreurs de puissance de calcul au réseau. Le protocole ne nécessite pas de tiers parti, facilite la distribution des tâches de calcul et les paiements par le biais de smarts contracts.
Comme décrit dans le chapitre précédent, l’un des défis fondamentaux est la vérification du travail effectué. Pour être sûr que le travail de calcul/d’apprentissage est bien fait, on pourrait le refaire et revérifier mais cela double le travail. De plus, si la personne qui vérifie n’est pas la même que celle qui a demandé le travail, il y a toujours un doute sur l’honnêteté de la vérification, ce qui pourrait nécessiter une nouvelle vérification, créant ainsi une boucle infinie de vérifications.
Gensyn annonce résoudre ce problème de vérification en imbriquant trois concepts, qui, selon eux, rendraient 1 350% plus efficaces les méthodes existantes.
Les concepts étant issus de travaux de recherches très complexes, nous les mentionnerons très succinctement. La lecture des recherches sera possible via les liens :
- La preuve d’apprentissage probabiliste de Jia et al. (2021)
- Le protocole pinpoint basé sur des graphes de Zheng et al. (2021)
- Le jeu d’incitation de type Truebit de Teutsch et Reitwießner (2019)
Quatre parties prenantes agissent à différents moments du protocole : les utilisateurs, les solveurs, les vérificateurs et les dénonciateurs.
Les utilisateurs commencent par soumettre une demande d’un besoin d’IA ou deep-learning (appelée tâche), une estimation du travail requis est générée en effectuant des calculs mathématiques. De ça en découle une estimation du prix.
Les tâches constituent la plus petite quantité de travail de calcul qui peut être transférée au protocole. Grâce à la parallélisation, des charges de travail plus importantes peuvent être divisées en ensembles de tâches et transmises au réseau de manière asynchrone.
Un solveur est sélectionné pour exécuter la tâche. Le solveur génère une preuve d’apprentissage au fur et à mesure de l’apprentissage du modèle.
Après la tâche réalisée, les solveurs enregistrent l’information et présentent la preuve d’apprentissage pour que les vérificateurs puissent la vérifier. Les vérificateurs recalculent des parties de la preuve pour calculer de façon déterministe si le travail a bien été effectué.
Les dénonciateurs peuvent répliquer le travail des vérificateurs pour vérifier l’exactitude de la donnée. En cas de désaccord, ils peuvent contester le vérificateur. En échange, ils obtiennent une récompense.
En cas de contestation, la chaîne identifie l’opération puis décide si la contestation est justifiée. Pour garantir l’honnêteté, le protocole introduit des erreurs forcées périodiques avec un système de jackpot pour les dénonciateurs.
Les autres participants sont payés selon les conclusions des vérifications. Si le travail est correct, le solveur et le vérificateur sont récompensés.
Un protocole scalable et efficient
La création d’une place de marché où les prix sont déterminés par la dynamique du marché, et où le marché est ouvert à tous les participants, permet de trouver un coût d’équilibre. Alors que les coûts de calcul actuels pour les utilisateurs intègrent d’importantes marges pour leurs fournisseurs, le protocole Gensyn veillera à ce que la marge restante soit proportionnellement capturée par chaque participant.
Gensyn évalue sa solution à l’aide de simulations Python afin de mesurer l’ampleur des gains de performance apportés par le protocole. Les résultats montrent que le protocole Gensyn est évidemment plus long d’environ 46% qu’un calcul d’entraînement de modèle sans protocole. Cependant, il représente un gain de performance de 1 350% par rapport à un système de réplication et de 2 522 477% par rapport à Ethereum.
Un système de gouvernance classique dans l’écosystème
Au lancement du protocole, la gouvernance sera effectuée par un petit groupe d’élus proches de la Fondation Gensyn. Au fil du temps, le protocole deviendra de plus en plus décentralisé.
La Fondation Gensyn contrôlera également une trésorerie qui sera dirigée par des propositions visant à promouvoir certains objectifs en finançant le développement continu du protocole et de l’écosystème. La trésorerie sera principalement financée par un petit pourcentage des frais des tâches de calculs demandées.
Une roadmap sans dates annoncées
Le développement du protocole Gensyn suivra trois phases.
- Le testnet pour lequel le projet annonce que les utilisateurs seront récompensés au TGE
- Le canarynet qui sera lancé sous forme de parachain sur le réseau Kusama
- Le mainnet sera lui lancé sur le réseau Polkadot
Aucune date n’a encore été annoncée.
Les levées de fond de Gensyn
Malgré la jeunesse du projet, le projet a déjà réussi à lever plus de 50 millions de dollars auprès de différents fonds d’investissements. A16z domine cette levée avec 43 millions de dollars investis.
Conclusion
Le protocole Gensyn permettra à quiconque d’entraîner des modèles d’IA et de deep-learning. En décentralisant les calculs, le protocole Gensyn réduit la dépendance au Web 2 et renforçant l’écosystème Web 3.
Les modèles de base seront décentralisés et détenus au niveau mondial, ce qui permettra à l’humanité de bénéficier également du développement de modèles d’IA open-source
Pendant des décennies, le deep-learning a progressé de façon segmentée. Le protocole Gensyn connecte cet écosystème au moyen d’une infrastructure commune dont la propriété est décentralisée, ce qui permettra à l’ensemble de l’humanité d’explorer collectivement l’avenir de l’intelligence artificielle.
