ByteDance entraîne un modèle d'IA doté de jusqu'à 10 000 milliards de paramètres, selon le Financial Times. Une telle taille le placerait tout près du système le plus avancé d'Anthropic. Quiconque suit la course mondiale à l'IA devrait y prêter attention, car cela montre à quelle vitesse les laboratoires chinois rattrapent les leaders américains.
Ce qui s'est passé
Le modèle serait trois fois plus grand que Kimi K3 de Moonshot, le plus gros modèle chinois publié jusqu'ici, selon trois personnes proches du dossier citées par Ars Technica. Le pré-entraînement dure généralement de trois à six mois, et la taille finale sera fixée plus tard. Anthropic ne divulgue pas le nombre de paramètres de ses modèles, mais les estimations du secteur situent Mythos 5 autour de 8 000 milliards de paramètres et Fable 5 autour de 5 000 milliards. Mythos 5 est réservé aux organisations agréées depuis une interdiction de sécurité imposée en juin. L'application grand public de ByteDance, Doubao, compte 324 millions d'utilisateurs actifs mensuels, un record en Chine. Son équipe de recherche Seed, dirigée par Wu Yonghui, ancien chercheur de Google DeepMind, compte environ 2 000 membres. Le fondateur Zhang Yiming a demandé à l'équipe Seed, lors d'une réunion interne il y a deux semaines, de viser des « capacités de modèle de niveau mondial » sans se soucier des revers à court terme.
Comment on en est arrivé là
Les laboratoires chinois ont rapidement gagné du terrain cette année. Les modèles de Moonshot et d'Alibaba ont obtenu des scores de référence qui ne sont dépassés, dans certains domaines, que par Fable 5 d'Anthropic. ByteDance a gardé un profil public plus discret que ses rivaux, laissant la plupart de ses modèles fermés tout en investissant massivement dans son unité cloud Volcano Engine et ses projets de puces IA maison. À la différence de certains concurrents, l'équipe Seed de ByteDance évite depuis plus d'un an de distiller les connaissances des modèles d'autres laboratoires, une voie plus lente mais plus indépendante. Cette approche a suscité des débats internes sur le fait qu'elle aurait pu coûter du temps à ByteDance dans la course pour rattraper les laboratoires occidentaux de pointe.
Pourquoi cela vous concerne
Pour les développeurs, un modèle ByteDance plus imposant pourrait intensifier la concurrence entre plateformes d'IA chinoises et américaines. Pour les utilisateurs, des modèles chinois plus performants pourraient réduire le coût d'accès à une IA avancée, surtout s'ils sont publiés en accès libre. Pour les fournisseurs d'infrastructure IA et les fabricants de puces, la poussée de ByteDance ajoute un acheteur de plus dans la course au calcul et aux puces sur mesure. L'accès reste toutefois un enjeu : Mythos 5 demeure réservé aux organisations agréées, ce qui signifie qu'une grande partie de la pointe technologique reste verrouillée. Si le modèle de ByteDance donne de bons résultats, attendez-vous à des cycles d'itération plus rapides dans tout le secteur et à une pression accrue sur Anthropic et ses concurrents pour qu'ils misent sur l'échelle d'entraînement plutôt que sur la seule efficacité.
La grande question
Si le modèle de ByteDance atteint l'échelle d'Anthropic, le nombre brut de paramètres déterminera-t-il toujours quels systèmes d'IA dominent, ou la qualité des données et les méthodes d'entraînement sont-elles devenues le facteur décisif ? Le rapport souligne que les deux comptent, mais les entreprises continuent de courir après la taille. À mesure que davantage de laboratoires approchent les 10 000 milliards de paramètres, le secteur pourrait avoir besoin d'une réponse plus claire sur ce qui distingue réellement un modèle de pointe d'un modèle simplement volumineux.
À surveiller
La phase de pré-entraînement de ByteDance dure généralement de trois à six mois, ce qui signifie que la version affinée du modèle et sa sortie éventuelle, si elle a lieu, pourraient arriver fin 2026 ou début 2027. Restez attentifs à la confirmation du nombre final de paramètres, aux comparaisons de performances face à Mythos 5 et Fable 5 d'Anthropic, et à la question de savoir si ByteDance ouvrira ou gardera fermé ce modèle. Bonuz suivra l'impact de cette évolution sur le matériel et les puces qui alimentent la prochaine génération d'appareils IA, y compris les objets connectés portables.
