Foxconn annonce un modèle de langage étendu (LLM) amélioré à partir de Llama 3.1 de Meta

Foxconn, l'entreprise la plus connue pour la fabrication d'iPhones et d'autres produits matériels Apple, vient de surprendre tout le monde en annonçant son premier grand modèle de langage (LLM), appelé FoxBrain, qui est destiné à être utilisé pour améliorer la gestion de la fabrication et de la chaîne d'approvisionnement.

Le fabricant taïwanais affirme que FoxBrain a été formé avec seulement 120 GPU H100 de Nvidia. Ce LLM est essentiellement développé sur la base de l'architecture Llama 3.1 de Meta, avec 70 milliards de paramètres via la distillation. Le concept de raffinement LLM implique l’utilisation d’un modèle « parent » et la formation d’un modèle « enfant » en fonction de ses réponses. Foxconn a également admis que son LLM n'est pas aussi bon que le modèle raffiné de DeepSeek (Chine), mais les performances globales sont très proches des normes de classe mondiale.

À propos de cette réussite, le Dr Yung-Hui Li, directeur du Centre de recherche en intelligence artificielle de l'Institut de recherche Hon Hai (Foxconn), a déclaré :

Ces derniers mois, l’amélioration des capacités de raisonnement et l’utilisation efficace des GPU sont progressivement devenues une tendance majeure dans le domaine de l’IA. Notre modèle FoxBrain a adopté une stratégie de formation très efficace, axée sur l’optimisation du processus de formation plutôt que sur l’accumulation aveugle de puissance de calcul.

« Grâce à des méthodes de formation soigneusement conçues et à l'optimisation des ressources, nous avons réussi à construire un modèle d'IA local doté de fortes capacités de raisonnement. »

Foxconn annonce un modèle de langage étendu (LLM) amélioré à partir de Llama 3.1 de Meta

Foxconn n'assemble pas seulement les produits Apple, mais fabrique également les serveurs d'IA de Nvidia. Avec 120 GPU H100, FoxBrain est mis à l'échelle à l'aide du réseau Quantum-2 InfiniBand de Nvidia, et la formation ne prend qu'environ 4 semaines (pour un coût de calcul total de 2 688 jours GPU). Foxconn a généré 98 milliards de jetons de données de pré-formation de haute qualité en chinois traditionnel avec une longueur de fenêtre contextuelle allant jusqu'à 128 000 jetons.

Le partenariat entre Foxconn et Nvidia n'est pas nouveau, et les deux sociétés travaillent également sur d'autres projets, notamment la construction de la plus grande usine de fabrication de GPU Blackwell au monde.

Nvidia a également fourni à Foxconn le supercalculateur Taipei-1 pour compléter le processus de pré-formation du modèle. Foxconn a déclaré que FoxBrain deviendrait un « moteur clé » pour mettre à niveau les trois principales plateformes de l'entreprise : Smart Manufacturing, Smart Electric Vehicles et Smart Cities.

Sign up and earn $1000 a day ⋙

Leave a Comment

Comment obtenir 1 mois de Discord Nitro gratuitement avec Opera GX

Comment obtenir 1 mois de Discord Nitro gratuitement avec Opera GX

Opera GX, le navigateur Web axé sur les jeux, a conclu un partenariat intéressant avec Discord, offrant aux utilisateurs un essai gratuit d'un mois de Discord Nitro.

Comment enregistrer rapidement lécran dun ordinateur Windows 10

Comment enregistrer rapidement lécran dun ordinateur Windows 10

Actuellement, il existe de nombreux logiciels d'enregistrement d'écran d'ordinateur prenant en charge Win 10, vous aidant à enregistrer facilement l'écran de votre ordinateur, en particulier pour les joueurs.

Comment désactiver les commentaires lors dune diffusion en direct sur Facebook

Comment désactiver les commentaires lors dune diffusion en direct sur Facebook

Lorsque vous regardez un flux en direct sur Facebook, les commentaires s'affichent automatiquement sur l'écran vidéo en ligne. Les téléspectateurs connaîtront alors les commentaires des autres.

15 choses que vous pouvez faire avec ChatGPT

15 choses que vous pouvez faire avec ChatGPT

Depuis son lancement en novembre 2022, ChatGPT a reçu beaucoup d’attention pour sa myriade d’utilisations. Pour vous aider à tirer le meilleur parti de cet outil, voici 15 façons d’utiliser ChatGPT.

Conseils pour trouver des vols pas chers sur Gemini

Conseils pour trouver des vols pas chers sur Gemini

Les widgets de Gemini aident cet assistant IA à atteindre les utilisateurs dans davantage d'aspects, comme la recherche de billets d'avion bon marché via le widget Google Flights.

Paramètres de retour nommés dans Golang

Paramètres de retour nommés dans Golang

Dans Golang, les paramètres de retour nommés sont souvent appelés paramètres nommés. Golang permet de nommer les paramètres de retour ou les résultats des fonctions dans la signature ou la définition de la fonction.

Comment afficher les archives dactualités sur Facebook, téléphone ou ordinateur

Comment afficher les archives dactualités sur Facebook, téléphone ou ordinateur

Pour consulter les actualités publiées sur Facebook, vous devez activer les archives d'actualités sur Facebook. Tous les messages Facebook après l'activation du mode archive seront enregistrés dans l'archive pour que vous puissiez les consulter quand vous le souhaitez.

Dernier code MU Luc Dia VNG et comment lutiliser

Dernier code MU Luc Dia VNG et comment lutiliser

Vous pouvez échanger les codes de jeu MU Luc Dia VNG contre Zen et d'autres devises.

10 applications indispensables pour les amoureux des livres

10 applications indispensables pour les amoureux des livres

Ce n’est pas parce que vous n’avez pas de livre sur vous que vous devez arrêter de lire. Tout ce dont vous avez besoin est votre téléphone pour essayer les applications de médias sociaux dédiées aux amoureux des livres et trouver le prochain livre que vous souhaitez lire.

Découvrez Spotify Connect : la fonctionnalité Spotify qui a forcé les utilisateurs à quitter YouTube Music

Découvrez Spotify Connect : la fonctionnalité Spotify qui a forcé les utilisateurs à quitter YouTube Music

La possibilité de contrôler la lecture de musique sur un appareil à partir d'un autre est une fonctionnalité sous-estimée. YouTube Music ne dispose pas de cette fonctionnalité, ce qui oblige les gens à se tourner vers Spotify.

Comment faire exploser une boule de neige dans Minecraft Bedrock et Java Edition

Comment faire exploser une boule de neige dans Minecraft Bedrock et Java Edition

Les commandes Minecraft permettent aux joueurs de créer de nombreux effets intéressants et une option intéressante est de faire exploser des boules de neige. Voici comment créer des boules de neige explosives dans Minecraft.

Votre ordinateur possède-t-il un NPU ? Voici comment vérifier

Votre ordinateur possède-t-il un NPU ? Voici comment vérifier

Sous Windows 11, vous pouvez vérifier rapidement si votre ordinateur dispose d'un NPU (Neural Processing Unit), grâce à 3 méthodes très simples.

Le mode veille prolongée est-il mauvais pour le PC ?

Le mode veille prolongée est-il mauvais pour le PC ?

Le mode Hibernation est né de la nécessité de garder l'ordinateur allumé 24h/24 et 7j/7 sans vouloir vider la batterie ou s'assurer que le système ne soit pas affecté par une panne de courant, contrairement au cas du mode Veille.

Instructions pour ajouter le calendrier Euro 2024 sur iPhone

Instructions pour ajouter le calendrier Euro 2024 sur iPhone

L'ajout du calendrier Euro 2024 sur iPhone permet aux utilisateurs de suivre facilement les matchs dans le cadre de l'Euro 2024, un tournoi de football avec des matchs passionnants.

Résumé des informations sur Samsung One UI 7

Résumé des informations sur Samsung One UI 7

Les téléphones Samsung Galaxy exécutant One UI 7.0 seront plus sécurisés grâce au mode de verrouillage, empêchant les attaques non autorisées.