Foxconn annonce un modèle de langage étendu (LLM) amélioré à partir de Llama 3.1 de Meta

Foxconn, l'entreprise la plus connue pour la fabrication d'iPhones et d'autres produits matériels Apple, vient de surprendre tout le monde en annonçant son premier grand modèle de langage (LLM), appelé FoxBrain, qui est destiné à être utilisé pour améliorer la gestion de la fabrication et de la chaîne d'approvisionnement.

Le fabricant taïwanais affirme que FoxBrain a été formé avec seulement 120 GPU H100 de Nvidia. Ce LLM est essentiellement développé sur la base de l'architecture Llama 3.1 de Meta, avec 70 milliards de paramètres via la distillation. Le concept de raffinement LLM implique l’utilisation d’un modèle « parent » et la formation d’un modèle « enfant » en fonction de ses réponses. Foxconn a également admis que son LLM n'est pas aussi bon que le modèle raffiné de DeepSeek (Chine), mais les performances globales sont très proches des normes de classe mondiale.

À propos de cette réussite, le Dr Yung-Hui Li, directeur du Centre de recherche en intelligence artificielle de l'Institut de recherche Hon Hai (Foxconn), a déclaré :

Ces derniers mois, l’amélioration des capacités de raisonnement et l’utilisation efficace des GPU sont progressivement devenues une tendance majeure dans le domaine de l’IA. Notre modèle FoxBrain a adopté une stratégie de formation très efficace, axée sur l’optimisation du processus de formation plutôt que sur l’accumulation aveugle de puissance de calcul.

« Grâce à des méthodes de formation soigneusement conçues et à l'optimisation des ressources, nous avons réussi à construire un modèle d'IA local doté de fortes capacités de raisonnement. »

Foxconn annonce un modèle de langage étendu (LLM) amélioré à partir de Llama 3.1 de Meta

Foxconn n'assemble pas seulement les produits Apple, mais fabrique également les serveurs d'IA de Nvidia. Avec 120 GPU H100, FoxBrain est mis à l'échelle à l'aide du réseau Quantum-2 InfiniBand de Nvidia, et la formation ne prend qu'environ 4 semaines (pour un coût de calcul total de 2 688 jours GPU). Foxconn a généré 98 milliards de jetons de données de pré-formation de haute qualité en chinois traditionnel avec une longueur de fenêtre contextuelle allant jusqu'à 128 000 jetons.

Le partenariat entre Foxconn et Nvidia n'est pas nouveau, et les deux sociétés travaillent également sur d'autres projets, notamment la construction de la plus grande usine de fabrication de GPU Blackwell au monde.

Nvidia a également fourni à Foxconn le supercalculateur Taipei-1 pour compléter le processus de pré-formation du modèle. Foxconn a déclaré que FoxBrain deviendrait un « moteur clé » pour mettre à niveau les trois principales plateformes de l'entreprise : Smart Manufacturing, Smart Electric Vehicles et Smart Cities.

Sign up and earn $1000 a day ⋙

Leave a Comment

Why doesnt the freezer have a light but the refrigerator does?

Why doesnt the freezer have a light but the refrigerator does?

Refrigerators are familiar appliances in families. Refrigerators usually have 2 compartments, the cool compartment is spacious and has a light that automatically turns on every time the user opens it, while the freezer compartment is narrow and has no light.

2 Ways to Fix Network Congestion That Slows Down Wi-Fi

2 Ways to Fix Network Congestion That Slows Down Wi-Fi

Wi-Fi networks are affected by many factors beyond routers, bandwidth, and interference, but there are some smart ways to boost your network.

Comment rétrograder diOS 17 à iOS 16 sans perte de données avec Tenorshare Reiboot

Comment rétrograder diOS 17 à iOS 16 sans perte de données avec Tenorshare Reiboot

Si vous souhaitez revenir à la version stable d'iOS 16 sur votre téléphone, voici le guide de base pour désinstaller iOS 17 et rétrograder d'iOS 17 à 16.

Que se passe-t-il dans le corps lorsque vous mangez du yaourt tous les jours ?

Que se passe-t-il dans le corps lorsque vous mangez du yaourt tous les jours ?

Le yaourt est un aliment merveilleux. Est-il bon de manger du yaourt tous les jours ? Si vous mangez du yaourt tous les jours, comment votre corps va-t-il changer ? Découvrons-le ensemble !

Quel type de riz est le meilleur pour la santé ?

Quel type de riz est le meilleur pour la santé ?

Cet article présente les types de riz les plus nutritifs et comment maximiser les bienfaits pour la santé du riz que vous choisissez.

Comment se réveiller à lheure le matin

Comment se réveiller à lheure le matin

Établir un horaire de sommeil et une routine de coucher, changer votre réveil et ajuster votre alimentation sont quelques-unes des mesures qui peuvent vous aider à mieux dormir et à vous réveiller à l’heure le matin.

Latest Bathroom Tower Defense Codes and How to Enter Codes

Latest Bathroom Tower Defense Codes and How to Enter Codes

Get Bathroom Tower Defense Roblox game codes and redeem them for exciting rewards. They will help you upgrade or unlock towers with higher damage.

4 façons dont lIA améliore les téléviseurs intelligents

4 façons dont lIA améliore les téléviseurs intelligents

De la meilleure qualité d’image et de son au contrôle vocal et bien plus encore, ces fonctionnalités alimentées par l’IA rendent les téléviseurs intelligents bien meilleurs !

Pourquoi ChatGPT est meilleur que DeepSeek

Pourquoi ChatGPT est meilleur que DeepSeek

Au début, les gens avaient de grands espoirs pour DeepSeek. En tant que chatbot IA commercialisé comme un concurrent sérieux de ChatGPT, il promet des capacités et des expériences de chat intelligentes.

Découvrez Fireflies.ai : le secrétaire IA gratuit qui vous fait gagner des heures de travail

Découvrez Fireflies.ai : le secrétaire IA gratuit qui vous fait gagner des heures de travail

Il est facile de manquer des détails importants lorsque l’on note d’autres éléments essentiels, et essayer de prendre des notes tout en discutant peut être distrayant. Fireflies.ai est la solution.

Comment élever un axolotl dans Minecraft et apprivoiser une salamandre dans Minecraft

Comment élever un axolotl dans Minecraft et apprivoiser une salamandre dans Minecraft

Axolot Minecraft sera un excellent assistant pour les joueurs lorsqu'ils opèrent sous l'eau s'ils savent comment les utiliser.

DeceptionAds Warning: New Malicious Ad Type Exploits Legitimate Services to Display Fake CAPTCHAs

DeceptionAds Warning: New Malicious Ad Type Exploits Legitimate Services to Display Fake CAPTCHAs

DeceptionAds is a new form of malvertising, where scammers use legitimate advertising platforms and make sure their malicious sites avoid censorship as much as possible.

What to do when you see the “AirTag Found Moving With You” warning?

What to do when you see the “AirTag Found Moving With You” warning?

Wondering what the Airtag Found Moving With You warning is? Its a safety feature on AirTags designed to prevent them from being used to track you.

Le pouvoir mystérieux du nombre 33 en numérologie

Le pouvoir mystérieux du nombre 33 en numérologie

En numérologie, le nombre 33 est souvent considéré comme un nombre puissant et mystique. Voici ce que vous devez savoir sur le nombre 33 en numérologie.

What is dark energy?

What is dark energy?

Dark energy is driving the accelerating expansion of the universe, but its nature remains a complete mystery. Heres what you need to know about dark energy.