Gemma 2 ou Llama 3 est le meilleur modèle open source ?

Lors de l'I/O 2024, Google a annoncé sa prochaine gamme de modèles Gemma 2, et maintenant la société publie enfin les modèles légers sous une licence open source. Le nouveau modèle Gemma 2 27B s'annonce très prometteur, surpassant certains modèles plus grands comme le Llama 3 70B et le Qwen 1.5 32B. Pour tester cette affirmation, comparons Gemma 2 et Llama 3, deux des meilleurs modèles open source actuels.

Écriture créative

Tout d’abord, voyons à quel point Gemma 2 et Llama 3 sont bons en matière d’écriture créative. L'auteur de l'article a demandé aux deux modèles d'écrire une courte histoire sur la relation entre la lune et le soleil. Les deux font un excellent travail, mais le modèle Gemma 2 de Google se démarque grâce à sa prose engageante et à sa bonne histoire.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?

D'un autre côté, Llama 3 a l'air un peu terne et robotique. Google a toujours été bon dans la génération de texte avec les modèles Gemini et le plus petit Gemma 2 27B ne fait pas exception.

Option gagnante : Gemma 2

Tests multilingues

Au prochain tour, voyons dans quelle mesure les deux modèles gèrent les langues autres que l’anglais. Étant donné que Google annonce que Gemma 2 est capable de comprendre plusieurs langues, l'auteur l'a comparé au modèle Llama 3 de Meta. L’auteur a demandé aux deux modèles de traduire un passage en hindi. Gemma 2 et Llama 3 ont tous deux très bien fonctionné.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?

L’auteur a également essayé une autre langue, le bengali, et les modèles ont donné des résultats tout aussi bons. Au moins pour les langues indiennes, on peut dire que Gemma 2 et Llama 3 sont bien entraînés sur un large corpus. Cependant, le Gemma 2 27B est presque 2,5 fois plus petit que le Llama 3 70B, ce qui le rend encore plus impressionnant.

Options gagnantes : Gemma 2 et Llama 3

Vérifiez la logique

Bien que les modèles Gemma 2 et Llama 3 ne soient pas les modèles les plus intelligents du marché, ils peuvent effectuer certains tests de raisonnement courants, tout comme des modèles beaucoup plus grands. Dans la comparaison précédente entre Llama 3 et GPT-4 , le modèle 70B de Meta était impressionnant car il démontrait une assez bonne intelligence même à sa plus petite taille.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?

Dans ce tour, Llama 3 a battu Gemma 2 avec une grande différence de score. Llama 3 a répondu correctement à 2 questions sur 3 tandis que Gemma 2 a eu du mal à répondre correctement à une seule. Gemma 2 n'est tout simplement pas formée pour résoudre des questions de raisonnement complexes.

D’autre part, Llama 3 dispose d’une base de raisonnement solide, qui peut très probablement être déduite de l’ensemble de données cryptées. Malgré sa petite taille — du moins comparée aux modèles à mille milliards de paramètres comme GPT-4 — il présente un niveau d’intelligence plus que correct. En fin de compte, l’utilisation de plus de jetons pour entraîner le modèle donne en réalité un modèle plus puissant.

Option gagnante : Lama 3

Suivez les instructions

Au tour suivant, l'auteur a demandé à Gemma 2 et Llama 3 de créer 10 mots se terminant par le mot « NPU ». Et Llama 3 a obtenu 10/10 bonnes réponses. En revanche, Gemma 2 n'a produit que 7 phrases correctes sur 10. Dans de nombreuses versions précédentes, les modèles Google, y compris Gemini, n'ont pas bien suivi les instructions de l'utilisateur. Et la même tendance se poursuit avec Gemma 2.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?

Suivre les instructions de l’utilisateur est essentiel pour les modèles d’IA. Il garantit la fiabilité et génère un retour précis sur ce que vous avez indiqué. Du côté de la sécurité également, cela permet de maintenir le modèle ancré pour une meilleure conformité aux protocoles de sécurité.

Option gagnante : Lama 3

Trouver des informations

Gemma 2 et Llama 3 ont tous deux une longueur de contexte de 8 000 jetons. L'auteur a ajouté un énorme bloc de texte, provenant directement du livre Orgueil et Préjugés, contenant plus de 17 000 caractères et 3,8 K jetons. Comme toujours, l'auteur place une citation aléatoire quelque part dans le texte et demande aux deux modèles de la trouver.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?

Gemma 2 a rapidement compris l'information et a souligné que la citation avait été insérée au hasard. Llama 3 a également constaté et suggéré que cette affirmation semblait déplacée. En termes de mémoire de contexte longue, bien que limitée à 8 000 jetons, les deux modèles sont assez solides à cet égard.

Notez que l'auteur a exécuté ce test sur HuggingChat (Web) car meta.ai a refusé d'exécuter cette invite, probablement en raison du contenu protégé par le droit d'auteur.

Options gagnantes : Gemma 2 et Llama 3

Vérifiez les hallucinations

Les modèles plus petits ont tendance à souffrir d’hallucinations de l’IA en raison de données de formation limitées, fabriquant souvent des informations lorsque le modèle rencontre des sujets inconnus. L'auteur a donc ajouté son nom de pays inventé pour tester si Gemma 2 et Llama 3 avaient des hallucinations. Et étonnamment, ils ne l’ont pas fait, ce qui signifie que Google et Meta disposent tous deux d’une assez bonne base pour leurs modèles.

Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?
Gemma 2 ou Llama 3 est le meilleur modèle open source ?

L'auteur a également posé une autre question (fausse) pour tester la validité des modèles, mais encore une fois, ils n'étaient pas hallucinogènes. Au fait, l'auteur a testé Llama 3 sur HuggingChat pendant que meta.ai parcourait Internet à la recherche d'informations actuelles sur des sujets pertinents.

Options gagnantes : Gemma 2 et Llama 3

Conclure

Bien que le modèle Gemma 2 27B de Google ne réussisse pas bien les tests de raisonnement, il est capable d'effectuer un certain nombre d'autres tâches. Il est idéal pour l'écriture créative, prend en charge plusieurs langues, possède une bonne mémoire et surtout n'est pas aussi hallucinogène que les modèles précédents.

Llama 3 est meilleur, bien sûr, mais c'est aussi un modèle beaucoup plus grand, formé sur 70 milliards de paramètres. Les développeurs trouveront le modèle Gemma 2 27B utile pour une large gamme de cas d'utilisation. Et pour faire bonne mesure, le Gemma 2 9B est également disponible.

De plus, les utilisateurs devraient jeter un œil au Gemini 1.5 Flash, qui est à nouveau un modèle beaucoup plus petit et prend également en charge l'entrée multimodale. Sans oublier qu’il est incroyablement rapide et efficace.

Sign up and earn $1000 a day ⋙

Leave a Comment

Vampire Sparrow: Strange Bird That Drinks Blood to Survive

Vampire Sparrow: Strange Bird That Drinks Blood to Survive

Vampire finches have lived on Darwin Island and Wolf Island (both part of the Galapagos Islands - Ecuador) since 500,000 years ago.

Funny phone unlock wallpaper, awesome troll unlock wallpaper

Funny phone unlock wallpaper, awesome troll unlock wallpaper

Are you looking for funny phone unlock wallpapers? Check out the wallpapers below and choose a cool phone unlock wallpaper for yourself.

Le moyen le plus simple dobtenir des codes de réduction Shopee, trouvez des bons Shopee avec des remises importantes

Le moyen le plus simple dobtenir des codes de réduction Shopee, trouvez des bons Shopee avec des remises importantes

Si vous achetez régulièrement sur Shopee, vous ne devez pas ignorer les méthodes de recherche de codes de réduction de produits Shopee, vous aidant à obtenir des codes de réduction de produits en quelques clics.

Apple Vision Pro 2 : plus léger, moins cher et destiné aux entreprises

Apple Vision Pro 2 : plus léger, moins cher et destiné aux entreprises

La prochaine génération d'Apple Vision Pro attire l'attention avec une série d'informations divulguées, promettant d'apporter des améliorations exceptionnelles en termes de conception, de performances et de stratégies de développement diverses.

Comment vous vendre efficacement sur le marché du travail

Comment vous vendre efficacement sur le marché du travail

Construire une marque personnelle est beaucoup plus compliqué qu’auparavant, car le marché du travail devient plus compétitif. Alors, comment rendre votre CV attrayant pour les employeurs ?

Comment nettoyer une valise

Comment nettoyer une valise

Vous ne vous souvenez pas de la dernière fois où vous avez lavé les poignées ou l'intérieur de votre valise ? C'est un signe certain qu'il est temps de bien nettoyer votre valise.

Comment changer les unités de mesure sur Apple Maps

Comment changer les unités de mesure sur Apple Maps

L'application Apple Maps vous permet de modifier l'unité de mesure entre km, mile et miles, en fonction des besoins et des habitudes d'utilisation de chacun.

7 applications ChatGPT et IA pour planifier vos voyages gratuitement

7 applications ChatGPT et IA pour planifier vos voyages gratuitement

Ces applications gratuites de planification de voyage utilisent des outils d'IA et d'apprentissage automatique comme ChatGPT pour préparer votre itinéraire en quelques secondes.

Comment utiliser Gemini depuis la barre dadresse de Google Chrome

Comment utiliser Gemini depuis la barre dadresse de Google Chrome

Google intègre des fonctionnalités d'IA dans le navigateur Google Chrome, en utilisant récemment Gemini depuis la barre d'adresse de Google Chrome.

4 façons de modifier le type de compte utilisateur sous Windows

4 façons de modifier le type de compte utilisateur sous Windows

En plus de créer plusieurs utilisateurs, Windows 10 vous permet également de limiter ce que les autres peuvent faire sur un PC partagé, en fournissant plusieurs types de comptes, à savoir des comptes d'utilisateur standard et des comptes d'administrateur.

10 raccourcis utiles pour augmenter la productivité sur Microsoft Edge

10 raccourcis utiles pour augmenter la productivité sur Microsoft Edge

Les raccourcis clavier sont un excellent outil de productivité, en particulier pour ceux dont le travail implique beaucoup de saisie.

Un bug grave oblige Google à suspendre une fonctionnalité dIA qui crée des images avec du texte

Un bug grave oblige Google à suspendre une fonctionnalité dIA qui crée des images avec du texte

Google a annoncé qu'il suspendait la fonctionnalité de génération d'images de personnes à partir de texte de son modèle d'IA Gemini en raison d'une grave erreur historique.

Comment utiliser Copilot dans PowerPoint

Comment utiliser Copilot dans PowerPoint

Copilot vous aidera à ajouter des idées créatives à vos diapositives de contenu PowerPoint ou à corriger le mauvais contenu de vos diapositives de présentation.

Comment supprimer une conversation Google Gemini

Comment supprimer une conversation Google Gemini

Au lieu de supprimer l'intégralité de votre historique Google Gemini, vous pouvez choisir de supprimer uniquement les conversations souhaitées. L'article ci-dessous vous guidera pour supprimer le chat Google Gemini.

Comment rétrograder diOS 16 bêta 1 vers iOS 15

Comment rétrograder diOS 16 bêta 1 vers iOS 15

Dans cet article, WebTech360 vous expliquera comment rétrograder d'iOS 16 Beta vers iOS 15.