Gemma 2 ou Llama 3 est le meilleur modèle open source ?

Lors de l'I/O 2024, Google a annoncé sa prochaine gamme de modèles Gemma 2, et maintenant la société publie enfin les modèles légers sous une licence open source. Le nouveau modèle Gemma 2 27B s'annonce très prometteur, surpassant certains modèles plus grands comme le Llama 3 70B et le Qwen 1.5 32B. Pour tester cette affirmation, comparons Gemma 2 et Llama 3, deux des meilleurs modèles open source actuels.

Écriture créative

Tout d’abord, voyons à quel point Gemma 2 et Llama 3 sont bons en matière d’écriture créative. L'auteur de l'article a demandé aux deux modèles d'écrire une courte histoire sur la relation entre la lune et le soleil. Les deux font un excellent travail, mais le modèle Gemma 2 de Google se démarque grâce à sa prose engageante et à sa bonne histoire.

D'un autre côté, Llama 3 a l'air un peu terne et robotique. Google a toujours été bon dans la génération de texte avec les modèles Gemini et le plus petit Gemma 2 27B ne fait pas exception.

Option gagnante : Gemma 2

Tests multilingues

Au prochain tour, voyons dans quelle mesure les deux modèles gèrent les langues autres que l’anglais. Étant donné que Google annonce que Gemma 2 est capable de comprendre plusieurs langues, l'auteur l'a comparé au modèle Llama 3 de Meta. L’auteur a demandé aux deux modèles de traduire un passage en hindi. Gemma 2 et Llama 3 ont tous deux très bien fonctionné.

L’auteur a également essayé une autre langue, le bengali, et les modèles ont donné des résultats tout aussi bons. Au moins pour les langues indiennes, on peut dire que Gemma 2 et Llama 3 sont bien entraînés sur un large corpus. Cependant, le Gemma 2 27B est presque 2,5 fois plus petit que le Llama 3 70B, ce qui le rend encore plus impressionnant.

Options gagnantes : Gemma 2 et Llama 3

Vérifiez la logique

Bien que les modèles Gemma 2 et Llama 3 ne soient pas les modèles les plus intelligents du marché, ils peuvent effectuer certains tests de raisonnement courants, tout comme des modèles beaucoup plus grands. Dans la comparaison précédente entre Llama 3 et GPT-4 , le modèle 70B de Meta était impressionnant car il démontrait une assez bonne intelligence même à sa plus petite taille.

Dans ce tour, Llama 3 a battu Gemma 2 avec une grande différence de score. Llama 3 a répondu correctement à 2 questions sur 3 tandis que Gemma 2 a eu du mal à répondre correctement à une seule. Gemma 2 n'est tout simplement pas formée pour résoudre des questions de raisonnement complexes.

D’autre part, Llama 3 dispose d’une base de raisonnement solide, qui peut très probablement être déduite de l’ensemble de données cryptées. Malgré sa petite taille — du moins comparée aux modèles à mille milliards de paramètres comme GPT-4 — il présente un niveau d’intelligence plus que correct. En fin de compte, l’utilisation de plus de jetons pour entraîner le modèle donne en réalité un modèle plus puissant.

Option gagnante : Lama 3

Suivez les instructions

Au tour suivant, l'auteur a demandé à Gemma 2 et Llama 3 de créer 10 mots se terminant par le mot « NPU ». Et Llama 3 a obtenu 10/10 bonnes réponses. En revanche, Gemma 2 n'a produit que 7 phrases correctes sur 10. Dans de nombreuses versions précédentes, les modèles Google, y compris Gemini, n'ont pas bien suivi les instructions de l'utilisateur. Et la même tendance se poursuit avec Gemma 2.

Suivre les instructions de l’utilisateur est essentiel pour les modèles d’IA. Il garantit la fiabilité et génère un retour précis sur ce que vous avez indiqué. Du côté de la sécurité également, cela permet de maintenir le modèle ancré pour une meilleure conformité aux protocoles de sécurité.

Option gagnante : Lama 3

Trouver des informations

Gemma 2 et Llama 3 ont tous deux une longueur de contexte de 8 000 jetons. L'auteur a ajouté un énorme bloc de texte, provenant directement du livre Orgueil et Préjugés, contenant plus de 17 000 caractères et 3,8 K jetons. Comme toujours, l'auteur place une citation aléatoire quelque part dans le texte et demande aux deux modèles de la trouver.

Gemma 2 a rapidement compris l'information et a souligné que la citation avait été insérée au hasard. Llama 3 a également constaté et suggéré que cette affirmation semblait déplacée. En termes de mémoire de contexte longue, bien que limitée à 8 000 jetons, les deux modèles sont assez solides à cet égard.

Notez que l'auteur a exécuté ce test sur HuggingChat (Web) car meta.ai a refusé d'exécuter cette invite, probablement en raison du contenu protégé par le droit d'auteur.

Options gagnantes : Gemma 2 et Llama 3

Vérifiez les hallucinations

Les modèles plus petits ont tendance à souffrir d’hallucinations de l’IA en raison de données de formation limitées, fabriquant souvent des informations lorsque le modèle rencontre des sujets inconnus. L'auteur a donc ajouté son nom de pays inventé pour tester si Gemma 2 et Llama 3 avaient des hallucinations. Et étonnamment, ils ne l’ont pas fait, ce qui signifie que Google et Meta disposent tous deux d’une assez bonne base pour leurs modèles.

L'auteur a également posé une autre question (fausse) pour tester la validité des modèles, mais encore une fois, ils n'étaient pas hallucinogènes. Au fait, l'auteur a testé Llama 3 sur HuggingChat pendant que meta.ai parcourait Internet à la recherche d'informations actuelles sur des sujets pertinents.

Options gagnantes : Gemma 2 et Llama 3

Conclure

Bien que le modèle Gemma 2 27B de Google ne réussisse pas bien les tests de raisonnement, il est capable d'effectuer un certain nombre d'autres tâches. Il est idéal pour l'écriture créative, prend en charge plusieurs langues, possède une bonne mémoire et surtout n'est pas aussi hallucinogène que les modèles précédents.

Llama 3 est meilleur, bien sûr, mais c'est aussi un modèle beaucoup plus grand, formé sur 70 milliards de paramètres. Les développeurs trouveront le modèle Gemma 2 27B utile pour une large gamme de cas d'utilisation. Et pour faire bonne mesure, le Gemma 2 9B est également disponible.

De plus, les utilisateurs devraient jeter un œil au Gemini 1.5 Flash, qui est à nouveau un modèle beaucoup plus petit et prend également en charge l'entrée multimodale. Sans oublier qu’il est incroyablement rapide et efficace.