Running large language models (LLMs) locally on your Android phone means you can access AI models without relying on cloud servers or an Internet connection . This local setup ensures privacy by keeping your data secure and on-device. With advances in mobile hardware, running AI models locally has become a reality. The MLC Chat app makes it easy to experience this powerful technology right on your phone.
This article will explain the importance of running LLM locally on Android phones and provide step-by-step instructions to install and run them using the MLC Chat app.
Why run LLM on Android phone?
LLMs are typically run on cloud servers because they require significant computing power. While Android phones have some limitations when running LLMs, they also open up some interesting possibilities.
Step by Step Guide to Install and Run MLC Chat on Android
The MLC Chat application is designed to allow users to run and interact with large language models (LLMs) locally on a variety of devices, including mobile phones, without relying on cloud-based services. Follow the steps below to run LLMs locally on an Android device.
Step 1: Install MLC Chat application
First, you need to download the APK for MLC Chat app (112MB) from the link below.
Once the APK is downloaded, tap on the file to start the installation.
Step 2: Download LLM
After successfully installing the app, open it and you will see a list of LLMs available for download. Models of different sizes and capacities, such as LLama-3.2, Phi-3.5, and Mistral, are available. Select the model according to your needs and tap the download icon next to it to start downloading. For example, if you are using a mid-range phone like Redmi Note 10, choose a lightweight model like Qwen-2.5 for smoother performance.
Step 3: Run the installed LLM
Once the model is downloaded, a chat icon will appear next to it. Tap the icon to start modeling.
Once the model is ready, you can start typing prompts and interacting with the local LLM.
For example, on a device like the Redmi Note 10, running a smaller model like Qwen2.5 provides a fairly smooth experience, generating around 1.4 tokens per second. While this performance is slower than high-end devices like the Galaxy S23 Ultra , it still works fine for basic tasks like short chats and simple content creation.
Running LLM locally on Android devices via the MLC Chat app provides an accessible and privacy-preserving way to interact with AI models. Performance is highly dependent on the phone’s hardware. This solution is ideal for users who need offline access to AI models, experiment with LLM in real time, or are concerned about privacy. As mobile hardware continues to improve, the capabilities of local LLM will only expand, making this an exciting frontier for AI technology.
Pour empêcher d’autres personnes de pouvoir ajuster les paramètres rapides sur Android, vous devez verrouiller les paramètres rapides en suivant les instructions ci-dessous.
L'Assistant Google peut fonctionner sur l'écran de verrouillage, et n'importe qui peut accéder à votre téléphone. C'est pourquoi il est conseillé de désactiver l'Assistant Google sur l'écran de verrouillage.
L'article suivant vous guidera sur la façon d'utiliser Droidcam sur votre ordinateur et votre téléphone ainsi que quelques suggestions pour avoir un appel vidéo parfait !
Votre carte de paiement Google Play a peut-être expiré ou vous souhaitez changer de banque. Voici comment supprimer un moyen de paiement de votre compte Google Play.
Parfois, s'il y a un problème avec cet outil sur votre téléphone Android, la désinstallation et la réinstallation de Google Play Store sont l'une des solutions recommandées.
Si vous utilisez Android, vous connaissez probablement le terme APK, mais saviez-vous qu'il existe aussi un fichier appelé XAPK ? Ce guide explique ce que sont les fichiers XAPK et comment les installer sur votre appareil.
Libérer de l'espace de stockage sur votre téléphone Android n'est pas une mince affaire, mais cela ne doit pas être ennuyeux. L'application Fichiers de Google transforme le nettoyage manuel, souvent lent, en un processus simple et rapide.
Les contacts supprimés sur les téléphones Android seront déplacés vers le dossier Corbeille de Google Contacts, à partir de là, vous pouvez restaurer les contacts supprimés selon les instructions ci-dessous.
Si vous pensez bien connaître votre appareil Galaxy, Good Lock vous montrera tout ce qu'il peut faire de plus.
Beaucoup pensent que la batterie de leur téléphone Samsung ne répond plus à leurs besoins quotidiens. Pourtant, en désactivant ces paramètres négligés, la batterie peut facilement tenir toute la journée.
ADB est un ensemble d'outils puissants qui vous offre un meilleur contrôle sur votre appareil Android. Bien qu'ADB soit destiné aux développeurs Android, aucune connaissance en programmation n'est requise pour désinstaller des applications Android.
Les appareils Android actuels sont équipés de la fonction de partage de mots de passe WiFi avec des étapes très simples, vous aidant à envoyer rapidement des mots de passe à ceux qui souhaitent y accéder.
Passer à Samsung, c'est comme ouvrir un coffre aux trésors. Si la configuration par défaut est satisfaisante, quelques ajustements rapides peuvent transformer votre téléphone en un appareil incontournable.
Comparées aux applications de gestion de fichiers sur PC sous Windows, Linux ou Mac OS, les applications mobiles de gestion de fichiers sont personnalisées pour s'adapter aux configurations mobiles. Cependant, petite taille ne signifie pas faiblesse.
La bonne nouvelle est que si vous possédez un téléphone Galaxy, Samsung inclut un certain nombre de fonctionnalités qui aident à protéger votre téléphone et les données utilisateur en cas de vol de l'appareil.
Pour empêcher d’autres personnes de pouvoir ajuster les paramètres rapides sur Android, vous devez verrouiller les paramètres rapides en suivant les instructions ci-dessous.
L'Assistant Google peut fonctionner sur l'écran de verrouillage, et n'importe qui peut accéder à votre téléphone. C'est pourquoi il est conseillé de désactiver l'Assistant Google sur l'écran de verrouillage.
L'article suivant vous guidera sur la façon d'utiliser Droidcam sur votre ordinateur et votre téléphone ainsi que quelques suggestions pour avoir un appel vidéo parfait !
Beaucoup de gens n'aiment pas utiliser le fond d'écran des messages sur iPhone, car il est assez déroutant. Voici les instructions pour désactiver le fond d'écran des messages sur iPhone.
Votre carte de paiement Google Play a peut-être expiré ou vous souhaitez changer de banque. Voici comment supprimer un moyen de paiement de votre compte Google Play.
Parfois, s'il y a un problème avec cet outil sur votre téléphone Android, la désinstallation et la réinstallation de Google Play Store sont l'une des solutions recommandées.
Si vous utilisez Android, vous connaissez probablement le terme APK, mais saviez-vous qu'il existe aussi un fichier appelé XAPK ? Ce guide explique ce que sont les fichiers XAPK et comment les installer sur votre appareil.
iOS 26 dispose d'un paramètre de notification qui vous informe lorsque la fonctionnalité Adaptive Power ralentit votre iPhone, si elle est activée. Voici comment activer la notification indiquant que la fonctionnalité Adaptive Power ralentit votre iPhone.
Si vous avez déjà essayé de trouver votre chemin sans signal, vous savez à quelle vitesse une application de cartographie en ligne uniquement devient inutile.
Si vous souhaitez modifier l'emplacement de téléchargement sur Safari, c'est très simple et vous permet de gérer les fichiers téléchargés de chaque utilisateur. Vous trouverez ci-dessous les instructions pour modifier l'emplacement de téléchargement sur Safari iPhone.
Libérer de l'espace de stockage sur votre téléphone Android n'est pas une mince affaire, mais cela ne doit pas être ennuyeux. L'application Fichiers de Google transforme le nettoyage manuel, souvent lent, en un processus simple et rapide.
Les contacts supprimés sur les téléphones Android seront déplacés vers le dossier Corbeille de Google Contacts, à partir de là, vous pouvez restaurer les contacts supprimés selon les instructions ci-dessous.
Si vous pensez bien connaître votre appareil Galaxy, Good Lock vous montrera tout ce qu'il peut faire de plus.
Beaucoup pensent que la batterie de leur téléphone Samsung ne répond plus à leurs besoins quotidiens. Pourtant, en désactivant ces paramètres négligés, la batterie peut facilement tenir toute la journée.
ADB est un ensemble d'outils puissants qui vous offre un meilleur contrôle sur votre appareil Android. Bien qu'ADB soit destiné aux développeurs Android, aucune connaissance en programmation n'est requise pour désinstaller des applications Android.
