Running large language models (LLMs) locally on your Android phone means you can access AI models without relying on cloud servers or an Internet connection . This local setup ensures privacy by keeping your data secure and on-device. With advances in mobile hardware, running AI models locally has become a reality. The MLC Chat app makes it easy to experience this powerful technology right on your phone.
This article will explain the importance of running LLM locally on Android phones and provide step-by-step instructions to install and run them using the MLC Chat app.
Why run LLM on Android phone?
LLMs are typically run on cloud servers because they require significant computing power. While Android phones have some limitations when running LLMs, they also open up some interesting possibilities.
Step by Step Guide to Install and Run MLC Chat on Android
The MLC Chat application is designed to allow users to run and interact with large language models (LLMs) locally on a variety of devices, including mobile phones, without relying on cloud-based services. Follow the steps below to run LLMs locally on an Android device.
Step 1: Install MLC Chat application
First, you need to download the APK for MLC Chat app (112MB) from the link below.
Once the APK is downloaded, tap on the file to start the installation.
Step 2: Download LLM
After successfully installing the app, open it and you will see a list of LLMs available for download. Models of different sizes and capacities, such as LLama-3.2, Phi-3.5, and Mistral, are available. Select the model according to your needs and tap the download icon next to it to start downloading. For example, if you are using a mid-range phone like Redmi Note 10, choose a lightweight model like Qwen-2.5 for smoother performance.
Step 3: Run the installed LLM
Once the model is downloaded, a chat icon will appear next to it. Tap the icon to start modeling.
Once the model is ready, you can start typing prompts and interacting with the local LLM.
For example, on a device like the Redmi Note 10, running a smaller model like Qwen2.5 provides a fairly smooth experience, generating around 1.4 tokens per second. While this performance is slower than high-end devices like the Galaxy S23 Ultra , it still works fine for basic tasks like short chats and simple content creation.
Running LLM locally on Android devices via the MLC Chat app provides an accessible and privacy-preserving way to interact with AI models. Performance is highly dependent on the phone’s hardware. This solution is ideal for users who need offline access to AI models, experiment with LLM in real time, or are concerned about privacy. As mobile hardware continues to improve, the capabilities of local LLM will only expand, making this an exciting frontier for AI technology.
Votre précieux Samsung Galaxy n'a pas besoin de ressembler exactement à tous les autres téléphones du marché. Avec quelques ajustements, vous pouvez le rendre plus personnel, élégant et unique.
Après s'être lassés d'iOS, ils sont finalement passés aux téléphones Samsung et ne regrettent pas cette décision.
Changer le DNS sur iPhone ou changer le DNS sur Android vous aidera à maintenir une connexion stable, à augmenter la vitesse de connexion réseau et à accéder aux sites Web bloqués.
Beaucoup de gens ne s’attendaient pas à ce que l’appareil photo le plus faible de leur téléphone devienne une arme secrète pour la photographie créative.
Grâce aux applications à clic automatique, vous n'aurez plus grand-chose à faire lorsque vous jouerez à des jeux, utiliserez des applications ou effectuerez des tâches sur l'appareil.
En fonction de vos besoins, vous bénéficierez probablement d'un ensemble de fonctionnalités exclusives à Pixel exécutées sur votre appareil Android existant.
La solution n’implique pas nécessairement la suppression de vos photos ou applications préférées ; One UI inclut quelques options qui facilitent la récupération d’espace.
La plupart d'entre nous considèrent le port de charge de notre smartphone comme s'il servait uniquement à maintenir la batterie en vie. Pourtant, ce petit port est bien plus puissant qu'il ne le pense.
Si vous en avez assez des conseils génériques qui ne fonctionnent jamais, en voici quelques-uns qui ont tranquillement transformé votre façon de prendre des photos.
Si vous êtes à la recherche d'un nouveau smartphone, la première chose que vous regarderez naturellement sera sa fiche technique. Elle regorge d'informations sur les performances, l'autonomie et la qualité de l'écran.
L'application Emojimix créera des emojis uniques selon vos souhaits lorsque nous mélangerons 2 emojis ensemble pour créer un emoji que vous n'avez jamais vu auparavant.
Découvrez Digital Wellbeing sur votre téléphone Samsung pour voir combien de temps vous perdez sur votre téléphone pendant la journée !
L'application de faux appels vous aide à créer des appels depuis votre propre téléphone pour éviter les situations gênantes et indésirables.
La nouvelle application Locket Widget dispose d'une version Android après que les utilisateurs iOS aient pu utiliser Locket Widget sur iPhone auparavant.
Malgré l'écosystème restreint d'Apple, certaines personnes ont transformé leurs téléphones Android en télécommandes fiables pour leur Apple TV.
Votre précieux Samsung Galaxy n'a pas besoin de ressembler exactement à tous les autres téléphones du marché. Avec quelques ajustements, vous pouvez le rendre plus personnel, élégant et unique.
Après s'être lassés d'iOS, ils sont finalement passés aux téléphones Samsung et ne regrettent pas cette décision.
L'interface Web du compte Apple dans votre navigateur vous permet de consulter vos informations personnelles, de modifier vos paramètres, de gérer vos abonnements, et bien plus encore. Cependant, il arrive parfois que vous ne puissiez pas vous connecter pour diverses raisons.
Changer le DNS sur iPhone ou changer le DNS sur Android vous aidera à maintenir une connexion stable, à augmenter la vitesse de connexion réseau et à accéder aux sites Web bloqués.
Lorsque Find My devient inexact ou peu fiable, appliquez quelques modifications pour le rendre plus précis lorsque vous en avez le plus besoin.
Beaucoup de gens ne s’attendaient pas à ce que l’appareil photo le plus faible de leur téléphone devienne une arme secrète pour la photographie créative.
La communication en champ proche est une technologie sans fil qui permet aux appareils d'échanger des données lorsqu'ils sont à proximité les uns des autres, généralement à quelques centimètres près.
Apple a lancé l'Adaptive Power, qui fonctionne en complément du mode Faible consommation. Ces deux fonctions prolongent l'autonomie de la batterie de l'iPhone, mais fonctionnent de manière très différente.
Grâce aux applications à clic automatique, vous n'aurez plus grand-chose à faire lorsque vous jouerez à des jeux, utiliserez des applications ou effectuerez des tâches sur l'appareil.
En fonction de vos besoins, vous bénéficierez probablement d'un ensemble de fonctionnalités exclusives à Pixel exécutées sur votre appareil Android existant.
La solution n’implique pas nécessairement la suppression de vos photos ou applications préférées ; One UI inclut quelques options qui facilitent la récupération d’espace.
La plupart d'entre nous considèrent le port de charge de notre smartphone comme s'il servait uniquement à maintenir la batterie en vie. Pourtant, ce petit port est bien plus puissant qu'il ne le pense.
Si vous en avez assez des conseils génériques qui ne fonctionnent jamais, en voici quelques-uns qui ont tranquillement transformé votre façon de prendre des photos.
Si vous êtes à la recherche d'un nouveau smartphone, la première chose que vous regarderez naturellement sera sa fiche technique. Elle regorge d'informations sur les performances, l'autonomie et la qualité de l'écran.
Lorsque vous installez une application sur votre iPhone depuis une autre source, vous devrez confirmer manuellement que l'application est fiable. Elle sera alors installée sur votre iPhone et utilisable.
