Réduire la pression sur la mémoire de PostgreSQL dans Matrix Synapse

Si PostgreSQL consomme plus de mémoire que prévu pour Matrix Synapse, commencez par déterminer si la mémoire est utilisée pour les tampons partagés, les requêtes en cours, l'autovacuum ou un grand nombre de connexions. Ensuite, optimisez chaque source une par une et effectuez de nouvelles mesures. Les processus Python de Synapse consomment également une quantité importante de mémoire ; assurez-vous donc que les processus PostgreSQL ou le conteneur de base de données en sont la cause avant de modifier les paramètres de la base de données.

Comprendre ce que signifie « mémoire élevée »

PostgreSQL utilise la mémoire partagée pour son cache, la mémoire privée pour chaque connexion et requête serveur, ainsi que le cache de pages du système d'exploitation. Sous Linux, la mémoire affichée comme « utilisée » peut inclure le cache récupérable du système de fichiers ; ce chiffre seul ne prouve pas que la base de données est surchargée. Surveillez les signes de faible mémoire disponible persistante, l'activité du swap, les erreurs de mémoire insuffisante ou un conteneur approchant sa limite de mémoire. Comparez ces signaux avec les métriques de processus de Synapse et de PostgreSQL.

Un serveur PostgreSQL gère une connexion client. Le pool de connexions de Synapse peut ouvrir plusieurs serveurs par processus, et chaque nœud de calcul Synapse possède son propre pool. Augmenter le nombre de nœuds ou la taille du pool peut donc accroître la charge de travail simultanée sur la base de données et la consommation de mémoire. Action : avant toute modification de PostgreSQL, il est recommandé d'inventorier les processus Synapse, le nombre de nœuds, les paramètres du pool, les connexions PostgreSQL et la limite de mémoire de l'hôte ou du conteneur.

Trouvez la source principale avant de procéder au réglage.

Connectez-vous à la base de données Synapse en tant qu'administrateur et examinez les paramètres qui contrôlent la mémoire et les connexions :

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersIl s'agit du cache partagé de PostgreSQL, alloué au démarrage du serveur. La mémoire allouée work_memcorrespond à un budget par opération de requête pour les tris et les tables de hachage, et non à une limite par serveur ; une requête peut utiliser plusieurs de ces opérations, et plusieurs connexions peuvent les exécuter simultanément. La mémoire utilisée pour la maintenance et l'autovacuum peut également augmenter lorsque plusieurs processus de maintenance sont en cours d'exécution. Action : comparez les valeurs configurées avec la RAM disponible, la concurrence et le nombre de connexions Synapse, plutôt que de supposer que la valeur la plus élevée est optimale.

Utilisez cette requête pour voir combien de sessions client sont connectées et si elles sont actives ou inactives :

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Lorsque votre déploiement le permet, examinez la limite de mémoire du conteneur PostgreSQL et utilisez ses métriques ou celles des processus et cgroups de l'hôte. La somme de la mémoire résidente des processus PostgreSQL peut entraîner un surcomptage des pages partagées. Action : utilisez la comptabilisation totale de la mémoire du conteneur ou de l'hôte pour vérifier la charge, puis exploitez les statistiques de connexion et de requêtes pour identifier la cause probable.

Choisissez les changements en fonction des preuves.

Si la mémoire de requêtes connaît des pics pendant les périodes de forte activité,

Avant toute chose, vérifiez la configuration work_mem. Une valeur élevée peut consommer une quantité importante de mémoire lorsque des requêtes simultanées effectuent plusieurs tris ou opérations de hachage. Réduisez-la avec précaution si les mesures indiquent que la concurrence des requêtes multiplie l'utilisation de la mémoire ; en contrepartie, les opérations importantes risquent de déborder sur des fichiers temporaires et de s'exécuter plus lentement. Évitez de copier des valeurs génériques depuis un autre serveur, car la charge de travail de Synapse et la version de PostgreSQL sont importantes.

La documentation PostgreSQL décrit shared_buffersle cache partagé principal comme un point de départ raisonnable, à savoir environ 25 % de la RAM, uniquement pour un serveur de base de données dédié doté d'au moins 1 Go de RAM. Elle précise également qu'allouer plus de 40 % de la RAM n'améliorera probablement pas la plupart des charges de travail, car PostgreSQL utilise également le cache du système d'exploitation. Recommandation : utilisez ces valeurs comme indication, et non comme objectif pour un hôte Synapse partagé ; si les tampons partagés occupent déjà une part importante de la mémoire totale, envisagez une valeur inférieure lors d'un redémarrage planifié.

Si le nombre de connexions est la pression principale

database.args.cp_minExaminez les cp_maxvaleurs de Synapse homeserver.yamldans les fichiers de configuration des workers. Le guide Synapse PostgreSQL indique que ces paramètres correspondent à la taille minimale et maximale du pool de connexions. Avec de nombreux workers, chacun disposant de son propre pool, le nombre total de connexions possibles peut être bien supérieur à la valeur définie dans un seul fichier. Réduire la taille du pool cp_maxpermet de limiter le nombre de bases de données simultanées et leur consommation mémoire, mais un pool trop petit peut entraîner des temps d'attente pour les requêtes.

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

Les valeurs ci-dessus sont données à titre indicatif uniquement ; elles ne constituent pas une recommandation universelle. Tenez compte des pools de mémoire pour le processus principal et chaque processus de travail, et prévoyez une marge pour l’administration, les migrations, la surveillance et les autres clients. PostgreSQL alloue certaines ressources en fonction de la concurrence max_connections, donc augmenter cette limite « par précaution » peut accroître la pression sur la mémoire de base. Action : limitez les pools Synapse au niveau requis par votre niveau de concurrence mesuré et assurez-vous que la limite de connexions de PostgreSQL permette de prendre en charge tous les services, y compris l’accès administratif.

Si la maintenance ou l'auto-aspiration coïncident avec des pics

PostgreSQL peut allouer de la mémoire de maintenance pour les opérations de nettoyage et d'indexation. La mémoire allouée à l'autovacuum peut être répartie par processus d'autovacuum ; par conséquent, une configuration élevée combinée à plusieurs processus peut entraîner des pics de consommation. Ne désactivez pas l'autovacuum pour réduire la mémoire : il assure la maintenance nécessaire des tables. Action : examinez les journaux et l'activité pendant le pic de consommation, puis ajustez la configuration maintenance_work_memuniquement autovacuum_work_memsi ces opérations y contribuent de manière avérée.

Appliquez les modifications et vérifiez le résultat.

Commencez par sauvegarder la configuration PostgreSQL et Synapse. Modifiez une variable ou une limite de pool à la fois, conservez vos identifiants en lieu sûr et utilisez le chemin de configuration approprié à votre package ou conteneur. Certains paramètres PostgreSQL, notamment `<request>` shared_bufferset ` max_connections<request>`, nécessitent un redémarrage du serveur ; les paramètres rechargeables peuvent être appliqués grâce au mécanisme de rechargement pris en charge par PostgreSQL. Vérifiez le contexte du paramètre avant de supposer qu'un rechargement l'a appliqué.

Après la modification, surveillez la consommation maximale de mémoire, les événements de swap et de mémoire insuffisante, les connexions actives, la latence des requêtes, l'activité des fichiers temporaires et les délais des requêtes Synapse pendant une période de forte activité représentative. La modification est utile si elle réduit la pression sur la mémoire sans provoquer d'attentes de connexion prolongées, de ralentissement des requêtes ou d'augmentation du nombre de requêtes en attente. Si c'est Synapse, et non PostgreSQL, qui consomme la RAM, configurez séparément le comportement du cache Synapse et le nombre de processus ; les paramètres de PostgreSQL n'auront aucun impact sur la mémoire utilisée par les processus Python.

Ne définissez pas la valeur de la mémoire work_memvive comme étant égale à la totalité de la RAM du serveur, n'augmentez pas cette valeur max_connectionssans calculer les totaux du pool, et ne désactivez pas l'autovacuum comme solution globale. Si la consommation de mémoire reste élevée, capturez les métriques pendant le pic et examinez les requêtes en cours et les sources de connexion avant d'ajouter du matériel ou d'effectuer des modifications importantes de la configuration.

Références officielles

Laisser un commentaire

Réduire la pression sur la mémoire de PostgreSQL dans Matrix Synapse

Déterminez si la mémoire utilisée par PostgreSQL provient des requêtes, des tampons partagés, des connexions ou de la maintenance, puis apportez des modifications ciblées compatibles avec Synapse.

Pourquoi les jonctions de salles Matrix Synapse sont-elles lentes ? Que vérifier ?

Pourquoi les jonctions de salles Matrix Synapse sont-elles lentes ? Que vérifier ?

Avant de modifier les paramètres Synapse, vérifiez si la lenteur des connexions à une salle Matrix se fait à un serveur distant, si le délai de fédération est dépassé, si la charge de la base de données locale est excessive ou si la file d'attente de l'expéditeur est trop longue.

Fermer les inscriptions à Matrix ou exiger des jetons d'invitation sur Synapse

Empêchez la création de comptes ouverts sur un serveur Synapse auto-hébergé, ou limitez les inscriptions aux invitations uniquement avec des jetons d'inscription à usage limité.

Avertissement relatif à l'identité de session : vérifiez votre connexion en toute sécurité.

L'avertissement de session non vérifiée de Clear Element utilise un appareil de confiance ou une clé de récupération, avec des contrôles qui protègent votre historique de conversation chiffré.

Évitez les délais d'expiration de verrouillage de fichiers ownCloud grâce au bon backend

Distinguez les conflits de verrouillage de base de données des verrous WebDAV expirés, puis choisissez et configurez le correctif ownCloud 10 approprié.

Que vérifier lorsque ownCloud Web s'ouvre sur une page blanche

Que vérifier lorsque ownCloud Web s'ouvre sur une page blanche

Identifiez les causes d'un écran web ownCloud vide grâce à des vérifications ciblées : cache du navigateur, ressources web manquantes, erreurs de service ou paramètres d'URL du proxy inverse.

Effacer l'avertissement de mémoire PHP ownCloud dans le contexte d'exécution approprié

Définissez la limite de mémoire PHP web d'ownCloud, redémarrez le service correspondant et vérifiez la valeur active sans la confondre avec les paramètres de l'interface de ligne de commande ou les limites de téléchargement.

Résolution des problèmes de connexion MySQL à ownCloud 10

Découvrez si MySQL, PHP, les paramètres de socket ou les autorisations de base de données bloquent ownCloud 10, puis vérifiez une solution sûre.

Définissez une date d'expiration précise pour les liens publics ownCloud

Définissez une date d'expiration précise pour les liens publics ownCloud

Rendez obligatoire l'expiration des liens publics dans ownCloud Classic, définissez une durée de vie maximale et vérifiez les partages existants qui pourraient nécessiter un nettoyage séparé.

Ajoutez l'authentification à deux facteurs TOTP à ownCloud Infinite Scale avec Keycloak

Ajoutez l'authentification à deux facteurs TOTP à ownCloud Infinite Scale avec Keycloak

Activez le protocole TOTP via Keycloak, inscrivez les utilisateurs en toute sécurité et comprenez quand les paramètres MFA au niveau du routage d'Infinite Scale s'appliquent.