Si PostgreSQL consomme plus de mémoire que prévu pour Matrix Synapse, commencez par déterminer si la mémoire est utilisée pour les tampons partagés, les requêtes en cours, l'autovacuum ou un grand nombre de connexions. Ensuite, optimisez chaque source une par une et effectuez de nouvelles mesures. Les processus Python de Synapse consomment également une quantité importante de mémoire ; assurez-vous donc que les processus PostgreSQL ou le conteneur de base de données en sont la cause avant de modifier les paramètres de la base de données.
Comprendre ce que signifie « mémoire élevée »
PostgreSQL utilise la mémoire partagée pour son cache, la mémoire privée pour chaque connexion et requête serveur, ainsi que le cache de pages du système d'exploitation. Sous Linux, la mémoire affichée comme « utilisée » peut inclure le cache récupérable du système de fichiers ; ce chiffre seul ne prouve pas que la base de données est surchargée. Surveillez les signes de faible mémoire disponible persistante, l'activité du swap, les erreurs de mémoire insuffisante ou un conteneur approchant sa limite de mémoire. Comparez ces signaux avec les métriques de processus de Synapse et de PostgreSQL.
Un serveur PostgreSQL gère une connexion client. Le pool de connexions de Synapse peut ouvrir plusieurs serveurs par processus, et chaque nœud de calcul Synapse possède son propre pool. Augmenter le nombre de nœuds ou la taille du pool peut donc accroître la charge de travail simultanée sur la base de données et la consommation de mémoire. Action : avant toute modification de PostgreSQL, il est recommandé d'inventorier les processus Synapse, le nombre de nœuds, les paramètres du pool, les connexions PostgreSQL et la limite de mémoire de l'hôte ou du conteneur.
Trouvez la source principale avant de procéder au réglage.
Connectez-vous à la base de données Synapse en tant qu'administrateur et examinez les paramètres qui contrôlent la mémoire et les connexions :
SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;
shared_buffersIl s'agit du cache partagé de PostgreSQL, alloué au démarrage du serveur. La mémoire allouée work_memcorrespond à un budget par opération de requête pour les tris et les tables de hachage, et non à une limite par serveur ; une requête peut utiliser plusieurs de ces opérations, et plusieurs connexions peuvent les exécuter simultanément. La mémoire utilisée pour la maintenance et l'autovacuum peut également augmenter lorsque plusieurs processus de maintenance sont en cours d'exécution. Action : comparez les valeurs configurées avec la RAM disponible, la concurrence et le nombre de connexions Synapse, plutôt que de supposer que la valeur la plus élevée est optimale.
Utilisez cette requête pour voir combien de sessions client sont connectées et si elles sont actives ou inactives :
SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;
Lorsque votre déploiement le permet, examinez la limite de mémoire du conteneur PostgreSQL et utilisez ses métriques ou celles des processus et cgroups de l'hôte. La somme de la mémoire résidente des processus PostgreSQL peut entraîner un surcomptage des pages partagées. Action : utilisez la comptabilisation totale de la mémoire du conteneur ou de l'hôte pour vérifier la charge, puis exploitez les statistiques de connexion et de requêtes pour identifier la cause probable.
Choisissez les changements en fonction des preuves.
Si la mémoire de requêtes connaît des pics pendant les périodes de forte activité,
Avant toute chose, vérifiez la configuration work_mem. Une valeur élevée peut consommer une quantité importante de mémoire lorsque des requêtes simultanées effectuent plusieurs tris ou opérations de hachage. Réduisez-la avec précaution si les mesures indiquent que la concurrence des requêtes multiplie l'utilisation de la mémoire ; en contrepartie, les opérations importantes risquent de déborder sur des fichiers temporaires et de s'exécuter plus lentement. Évitez de copier des valeurs génériques depuis un autre serveur, car la charge de travail de Synapse et la version de PostgreSQL sont importantes.
La documentation PostgreSQL décrit shared_buffersle cache partagé principal comme un point de départ raisonnable, à savoir environ 25 % de la RAM, uniquement pour un serveur de base de données dédié doté d'au moins 1 Go de RAM. Elle précise également qu'allouer plus de 40 % de la RAM n'améliorera probablement pas la plupart des charges de travail, car PostgreSQL utilise également le cache du système d'exploitation. Recommandation : utilisez ces valeurs comme indication, et non comme objectif pour un hôte Synapse partagé ; si les tampons partagés occupent déjà une part importante de la mémoire totale, envisagez une valeur inférieure lors d'un redémarrage planifié.
Si le nombre de connexions est la pression principale
database.args.cp_minExaminez les cp_maxvaleurs de Synapse homeserver.yamldans les fichiers de configuration des workers. Le guide Synapse PostgreSQL indique que ces paramètres correspondent à la taille minimale et maximale du pool de connexions. Avec de nombreux workers, chacun disposant de son propre pool, le nombre total de connexions possibles peut être bien supérieur à la valeur définie dans un seul fichier. Réduire la taille du pool cp_maxpermet de limiter le nombre de bases de données simultanées et leur consommation mémoire, mais un pool trop petit peut entraîner des temps d'attente pour les requêtes.
database:
name: psycopg2
args:
user: synapse_user
password: "use-a-secret-store-or-protected-config"
dbname: synapse
host: 127.0.0.1
port: 5432
cp_min: 2
cp_max: 5
Les valeurs ci-dessus sont données à titre indicatif uniquement ; elles ne constituent pas une recommandation universelle. Tenez compte des pools de mémoire pour le processus principal et chaque processus de travail, et prévoyez une marge pour l’administration, les migrations, la surveillance et les autres clients. PostgreSQL alloue certaines ressources en fonction de la concurrence max_connections, donc augmenter cette limite « par précaution » peut accroître la pression sur la mémoire de base. Action : limitez les pools Synapse au niveau requis par votre niveau de concurrence mesuré et assurez-vous que la limite de connexions de PostgreSQL permette de prendre en charge tous les services, y compris l’accès administratif.
Si la maintenance ou l'auto-aspiration coïncident avec des pics
PostgreSQL peut allouer de la mémoire de maintenance pour les opérations de nettoyage et d'indexation. La mémoire allouée à l'autovacuum peut être répartie par processus d'autovacuum ; par conséquent, une configuration élevée combinée à plusieurs processus peut entraîner des pics de consommation. Ne désactivez pas l'autovacuum pour réduire la mémoire : il assure la maintenance nécessaire des tables. Action : examinez les journaux et l'activité pendant le pic de consommation, puis ajustez la configuration maintenance_work_memuniquement autovacuum_work_memsi ces opérations y contribuent de manière avérée.
Appliquez les modifications et vérifiez le résultat.
Commencez par sauvegarder la configuration PostgreSQL et Synapse. Modifiez une variable ou une limite de pool à la fois, conservez vos identifiants en lieu sûr et utilisez le chemin de configuration approprié à votre package ou conteneur. Certains paramètres PostgreSQL, notamment `<request>` shared_bufferset ` max_connections<request>`, nécessitent un redémarrage du serveur ; les paramètres rechargeables peuvent être appliqués grâce au mécanisme de rechargement pris en charge par PostgreSQL. Vérifiez le contexte du paramètre avant de supposer qu'un rechargement l'a appliqué.
Après la modification, surveillez la consommation maximale de mémoire, les événements de swap et de mémoire insuffisante, les connexions actives, la latence des requêtes, l'activité des fichiers temporaires et les délais des requêtes Synapse pendant une période de forte activité représentative. La modification est utile si elle réduit la pression sur la mémoire sans provoquer d'attentes de connexion prolongées, de ralentissement des requêtes ou d'augmentation du nombre de requêtes en attente. Si c'est Synapse, et non PostgreSQL, qui consomme la RAM, configurez séparément le comportement du cache Synapse et le nombre de processus ; les paramètres de PostgreSQL n'auront aucun impact sur la mémoire utilisée par les processus Python.
Ne définissez pas la valeur de la mémoire work_memvive comme étant égale à la totalité de la RAM du serveur, n'augmentez pas cette valeur max_connectionssans calculer les totaux du pool, et ne désactivez pas l'autovacuum comme solution globale. Si la consommation de mémoire reste élevée, capturez les métriques pendant le pic et examinez les requêtes en cours et les sources de connexion avant d'ajouter du matériel ou d'effectuer des modifications importantes de la configuration.
Références officielles