[RESOLU] Agent - Utilisation RAM sous Linux

[Klug]

Bonjour à tous,

j'ai un client qui utilise WAPT pour gérer ses postes et serveurs (VM).
Il y a du Windows (postes et serveurs), de l'Ubuntu (18.04 à 22.04), Debian (12) et du CentOS (7).

On vient de se rendre compte que, sur certaines VM Linux, le client WAPT (waptagent 2.4.0) utilisait plusieurs GB de RAM.
Je viens de prendre deux VM au hasard, 1.3 GB utilisés par waptservice pour l'une et 2.5 GB pour l'autre.

Ca vous parait "normal" ou on a un soucis dans le déploiement (ou la version du client ou autre chose) ?

[dcardon]

Bonjour David,

par rapport aux chiffres que vous donnez, est ce qu'il s'agit de RSS (resident memory size) ou bien de VSZ (Virtual Memory Size)?.

La RSS devrait rester normalement vers les 150-200Mo, sinon il y a peut être un truc à regarder de plus prêt. Pour la mémoire virtuelle VSZ le calcul est un peu plus compliqué car ça incorpore plein de choses comme les librairies .so qui sont mappé avec mmap() mais qui n'occupe pas forcément de la RAM.

Cordialement,

Denis

[Klug]

Bonjour,

voici un peu plus en détail ce que j'ai vu.

Pour la VM avec 2 GB et quelques :

Code : Tout sélectionner

# pmap -x 1152862
1152862:   waptservice
Address           Kbytes     RSS   Dirty Mode  Mapping
.../... obligé de couper pour pouvoir poster
---------------- ------- ------- -------
total kB         2498900 1188768 1178376

Et pour l'autre :

Code : Tout sélectionner

# pmap -x 1325965
1325965:   waptservice
Address           Kbytes     RSS   Dirty Mode  Mapping
.../... obligé de couper pour pouvoir poster
---------------- ------- ------- -------
total kB         1398308  269136  248088

[Klug]

Vu autrement (top) pour le premier (3 GB) :

Code : Tout sélectionner

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
1152862 root      20   0 3082032   1.4g   9048 S  25.0  24.9 253:43.04 waptservice
2116295 root      20   0   17936  13720   6408 R   5.7   0.2   0:00.17 python

[Klug]

Et encore autrement, qui donne 3 GB en VmSize :

Code : Tout sélectionner

# cat /proc/1152862/status
Name:   waptservice
Umask:  0022
State:  S (sleeping)
Tgid:   1152862
Ngid:   0
Pid:    1152862
PPid:   1
TracerPid:      0
Uid:    0       0       0       0
Gid:    0       0       0       0
FDSize: 128
Groups:
NStgid: 1152862
NSpid:  1152862
NSpgid: 1152862
NSsid:  1152862
VmPeak:  3139120 kB
VmSize:  3082032 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:   1578124 kB
VmRSS:   1513280 kB
RssAnon:         1504232 kB
RssFile:            9048 kB
RssShmem:              0 kB
VmData:  2086008 kB
VmStk:       132 kB
VmExe:         4 kB
VmLib:     18396 kB
VmPTE:      4072 kB
VmSwap:   430308 kB
HugetlbPages:          0 kB
CoreDumping:    0
THP_enabled:    1
Threads:        16
SigQ:   1/23523
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000001001000
SigCgt: 0000000100000002
CapInh: 0000000000000000
CapPrm: 000001ffffffffff
CapEff: 000001ffffffffff
CapBnd: 000001ffffffffff
CapAmb: 0000000000000000
NoNewPrivs:     0
Seccomp:        0
Seccomp_filters:        0
Speculation_Store_Bypass:       thread vulnerable
SpeculationIndirectBranch:      conditional enabled
Cpus_allowed:   3
Cpus_allowed_list:      0-1
Mems_allowed:   00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000001
Mems_allowed_list:      0
voluntary_ctxt_switches:        182496
nonvoluntary_ctxt_switches:     276

[dcardon]

rebonjour David,

version WAPT exacte? edition ? (cf. forum rules)

La taille 1.4Go en RSS n'est en effet pas normale du tout. Est ce qu'il y a des choses particulières dans les logs? Si vous redémarrez l'agent ça revient à quel niveau de mémoire, ça augmente à quelle vitesse? Les agents mettent combien de temps pour arriver à 1.4Go?

Cordialement,

Denis

[Klug]

Bonjour.

Sur les VM en question, j'ai ça : 2.4.0.14143-9847ee8b-debian-12-amd64
Sur le serveur je ne sais pas, je vais poser la question.

Sur une des VM dont je parlais hier (celle avec le process à 3 GB), de la RAM a été ajoutée hier (donc VM redémarrée).

Code : Tout sélectionner

# ps -p 765 -o etime
    ELAPSED
   16:00:46

On est déjà à 1.6 GB en VmRSS, en 16h...

Code : Tout sélectionner

# cat /proc/765/status
Name:   waptservice
Umask:  0022
State:  S (sleeping)
Tgid:   765
Ngid:   0
Pid:    765
PPid:   1
TracerPid:      0
Uid:    0       0       0       0
Gid:    0       0       0       0
FDSize: 128
Groups:
NStgid: 765
NSpid:  765
NSpgid: 765
NSsid:  765
VmPeak:  2668472 kB
VmSize:  2661228 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:   1582920 kB
VmRSS:   1575892 kB
RssAnon:         1553640 kB
RssFile:           22252 kB
RssShmem:              0 kB
VmData:  1703408 kB
VmStk:       132 kB
VmExe:         4 kB
VmLib:     18396 kB
VmPTE:      3320 kB
VmSwap:        0 kB
HugetlbPages:          0 kB
CoreDumping:    0
THP_enabled:    1
Threads:        16
SigQ:   1/47667
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000001001000
SigCgt: 0000000100000002
CapInh: 0000000000000000
CapPrm: 000001ffffffffff
CapEff: 000001ffffffffff
CapBnd: 000001ffffffffff
CapAmb: 0000000000000000
NoNewPrivs:     0
Seccomp:        0
Seccomp_filters:        0
Speculation_Store_Bypass:       thread vulnerable
SpeculationIndirectBranch:      conditional enabled
Cpus_allowed:   3
Cpus_allowed_list:      0-1
Mems_allowed:   00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000001
Mems_allowed_list:      0
voluntary_ctxt_switches:        124632
nonvoluntary_ctxt_switches:     792

Et en top

Code : Tout sélectionner

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
 780384 root      20   0   17936  13684   6368 R  32.2   0.1   0:00.97 python
    765 root      20   0 2663276   1.5g  22252 S  12.6  12.9 167:54.41 waptservice

Côté log je en sais pas quoi chercher. Mais je vois que ça boucle non stop sur la communication avec le serveur.

Code : Tout sélectionner

2024-06-13T09:57:18.115855+02:00 hostname waptservice[765]: 2024-06-13 09:57:18,115 [wapttasks WaptTaskManager 139878128477888] WARNING Host on the server is not known or not known under this FQDN name (known as hostname.domain.tld). Trying to register the computer...
2024-06-13T09:57:20.103487+02:00 hostname waptservice[765]: 2024-06-13 09:57:20,103 [wapttasks WaptTaskManager 139878128477888] INFO Got signed certificate from server. Issuer: wapt-server.domain.tld. CN: hostname.domain.tld
2024-06-13T09:57:20.109998+02:00 hostname waptservice[765]: 2024-06-13 09:57:20,109 [wapttasks WaptTaskManager 139878128477888] INFO Save host key to /opt/wapt/private/hostname.domain.tld.pem
2024-06-13T09:57:20.110554+02:00 hostname waptservice[765]: 2024-06-13 09:57:20,110 [wapttasks WaptTaskManager 139878128477888] INFO Save host cert to /opt/wapt/private/hostname.domain.tld.crt
2024-06-13T09:57:20.132849+02:00 hostname waptservice[765]: 2024-06-13 09:57:20,132 [wapttasks WaptTaskManager 139878128477888] INFO New registration successful. Retring sending host status.
2024-06-13T09:57:20.133393+02:00 hostname waptservice[765]: 2024-06-13 09:57:20,133 [wapttasks WaptTaskManager 139878128477888] INFO Reloading waptcore configuration for Wapt instance thread 139878128477888
2024-06-13T09:57:21.789508+02:00 hostname waptservice[765]: 2024-06-13 09:57:21,789 [wapttasks WaptTaskManager 139878128477888] INFO update_server_status successful (data size 1735)
2024-06-13T09:57:21.790316+02:00 hostname waptservice[765]: 2024-06-13 09:57:21,790 [wapttasks WaptTaskManager 139878128477888] WARNING Host on the server is not known or not known under this FQDN name (known as hostname.domain.tld). Trying to register the computer...
2024-06-13T09:57:23.712029+02:00 hostname waptservice[765]: 2024-06-13 09:57:23,711 [wapttasks WaptTaskManager 139878128477888] INFO Got signed certificate from server. Issuer: wapt-server.domain.tld. CN: hostname.domain.tld
2024-06-13T09:57:23.716954+02:00 hostname waptservice[765]: 2024-06-13 09:57:23,716 [wapttasks WaptTaskManager 139878128477888] INFO Save host key to /opt/wapt/private/hostname.domain.tld.pem
2024-06-13T09:57:23.717392+02:00 hostname waptservice[765]: 2024-06-13 09:57:23,717 [wapttasks WaptTaskManager 139878128477888] INFO Save host cert to /opt/wapt/private/hostname.domain.tld.crt
2024-06-13T09:57:23.737197+02:00 hostname waptservice[765]: 2024-06-13 09:57:23,736 [wapttasks WaptTaskManager 139878128477888] INFO New registration successful. Retring sending host status.
2024-06-13T09:57:23.738109+02:00 hostname waptservice[765]: 2024-06-13 09:57:23,737 [wapttasks WaptTaskManager 139878128477888] INFO Reloading waptcore configuration for Wapt instance thread 139878128477888
2024-06-13T09:57:25.439076+02:00 hostname waptservice[765]: 2024-06-13 09:57:25,438 [wapttasks WaptTaskManager 139878128477888] INFO update_server_status successful (data size 1735)
2024-06-13T09:57:25.439932+02:00 hostname waptservice[765]: 2024-06-13 09:57:25,439 [wapttasks WaptTaskManager 139878128477888] WARNING Host on the server is not known or not known under this FQDN name (known as hostname.domain.tld). Trying to register the computer...

Sur l'autre VM, il n'y a pas d'erreur dans le log, pas de soucis de communication avec le serveur.

[dcardon]

Bonjour David,

en gros il y a deux problèmes ici. Une petit fuite mémoire côté WAPT (on est entrain de travailler dessus), et un register qui tourne en boucle qui déclenche cette fuite.

Il faudrait vérifier si il n'y a pas deux machine qui ont le même UUID qui s'écrase mutuellement l'une après l'autre au niveau du serveur WAPT.

Cordialement,

Denis

[Klug]

Merci pour le retour.

On va regarder l'UUID et on attend des news pour la memory leak.

[dcardon]

Bonjour David,

on vient de sortir une nouvelle version de WAPT 2.5.5 avec correctif d'une memory leak (en espérant qu'il n'y en a pas d'autre corner case que l'on a pas trouvé )

https://www.wapt.fr/en/doc/wapt-changel ... 2024-06-18

Je passe le topic en résolu. Merci pour la remonté.

Cordialement,

Denis