Serveur WAPT crash constemment

Question about WAPT Server / Requêtes et aides autour du serveur Wapt
Règles du forum
Règles du forum communautaire
* English support on www.reddit.com/r/wapt
* Le support communautaire en français se fait sur ce forum
* Merci de préfixer le titre du topic par [RESOLU] s'il est résolu.
* Merci de ne pas modifier un topic qui est taggé [RESOLU]. Ouvrez un nouveau topic en référençant l'ancien
* Préciser version de WAPT installée, version complète ET numéro de build (2.2.1.11957 / 2.2.2.12337 / etc.) AINSI QUE l'édition Enterprise / Discovery
* Les versions 1.8.2 et antérieures ne sont plus maintenues. Les seules questions acceptées vis à vis de la version 1.8.2 sont liés à la mise à jour vers une version supportée (2.1, 2.2, etc.)
* Préciser OS du serveur (Linux / Windows) et version (Debian Buster/Bullseye - CentOS 7 - Windows Server 2012/2016/2019)
* Préciser OS de la machine d'administration/création des paquets et de la machine avec l'agent qui pose problème le cas échéant (Windows 7 / 10 / 11 / Debian 11 / etc.)
* Eviter de poser plusieurs questions lors de l'ouverture de topic, sinon il risque d'être ignorer. Si plusieurs sujet, ouvrir plusieurs topic, et de préférence les uns après les autres et pas tous en même temps (ie ne pas spammer le forum).
* Inclure directement les morceaux de code, les captures d'écran et autres images directement dans le post. Les liens vers les pastebin, les bitly et autres sites tierces seront systématiquement supprimés.
* Comme tout forum communautaire, le support est fait bénévolement par les membres. Si vous avez besoin d'un support commercial, vous pouvez contacter le service commercial Tranquil IT au 02.40.97.57.55
Verrouillé
renaud.counhaye
Messages : 31
Inscription : 13 déc. 2017 - 11:45

15 oct. 2019 - 15:19

Bonjour,

Mon serveur Linux wapt 4.9.0-8-amd64 #1 SMP Debian 4.9.144-3.1 (2019-02-19) x86_64

Version WAPT Server : 1.7.4
Version WAPT Agent : 1.7.4.6143
version WAPT Setup : 1.7.4.6143

A tendance a crash de façon sporadique et aléatoire, mais au point de bloquer l'accès a la console (Error 504) l'accès web (Error 502) et l'update des clients avec un timeout.
Sur le serveur, je retrouve le service wapttasks en failed
● wapttasks.service loaded failed failed WAPT Tasks startup script

root@wapt # systemctl status wapttasks
● wapttasks.service - WAPT Tasks startup script
Loaded: loaded (/usr/lib/systemd/system/wapttasks.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Tue 2019-10-15 15:00:05 CEST; 18s ago Process: 611 ExecStart=/opt/wapt/bin/python /opt/wapt/waptserver/wapthuey.py waptenterprise.waptserver.wsus_tasks.huey Main PID: 611 (code=exited, status=1/FAILURE)

Oct 15 15:00:04 wapt systemd[1]: wapttasks.service: Unit entered failed state. Oct 15 15:00:04 wapt systemd[1]: wapttasks.service: Failed with result 'exit-code'. Oct 15 15:00:05 wapt systemd[1]: wapttasks.service: Service hold-off time over, scheduling restart.
Oct 15 15:00:05 wapt systemd[1]: Stopped WAPT Tasks startup script.
Oct 15 15:00:05 wapt systemd[1]: wapttasks.service: Start request repeated too quickly. Oct 15 15:00:05 wapt systemd[1]: Failed to start WAPT Tasks startup script. Oct 15 15:00:05 wapt systemd[1]: wapttasks.service: Unit entered failed state. Oct 15 15:00:05 wapt systemd[1]: wapttasks.service: Failed with result 'exit-code'.

Le service wapt server is running mais si je demande son status, j'ai une autre histoire :
[ ~ ] root@wapt # systemctl status waptserver
● waptserver.service - WAPT Server startup script
Loaded: loaded (/usr/lib/systemd/system/waptserver.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2019-09-20 14:59:28 CEST; 3 weeks 4 days ago Main PID: 918 (python)
Tasks: 1 (limit: 4915)
CGroup: /system.slice/waptserver.service
└─918 /opt/wapt/bin/python /opt/wapt/waptserver/server.py

Oct 14 21:00:05 wapt python[918]: 2019-10-14 21:00:05,820 WARNING Invalid session None
Oct 14 23:57:04 wapt python[918]: 2019-10-14 23:57:04,954 WARNING Invalid session None
Oct 15 08:51:02 wapt python[918]: 2019-10-15 08:51:02,071 WARNING Invalid session None
Oct 15 12:57:09 wapt python[918]: peewee 2019-10-15 12:57:09,728 WARNING SocketIO connection refused for uuid , sid 07feOct 15 12:57:09 wapt python[918]: 2019-10-15 12:57:09,728 WARNING SocketIO connection refused for uuid , sid 07fe1be33bfOct 15 12:57:09 wapt python[918]: 2019-10-15 12:57:09,731 WARNING Application rejected connection
Oct 15 13:47:01 wapt python[918]: peewee 2019-10-15 13:47:01,889 CRITICAL Get_websocket_auth_token failed EWaptAuthenticOct 15 13:47:01 wapt python[918]: 2019-10-15 13:47:01,889 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFaOct 15 14:48:02 wapt python[918]: peewee 2019-10-15 14:48:02,176 CRITICAL Get_websocket_auth_token failed EWaptAuthenticOct 15 14:48:02 wapt python[918]: 2019-10-15 14:48:02,176 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFa

Faire un reboot de la machine ou un stop puis start de Nginx, Waptserver et wapttasks résoud le problème, mais ce n'est pas idéal...
D'ailleur même après cette maip, le wapttasks retourne dans son état failed.

Merci de m'avoir lu, en espérant avoir de vos nouvelles bientot et votre aide si possible, bonne journée
Sep 20 14:59:19 wapt nginx[753]: nginx: [warn] "ssl_stapling" ignored, issuer certificate not found
Sep 20 14:59:20 wapt nginx[836]: nginx: [warn] "ssl_stapling" ignored, issuer certificate not found
Sep 20 14:59:20 wapt systemd[1]: nginx.service: Failed to read PID from file /run/nginx.pid: Invalid argument

Sep 20 14:59:23 wapt cron[850]: (CRON) INFO (Running @reboot jobs)
Sep 20 14:59:24 wapt python[697]: #033[91mError importing waptenterprise.waptserver.wsus_tasks.huey#033[0m
Sep 20 14:59:24 wapt python[697]: Traceback (most recent call last):
Sep 20 14:59:24 wapt python[697]: File "/opt/wapt/waptserver/wapthuey.py", line 37, in <module>
Sep 20 14:59:24 wapt python[697]: huey_consumer.consumer_main()
Sep 20 14:59:24 wapt python[697]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 43, in consumer_main Sep 20 14:59:24 wapt python[697]: huey_instance = load_huey(args[0]) Sep 20 14:59:24 wapt python[697]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 18, in load_huey Sep 20 14:59:24 wapt python[697]: return load_class(path) Sep 20 14:59:24 wapt python[697]: File "/opt/wapt/lib/python2.7/site-packages/huey/utils.py", line 46, in load_class Sep 20 14:59:24 wapt python[697]: __import__(path) Sep 20 14:59:24 wapt python[697]: ImportError: No module named waptenterprise.waptserver.wsus_tasks
Sep 20 14:59:24 wapt systemd[1]: wapttasks.service: Main process exited, code=exited, status=1/FAILURE
Sep 20 14:59:24 wapt systemd[1]: wapttasks.service: Unit entered failed state.
Sep 20 14:59:24 wapt systemd[1]: wapttasks.service: Failed with result 'exit-code'.
Sep 20 14:59:24 wapt systemd[1]: wapttasks.service: Service hold-off time over, scheduling restart.
Sep 20 14:59:24 wapt systemd[1]: Stopped WAPT Tasks startup script.
Sep 20 14:59:24 wapt systemd[1]: Started WAPT Tasks startup script.
Sep 20 14:59:25 wapt python[856]: #033[91mError importing waptenterprise.waptserver.wsus_tasks.huey#033[0m
Sep 20 14:59:25 wapt python[856]: Traceback (most recent call last):
Sep 20 14:59:25 wapt python[856]: File "/opt/wapt/waptserver/wapthuey.py", line 37, in <module>
Sep 20 14:59:25 wapt python[856]: huey_consumer.consumer_main()
Sep 20 14:59:25 wapt python[856]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py
Sep 20 14:59:25 wapt python[856]: huey_consumer.consumer_main()
Sep 20 14:59:25 wapt python[856]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 43, in consumer_main
Sep 20 14:59:25 wapt python[856]: huey_instance = load_huey(args[0])
Sep 20 14:59:25 wapt python[856]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 18, in load_huey
Sep 20 14:59:25 wapt python[856]: return load_class(path)
Sep 20 14:59:25 wapt python[856]: File "/opt/wapt/lib/python2.7/site-packages/huey/utils.py", line 46, in load_class
Sep 20 14:59:25 wapt python[856]: __import__(path)
Sep 20 14:59:25 wapt python[856]: ImportError: No module named waptenterprise.waptserver.wsus_tasks
Sep 20 14:59:25 wapt systemd[1]: wapttasks.service: Main process exited, code=exited, status=1/FAILURE
Sep 20 14:59:25 wapt systemd[1]: wapttasks.service: Unit entered failed state.
Sep 20 14:59:25 wapt systemd[1]: wapttasks.service: Failed with result 'exit-code'.
Sep 20 14:59:26 wapt systemd[1]: wapttasks.service: Service hold-off time over, scheduling restart.
Sep 20 14:59:26 wapt systemd[1]: Stopped WAPT Tasks startup script.
Sep 20 14:59:26 wapt systemd[1]: Started WAPT Tasks startup script.
Sep 20 14:59:26 wapt systemd[1]: Started Daily apt download activities.

Sep 20 14:59:26 wapt systemd[1]: apt-daily.timer: Adding 1h 59min 42.052407s random time.
Sep 20 14:59:26 wapt systemd[1]: apt-daily.timer: Adding 1h 23min 1.241385s random time.
Sep 20 14:59:27 wapt python[874]: #033[91mError importing waptenterprise.waptserver.wsus_tasks.huey#033[0m
Sep 20 14:59:27 wapt python[874]: Traceback (most recent call last):
Sep 20 14:59:27 wapt python[874]: File "/opt/wapt/waptserver/wapthuey.py", line 37, in <module>
Sep 20 14:59:27 wapt python[874]: huey_consumer.consumer_main()
Sep 20 14:59:27 wapt python[874]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 43, in consumer_main Sep 20 14:59:27 wapt python[874]: huey_instance = load_huey(args[0])
Sep 20 14:59:27 wapt python[874]: File "/opt/wapt/lib/python2.7/site-packages/huey/bin/huey_consumer.py", line 18, in load_huey Sep 20 14:59:27 wapt python[874]: return load_class(path)
Sep 20 14:59:27 wapt python[874]: File "/opt/wapt/lib/python2.7/site-packages/huey/utils.py", line 46, in load_class
Sep 20 14:59:27 wapt python[874]: __import__(path)
Sep 20 14:59:27 wapt python[874]: ImportError: No module named waptenterprise.waptserver.wsus_tasks
Sep 20 14:59:27 wapt systemd[1]: wapttasks.service: Main process exited, code=exited, status=1/FAILURE
Sep 20 14:59:27 wapt systemd[1]: wapttasks.service: Unit entered failed state.
Sep 20 14:59:27 wapt systemd[1]: wapttasks.service: Failed with result 'exit-code'.
Sep 20 14:59:27 wapt systemd[1]: wapttasks.service: Service hold-off time over, scheduling restart.
Sep 20 14:59:27 wapt systemd[1]: Stopped WAPT Tasks startup script.
Sep 20 14:59:27 wapt systemd[1]: Started WAPT Tasks startup script.
Sep 20 14:59:27 wapt python[903]: #033[91mError importing waptenterprise.waptserver.wsus_tasks.huey#033[0m
Sep 20 14:59:27 wapt python[903]: Traceback (most recent call last):

ep 20 15:00:10 wapt peewee 2019-09-20 15:00:10,626 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u"Request signature verification failed: SSL signature verification failed for certificate {'commonName': u'1591875c-95e0-433c-b448-38427397885d', 'organizationName': u'Microsoft'} issued by 1591875c-95e0-433c-b448-38427397885d",)
Sep 20 15:00:10 wapt python[918]: 2019-09-20 15:00:10,626 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u"Request signature verification failed: SSL signature verification failed for certificate {'commonName': u'1591875c-95e0-433c-b448-38427397885d', 'organizationName': u'Microsoft'} issued by 1591875c-95e0-433c-b448-38427397885d",)
Sep 20 15:00:17 wapt peewee 2019-09-20 15:00:17,724 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure('No uuid supplied',)
Sep 20 15:00:17 wapt python[918]: 2019-09-20 15:00:17,724 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure('No uuid supplied',)
Sep 20 15:01:10 wapt peewee 2019-09-20 15:01:10,684 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u"Request signature verification failed: SSL signature verification failed for certificate {'commonName': u'1591875c-95e0-433c-b448-38427397885d', 'organizationName': u'Microsoft'} issued by 1591875c-95e0-433c-b448-38427397885d",)
Sep 20 15:01:10 wapt python[918]: 2019-09-20 15:01:10,684 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u"Request signature verification failed: SSL signature verification failed for certificate {'commonName': u'1591875c-95e0-433c-b448-38427397885d', 'organizationName': u'Microsoft'} issued by 1591875c-95e0-433c-b448-38427397885d",)
Sep 20 15:01:17 wapt peewee 2019-09-20 15:01:17,871 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure('No uuid supplied',)
Sep 20 15:01:17 wapt python[918]: 2019-09-20 15:01:17,871 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure('No uuid supplied',)
Renaud Counhaye
Technicien système réseaux
Central Functions Division
Ymagis Group
Image
Haut
Avatar de l’utilisateur
htouvet
Expert WAPT
Messages : 402
Inscription : 16 mars 2015 - 10:48
Contact :
Contacter htouvet

16 oct. 2019 - 11:56

Bonjour,
En fait il y a deux problèmes dans la question

- Le service wapttasks ne s'occupe pour l'instant que du téléchargement des mises à jour Windows et ne vous concerne peut être pas. Si il est en erreur, cela est dû priori à l'absence des modules python correspondant à la version Entreprise. Mais cela ne doit pas affecter le fonctionnement de Wapt par ailleurs.

- Le service waptserver lui est le coupable. Si vous avez une erreur 504 (gateway timeout) dans la console, mais que le service waptserver semble actif, c'est un problème interne au process waptserver du type deadlock...
Le process waptserver est monothread, avec un système multitâche coopératif ("greenlet") pour pouvoir garder actives un nombre important de (web)sockets TCP (les machines 'connectées'). Si le service waptserver était multithreadé, il passerait plus de temps à changer de contexte dans l'attente de données sur les sockets qu'à travailler réellement. Mais cela introduit peut être une certaine vulnérabilité aux deadlocks.
Nous avons 3 autres clients (avec un nombre important de postes connectés) qui ont de façon épisodique ce problème de blocage et l'analyse n'a pas encore donné de résultat probant. Le plus probable est un deadlock sur des transactions de base de données, dans ce contexte de "multitâche collaboratif"
Le redémarrage du service waptserver suffit à débloquer la situation, donc en contournement temporaire, nous avons mis chez ces clients un un watchdog dans un cron qui ping le service waptserver (https://serveurwapt/ping) et le redémarre si erreur. qq chose comme ça :
wget -q -O - http://127.0.0.1:8080/ping --no-check-certificate | grep "WAPT Server running" || (echo Restart; systemctl restart waptserver )
Pas top, mais aide en attendant d'autres investigations
Tranquil IT
Haut
Avatar de l’utilisateur
dcardon
Expert WAPT
Messages : 1412
Inscription : 18 juin 2014 - 09:58
Localisation : Saint Sébastien sur Loire
Contact :
Contacter dcardon

16 oct. 2019 - 12:14

Bonjour Renaud,
renaud.counhaye a écrit : ↑15 oct. 2019 - 15:19 ...
A tendance a crash de façon sporadique et aléatoire, mais au point de bloquer l'accès a la console (Error 504) l'accès web (Error 502) et l'update des clients avec un timeout.
Sur le serveur, je retrouve le service wapttasks en failed
...
Faire un reboot de la machine ou un stop puis start de Nginx, Waptserver et wapttasks résoud le problème, mais ce n'est pas idéal...
D'ailleur même après cette maip, le wapttasks retourne dans son état failed.


merci pour ton post bien détaillé. Comme Hubert l'a dit juste au dessus on a déjà eu le problème qui nous a été remonté. Il semble que l'on tombe sur un problème de deadlock, probablement au niveau de postgres. Est ce que tu pourrais lancer la commande suivante lors de ton prochain deadlock sur ton serveur WAPT en root:
sudo -u postgres psql wapt
SELECT datname, usename , client_addr, xact_start , query_start ,state_change, state, query FROM pg_stat_activity ;

et de m'envoyer en mp le résultat (dcardon AT tranquil DOT it).

Cordialement,

Denis
Denis Cardon - Tranquil IT
Communiquez autour de vous sur WAPT! Envoyez nous vos url de blog et d'articles dans la catégorie votre avis du forum, nous les mettrons en avant sur le site WAPT
Haut
Verrouillé

Revenir à « WAPT Server »


  • Pour aller plus loin avec WAPT