[RISOLTO] Arresto anomalo del server Wapt 1.8 enterprise

olaplanche · 18 maggio 2021 - 09:40

Buongiorno,

Ho un nuovo problema in seguito all'aggiornamento del server alla versione 1.8 enterprise.
Per vostra informazione, ho anche aggiornato il server Debian Stretch a Buster e PostgreSQL 9.6 versione 11.

Dopo circa 24 ore di funzionamento senza problemi, il server wapt ha smesso di rispondere (web e console = 500 Errore interno del server)

# systemctl status waptserver

● waptserver.service - Script di avvio del server WAPT
Caricato: caricato (/usr/lib/systemd/system/waptserver.service; abilitato; preimpostazione del fornitore: abilitato)
Attivo: attivo (in esecuzione) da lun 17-05-2021 08:22:25 CEST; 1 giorno 1 ora fa
PID principale: 502 (waptserver)
Attività: 1 (limite: 4649)
Memoria: 181,6M
CGroup: /system.slice/waptserver.service
└─502 waptserver

18 maggio 08:41:20 wapt-svr1 waptserver[502]: 2021-05-18 08:41:20,651 [waptws ] ATTENZIONE Sessione non valida d855214ff97e4de0a70fe10ca4f7576b
18 maggio 08:59:19 wapt-svr1 waptserver[502]: 2021-05-18 08:59:19,738 [waptws ] ATTENZIONE Sessione non valida 1982b44631e3467f9ee26692f192a3c9
18 maggio 09:02:34 wapt-svr1 waptserver[502]: 2021-05-18 09:02:34,811 [waptws ] AVVISO Sessione non valida a7598043c4cd45ef8c707ae135325b31
18 maggio 09:03:33 wapt-svr1 waptserver[502]: 2021-05-18 09:03:33,024 [waptws ] AVVISO Sessione non valida 551799f8134c41aca1f4bb202b3d63d3
18 maggio 09:04:24 wapt-svr1 waptserver[502]: 2021-05-18 09:04:24,840 [waptws ] AVVISO Sessione non valida ae9fc3e3bc654402ade40c0978e7d144
18 maggio 09:04:52 wapt-svr1 waptserver[502]: 2021-05-18 09:04:52,668 [waptws ] AVVISO Sessione non valida 93877a82dbcd48fe86ff5cd87df63a17
18 maggio 09:18:22 wapt-svr1 waptserver[502]: 2021-05-18 09:18:22,735 [waptws ] AVVISO Sessione non valida f6015710fce14bf8aa1ee86b24c90391
18 maggio 09:19:44 wapt-svr1 waptserver[502]: 2021-05-18 09:19:44,804 [waptws ] AVVISO Sessione non valida 1674992d543c47ea9c341082748935fd
18 maggio 09:20:28 wapt-svr1 waptserver[502]: 2021-05-18 09:20:28,566 [waptws ] AVVISO Sessione non valida 076a04ffa5684960bbae4563b47e512c
18 maggio 09:21:54 wapt-svr1 waptserver[502]: 2021-05-18 09:21:54,495 [waptws ] AVVISO Sessione non valida ac73b071b4e94c1285509cea2e6f6f36

Nessun problema con la password di amministratore, dopo il riavvio posso accedere alla console con quella.

Nessun problema con lo stato del servizio PostgreSQL.

# sudo systemctl status nginx.service

● nginx.service - Un server web ad alte prestazioni e un server proxy inverso
Caricato: caricato (/lib/systemd/system/nginx.service; abilitato; preimpostazione del fornitore: abilitato)
Drop-In: /etc/systemd/system/nginx.service.d
└─nginx_worker_files_limit.conf
Attivo: attivo (in esecuzione) da lun 17-05-2021 08:22:20 È; 1 giorno 1 ora fa
Documentazione: man:nginx(8)
Processo: 459 ExecStartPre=/usr/sbin/nginx -t -q -g daemon on; master_processon; (codice=uscito, stato=0/SUCCESSO)
Processo: 479 ExecStart=/usr/sbin/nginx -g daemon on; master_processon; (codice=uscito, stato=0/SUCCESSO)
PID principale: 480 (nginx)
Attività: 3 (limite: 4649)
Memoria: 771,3M
CGroup: /system.slice/nginx.service
├─480 nginx: processo master /usr/sbin/nginx -g daemon on; master_processon;
├─481 nginx: processo worker
└─482 nginx: processo worker

17 maggio 08:22:18 wapt-svr1 systemd[1]: Avvio di un server web ad alte prestazioni e di un server proxy inverso...
17 maggio 08:22:20 wapt-svr1 nginx[459]: nginx: [warn] "ssl_stapling" ignorato, certificato emittente non trovato per il certificato "/opt/wapt/waptserver/ssl/cert.pem"
17 maggio 08:22:20 wapt-svr1 nginx[479]: nginx: [warn] "ssl_stapling" ignorato, certificato emittente non trovato per il certificato "/opt/wapt/waptserver/ssl/cert.pem"
17 maggio 08:22:20 wapt-svr1 systemd[1]: Avviato un server web ad alte prestazioni e un server proxy inverso.

Un estratto più conclusivo dal file waptserver.log?

17 maggio 08:21:33 wapt-svr1 waptserver[7666]: 2021-05-17 08:21:33,259 [waptws ] Errore CRITICO SocketIO pong per uuid etude1-dell-02 e sid 6c48df0413bb48858e7736387cdb032d : Traceback (chiamata più recente):
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/waptserver/server_socketio.py", riga 284, in on_wapt_pong
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: con WaptDB():
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/waptserver/model.py", riga 124, in __enter__
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: self.must_close = wapt_db_connect()
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/waptserver/model.py", riga 101, in wapt_db_connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: wapt_db.connect()
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/playhouse/pool.py", riga 114, in connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: ret = super(PooledDatabase, self).connect(reuse_if_open)
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/peewee.py", riga 2947, in connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: self._initialize_connection(self._state.conn)
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/peewee.py", riga 2783, in __exit__
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: reraise(new_type, new_type(*exc_args), traceback)
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/peewee.py", riga 2944, in connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: self._state.set_connection(self._connect())
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/playhouse/pool.py", riga 156, in _connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: conn = super(PooledDatabase, self)._connect()
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/playhouse/postgres_ext.py", riga 448, in _connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: conn = super(PostgresqlExtDatabase, self)._connect()
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/peewee.py", riga 3637, in _connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: conn = psycopg2.connect(database=self.database, **self.connect_params)
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: File "/opt/wapt/lib/python2.7/site-packages/psycopg2/__init__.py", riga 127, in connect
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: conn = _connect(dsn, connection_factory=connection_factory, **kwasync)
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: OperationalError: impossibile connettersi al server: nessun file o directory di questo tipo
17 maggio 08:21:33 wapt-svr1 waptserver[7666]: #011Il server è in esecuzione localmente e accetta
connessioni sul socket di dominio Unix "/var/run/postgresql/.s.PGSQL.5432"? 17 maggio
08:21:33 wapt-svr1 waptserver[7666]: #011

Un estratto dal file postresql-11.log (come potete vedere ho riavviato il server ieri alle 8:22)

2021-05-17 08:21:22.943 CEST [479] LOG: ricevuta richiesta di arresto rapido
2021-05-17 08:21:22.950 CEST [479] LOG: interruzione di tutte le transazioni attive
2021-05-17 08:21:22.950 CEST [42359] wapt@wapt FATAL: terminazione della connessione a causa del comando dell'amministratore
2021-05-17 08:21:22.950 CEST [42262] wapt@wapt FATAL: terminazione della connessione a causa del comando dell'amministratore
2021-05-17 08:21:22.954 CEST [42358] wapt@wapt FATAL: terminazione della connessione a causa del comando dell'amministratore
2021-05-17 08:21:22.955 CEST [42357] wapt@wapt FATAL: terminazione della connessione a causa del comando dell'amministratore
2021-05-17 08:21:23.004 CEST [479] LOG: il worker in background "logical replication launcher" (PID 490) è terminato con codice di uscita 1
2021-05-17 08:21:23.012 CEST [485] LOG: spegnimento in corso
2021-05-17 08:21:23.208 CEST [479] LOG: il sistema di database è stato arrestato
2021-05-17 08:21:33.427 CEST [43824] LOG: in ascolto sull'indirizzo IPv6 "::1", porta 5432
2021-05-17 08:21:33.427 CEST [43824] LOG: in ascolto sull'indirizzo IPv4 "127.0.0.1", porta 5432
2021-05-17 08:21:33.433 CEST [43824] LOG: in ascolto sul socket Unix "/var/run/postgresql/.s.PGSQL.5432"
2021-05-17 08:21:33.557 CEST [43825] LOG: il sistema di database è stato arrestato alle 2021-05-17 08:21:23 CEST
2021-05-17 08:21:33.612 CEST [43824] LOG: il sistema di database è pronto ad accettare connessioni
2021-05-17 08:21:34.125 CEST [43832] [unknown]@[unknown] LOG: pacchetto di avvio incompleto
2021-05-17 08:21:59.862 CEST [43824] LOG: ricevuta richiesta di arresto rapido
2021-05-17 08:21:59.877 CEST [43824] LOG: interruzione di tutte le transazioni attive
2021-05-17 08:21:59.884 CEST [43824] LOG: il worker in background "logical replication launcher" (PID 43831) è terminato con codice di uscita 1
2021-05-17 08:21:59.884 CEST [43826] LOG: arresto in corso
2021-05-17 08:22:00.175 CEST [43824] LOG: il sistema di database è stato arrestato
2021-05-17 08:22:22.338 CEST [483] LOG: in ascolto sull'indirizzo IPv6 "::1", porta 5432
2021-05-17 08:22:22.340 CEST [483] LOG: in ascolto sull'indirizzo IPv4 "127.0.0.1", porta 5432
2021-05-17 08:22:22.360 CEST [483] LOG: in ascolto sul socket Unix "/var/run/postgresql/.s.PGSQL.5432"
2021-05-17 08:22:22.546 CEST [484] LOG: il sistema di database è stato arrestato alle 2021-05-17 08:22:00 CEST
2021-05-17 08:22:22.672 CEST [483] LOG: il sistema di database è pronto ad accettare connessioni
2021-05-17 08:22:23.196 CEST [491] [sconosciuto]@[sconosciuto] LOG: pacchetto di avvio incompleto

Grazie per aver letto, spero di trovare qualche aiuto.

olaplanche · 18 maggio 2021 - 10:50

Inoltre, ecco un estratto dal file waptserver.log dopo aver riavviato il servizio waptserver e una volta che l'accesso al web e alla console sono di nuovo funzionanti:

18 maggio 10:48:11 wapt-svr1 waptserver[9423]: 2021-05-18 10:48:11,617 [waptws ] ATTENZIONE Sessione non valida Nessuna
18 maggio 10:48:11 wapt-svr1 waptserver[9423]: 2021-05-18 10:48:11,632 [waptws ] ATTENZIONE Sessione non valida Nessuna
18 maggio 10:48:11 wapt-svr1 waptserver[9423]: 2021-05-18 10:48:11,633 [waptws ] ATTENZIONE Sessione non valida Nessuna

18 maggio 2021 - 15:26

Questo server dispone di un'interfaccia grafica? Ci sono periodi di attività/inattività sulle interfacce di rete? Abbiamo già riscontrato questo tipo di problema su un'installazione con interfaccia grafica. (
Denis)

olaplanche · 18 maggio 2021 - 16:23

Salve,

non c'è un'interfaccia grafica, ma le sue domande mi hanno ricordato un problema che ho riscontrato su una macchina virtuale Windows a causa del backup notturno programmato. Sebbene non abbia mai avuto problemi prima, ho temporaneamente disabilitato il backup della macchina virtuale sul server WAPT per stanotte.

Controllerò domani mattina se il server è ancora accessibile.

Grazie.

olaplanche · 19 maggio 2021 - 11:47

Ciao,

ho lo stesso problema stamattina, il server Wapt è inaccessibile...

Ieri ho riavviato solo il servizio Waptserver per riottenere l'accesso alla console e al web. Stamattina ho ottenuto lo stesso risultato dopo aver riavviato solo il servizio Nginx...

olaplanche · 19 maggio 2021 - 16:51

Esaminando il lato nginx, si scopre che il mio file di configurazione /etc/nginx/site-enabled/wapt.conf non è identico a quello predefinito nella documentazione https://www.wapt.fr/fr/doc/wapt-configuration ... index.html

server {

ascolta 80;

ascolta 443 ssl;
server_name _;

ssl_certificate "/opt/wapt/waptserver/ssl/cert.pem";
ssl_certificate_key "/opt/wapt/waptserver/ssl/key.pem";
ssl_protocols TLSv1.2;
ssl_dhparam /etc/ssl/certs/dhparam.pem;
ssl_prefer_server_ciphers on;
ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
ssl_staplingon;
ssl_stapling_verify on;
ssl_session_cache none;
ssl_session_tickets off;

#ssl_client_certificate "/opt/wapt/conf/ca-wapt-svr1.mondomaine.fr.crt";
#ssl_crl "None";
#ssl_verify_client optional;

gzip_min_length 1000;
gzip_buffers 4 8k;
gzip_http_version 1.0;
gzip_disable "msie6";
gzip_types text/plain text/css application/json;
gzip_vary on;

indexindex.html;

location / {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# assicurati che queste intestazioni non vengano inoltrate
proxy_set_header X-Ssl-Client-Dn "";
proxy_set_header X-Ssl-Authenticated "";

client_max_body_size 4096m;
client_body_timeout 1800;

location /static {
alias "/opt/wapt/waptserver/static";
}

location /ssl {
alias "/var/www/ssl";
}

location ~ ^/(wapt/waptsetup-tis.exe|wapt/waptagent.exe|wapt/waptdeploy.exe|sync.json|rules.json)$ {
add_header Cache-Control "store, no-cache, must-revalidate, post-check=0, pre-check=0";
add_header Pragma "no-cache";
root "/var/www";
}

location ~ ^/(wapt/.*|waptwua/.*|wapt-diff-repos/.*)$ {
add_header Cache-Control "store, no-cache, must-revalidate, post-check=0, pre-check=0";
add_header Pragma "no-cache";

root "/var/www";
}

location ~ ^/(wapt-host/.*)$ {
log_not_found off;
add_header Cache-Control "store, no-cache, must-revalidate, post-check=0, pre-check=0";
add_header Pragma "no-cache";

root "/var/www";
}

location / {
add_header Cache-Control "store, no-cache, must-revalidate, post-check=0, pre-check=0";
add_header Pragma "no-cache";
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;

client_max_body_size 4096m;
client_body_timeout 1800;

location /add_host_kerberos {
auth_gss on;
auth_gss_keytab /etc/nginx/http-krb5.keytab;
proxy_pass http://127.0.0.1:8080;
}

location /wapt-host/Packages {
return 403;
}

location / {

add_header X-Forwarded-List $http_x_forwarded_for;
add_header X-Remote-IP $remote_addr;
proxy_pass http://127.0.0.1:8080;
}

location /socket.io {
proxy_http_version 1.1;
proxy_bufferingoff;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "Upgrade";
proxy_pass http://127.0.0.1:8080/socket.io;
}
}
}
}

Pensi che sia necessario ripristinare il file di configurazione predefinito?

GRAZIE

olaplanche · 20 maggio 2021 - 10:49

Ciao e buone notizie (spero), il server non è andato in crash la scorsa notte!!!

Ieri ho implementato i seguenti suggerimenti perché ho "un po'" più di 400 workstation: https://www.wapt.fr/fr/doc/wapt-configu ... index.html

E ho anche riavviato il postconf, accettando di riconfigurare nginx (il che non modifica il mio file /etc/nginx/site-enabled/wapt.conf sopra, ma piuttosto questo /etc/nginx/nginx.conf).

Aspetterò fino a domani prima di contrassegnare questo post come [RISOLTO] se nel frattempo il server non si è bloccato di nuovo.

olaplanche · 21 maggio 2021 - 08:16

Ciao,

il server è ancora attivo dopo le modifiche precedenti

. Contrassegno la discussione come risolta.