Page 1 sur 1

Serveur WAPT s'arrête de fonctionner

Publié : 20 juin 2018 - 14:56
par Floflobel
Bonjour,

Je possède plusieurs serveurs WAPT, mais en ce moment il y en a un qui par en erreur assez régulièrement.
Un restart du service et il fonctionne de nouveau.

Voici l'erreur:

Code : Tout sélectionner

Jun 20 10:03:20 wapt1 python[20624]: 2018-06-20 10:03:20,140 ERROR Receive error
Jun 20 10:03:20 wapt1 python[20624]: Traceback (most recent call last):
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Jun 20 10:03:20 wapt1 python[20624]:     self.receive(pkt)
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Jun 20 10:03:20 wapt1 python[20624]:     self.send(packet.Packet(packet.PONG, pkt.data))
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Jun 20 10:03:20 wapt1 python[20624]:     raise IOError('Socket is closed')
Jun 20 10:03:20 wapt1 python[20624]: IOError: Socket is closed
Jun 20 10:03:20 wapt1 python[20624]: 2018-06-20 10:03:20,217 ERROR Receive error
Jun 20 10:03:20 wapt1 python[20624]: Traceback (most recent call last):
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Jun 20 10:03:20 wapt1 python[20624]:     self.receive(pkt)
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Jun 20 10:03:20 wapt1 python[20624]:     self.send(packet.Packet(packet.PONG, pkt.data))
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Jun 20 10:03:20 wapt1 python[20624]:     raise IOError('Socket is closed')
Jun 20 10:03:20 wapt1 python[20624]: IOError: Socket is closed
Jun 20 10:03:20 wapt1 python[20624]: 2018-06-20 10:03:20,283 ERROR Receive error
Jun 20 10:03:20 wapt1 python[20624]: Traceback (most recent call last):
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Jun 20 10:03:20 wapt1 python[20624]:     self.receive(pkt)
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Jun 20 10:03:20 wapt1 python[20624]:     self.send(packet.Packet(packet.PONG, pkt.data))
Jun 20 10:03:20 wapt1 python[20624]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Jun 20 10:03:20 wapt1 python[20624]:     raise IOError('Socket is closed')
Jun 20 10:03:20 wapt1 python[20624]: IOError: Socket is closed
Debian GNU/Linux 9 (stretch)
WAPT Server version: 1.5.1.23
WAPT Agent version: 1.5.1.23
WAPT Setup version: 1.5.1.23
WAPT Deploy version: 1.5.1.23
DB status: OK (1.5.1.22)

Re: Serveur WAPT s'arrête de fonctionner

Publié : 30 août 2018 - 11:54
par Floflobel
J'ai augmenté le nombre de connexion à la base de donnée postgres et ça crash moins souvent mais c'est toujours le cas.
Une idée ?

Code : Tout sélectionner

Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,419 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,501 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,587 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,666 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,702 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:04 wapt1 python[454]: 2018-08-28 09:58:04,783 ERROR Receive error
Aug 28 09:58:04 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:04 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:04 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:04 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:04 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:04 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:05 wapt1 python[454]: 2018-08-28 09:58:05,285 ERROR Receive error
Aug 28 09:58:05 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:05 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:05 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:05 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:05 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:05 wapt1 peewee 2018-08-28 09:58:05,289 WARNING SocketIO connection refused for uuid 4C4C4544-0030-5310-8034-B4C04F433932, sid 4fc2093fb33f4abdbffef38ed03d2333: Data too old or in the futur age : 3487s...
Aug 28 09:58:05 wapt1 python[454]: 2018-08-28 09:58:05,289 WARNING SocketIO connection refused for uuid 4C4C4544-0030-5310-8034-B4C04F433932, sid 4fc2093fb33f4abdbffef38ed03d2333: Data too old or in the futur age : 3487s...
Aug 28 09:58:05 wapt1 python[454]: 2018-08-28 09:58:05,290 WARNING Application rejected connection
Aug 28 09:58:05 wapt1 python[454]: 2018-08-28 09:58:05,325 ERROR Receive error
Aug 28 09:58:05 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:05 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:05 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:05 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:05 wapt1 python[454]: IOError: Socket is closed
Aug 28 09:58:05 wapt1 python[454]: 2018-08-28 09:58:05,431 ERROR Receive error
Aug 28 09:58:05 wapt1 python[454]: Traceback (most recent call last):
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 210, in _websocket_handler
Aug 28 09:58:05 wapt1 python[454]:     self.receive(pkt)
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 54, in receive
Aug 28 09:58:05 wapt1 python[454]:     self.send(packet.Packet(packet.PONG, pkt.data))
Aug 28 09:58:05 wapt1 python[454]:   File "/opt/wapt/lib/python2.7/site-packages/engineio/socket.py", line 68, in send
Aug 28 09:58:05 wapt1 python[454]:     raise IOError('Socket is closed')
Aug 28 09:58:05 wapt1 python[454]: IOError: Socket is closed

Re: Serveur WAPT s'arrête de fonctionner

Publié : 18 sept. 2018 - 14:26
par Floflobel
up ?

Re: Serveur WAPT s'arrête de fonctionner

Publié : 18 sept. 2018 - 15:20
par htouvet
Bonjour,
Il y a eu un certain nombre de correctifs sur waptserver et mises à jour de modules python qui peuvent arranger les choses dans les versions 1.5.1.26 et 1.6.2 de Wapt.

Les modules websockets client et serveur de python sont assez jeunes et évoluent encore beaucoup .
Par ailleurs, la gestion du pool de connections base de données a subi des changements (module peewee, gestion transactions) pour mieux réutiliser les connections.

Dans un premier temps, si votre serveur est en 1.5.1.23, pouvez vous l'upgrader en 1.5.1.26 ? Les modifs sur la 1.5.1.26 ont été motivées par des retours d'expérience de déploiements chez un client avec plusieurs grands sites.

(version 1.6.2.5 dispo dans les builds nightly https://wapt.tranquil.it/wapt/nightly/w ... 601e0-rc2/)

Re: Serveur WAPT s'arrête de fonctionner

Publié : 18 sept. 2018 - 16:24
par Floflobel
Bonjour htouvet,

Merci pour votre retour. J'ai bien upgrade en version 1.5.1.26 pour essayer de résoudre le bug depuis le temps. Malheureusement le problème est toujours présent. La version nightly n'est pas une version stable et je ne me risquerais pas à l'installer sur un site de prod.
Je vais tenter de clone le serveur et de voir si le problème se produit sur le clone et tenter de mettre à jour.

Merci pour votre retour.

Re: Serveur WAPT s'arrête de fonctionner

Publié : 21 sept. 2018 - 19:05
par dcardon
Bonjour Floflobel,
Floflobel a écrit : 18 sept. 2018 - 16:24 Merci pour votre retour. J'ai bien upgrade en version 1.5.1.26 pour essayer de résoudre le bug depuis le temps. Malheureusement le problème est toujours présent. La version nightly n'est pas une version stable et je ne me risquerais pas à l'installer sur un site de prod.
Je vais tenter de clone le serveur et de voir si le problème se produit sur le clone et tenter de mettre à jour.
Hubert est la personne qui connaît le le mieux le code de WAPT. Si il vous suggère d'essayer voir si vous arrivez à reproduire votre bug avec la version 1.6.2.5, c'est qu'il y a de bonne raison. Si vous ne voulez pas essayer de reproduire votre bug, je clôture donc ce thread pour l'instant. La version 1.6 devrait sortir sous peu.

Cordialement,

Denis

Re: [RESOLU] Serveur WAPT s'arrête de fonctionner

Publié : 21 sept. 2018 - 19:24
par Floflobel
Bonjour Denis,

Je pense que je me suis peut être mal expliqué. Je vais tester avec cette version si le bug se reproduit, malheureusement je ne veux pas la mettre sur mon site en prod. Je vais donc cloner cette machine avec les mêmes données et voir si le problème se reproduit, puis je vais tenter la mise à jour vers la version nightly.

Cordialement,

Re: [RESOLU] Serveur WAPT s'arrête de fonctionner

Publié : 22 oct. 2018 - 17:23
par Floflobel
Bonjour,

Le problème est encore présent aujourd'hui. J'ai effectué la mise à jour vers la 1.6.2.7.
J'attends un autre crash pour vous mettre plus de logs.

Cordialement,

Re: [RESOLU] Serveur WAPT s'arrête de fonctionner

Publié : 20 nov. 2018 - 15:10
par Floflobel
Bonjour,

Aucun log qui me fait penser à une erreur. Pouvez-vous m'aiguillez pour résoudre ce problème qui est maintenant présent sur plusieurs serveur WAPT.

Le problème est que l'interface web n'est plus accessible et elle revient par intermittence. Le service est toujours en cours d'exécution.

A l'heure du crash :

Code : Tout sélectionner

Nov 20 13:02:54 wapt1 python[519]: 2018-11-20 13:02:54,669 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:04:56 wapt1 peewee 2018-11-20 13:04:56,970 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:04:56 wapt1 python[519]: 2018-11-20 13:04:56,970 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:06:57 wapt1 peewee 2018-11-20 13:06:57,386 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:06:57 wapt1 python[519]: 2018-11-20 13:06:57,386 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:08:57 wapt1 peewee 2018-11-20 13:08:57,690 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:08:57 wapt1 python[519]: 2018-11-20 13:08:57,690 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:10:58 wapt1 peewee 2018-11-20 13:10:58,016 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:10:58 wapt1 python[519]: 2018-11-20 13:10:58,016 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:15:00 wapt1 peewee 2018-11-20 13:15:00,665 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:15:00 wapt1 python[519]: 2018-11-20 13:15:00,665 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:15:29 wapt1 peewee 2018-11-20 13:15:29,709 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)
Nov 20 13:15:29 wapt1 python[519]: 2018-11-20 13:15:29,709 CRITICAL Get_websocket_auth_token failed EWaptAuthenticationFailure(u'Unknown host UUID ec7654f1-5a25-xxxx-xxxx-xxxxxxxxxx. Please register first.',)


Merci

Re: Serveur WAPT s'arrête de fonctionner

Publié : 10 déc. 2018 - 17:06
par Floflobel
Je up le sujet le problème est toujours d'actualité et je n'ai pas beaucoup de piste ...
WAPT Server version: 1.6.2.7