[RISOLTO] La copia di file di grandi dimensioni sulla rete si interrompe

[d3sys]

Salve, abbiamo provato a creare un pacchetto per una suite di software aziendale, simile alla suite Adobe. Il problema che abbiamo riscontrato è che l'installazione è molto grande, quindi per gestire eventuali aggiornamenti o correzioni di bug, abbiamo dovuto installare tutto su un NAS (tramite una condivisione di rete SMB3).
Il problema attuale è che l'installazione fallisce perché la cartella non viene mai copiata completamente nella posizione del computer client. Abbiamo provato a usare Copytree e filecopy2 senza successo. Solo `run_powershell copy-item` sembra funzionare meglio, ma non è così (a volte Wapt salta completamente la riga di comando e non copia nulla).

Wapt: 1.8.1
WaptServer: Debian 10
ConsoleWapt: Windows 10

[vcardon]

Salve, abbiamo provato a creare un pacchetto per una suite di software aziendale, simile alla suite Adobe. Il problema che abbiamo riscontrato è che l'installazione è molto grande.

Il pacchetto più grande che conosciamo è un Labview della National Instruments con molti moduli, circa 70 GB, distribuito utilizzando il metodo classico tramite download dal web.

Sconsiglio di distribuire i pacchetti tramite SMB (vedere https://www.wapt.fr/fr/doc/wapt-common- ... takes.html), è brutto.

Non c'è motivo per cui non dovresti poterlo fare. Controlla i log del tuo server web per scoprire perché si blocca; deve esserci una limitazione tecnica da qualche parte che dovrai modificare.

Sinceramente.

Vincenzo

[d3sys]

Sconsiglio la distribuzione dei pacchetti tramite SMB (vedi https://www.wapt.fr/fr/doc/wapt-common- ... takes.html), è una soluzione poco elegante.

Cordiali saluti,

Vincent

Grazie per il link, ma l'avevo già letto. Il problema è che la documentazione, pur essendo ben scritta e ben congegnata, è molto breve e piuttosto concisa quando si tratta della creazione di pacchetti. La maggior parte delle funzioni spiegate riguarda la manipolazione dei file, e cosa potrebbe essere più semplice di SMB per questo?.

- Ora, questo significa che dobbiamo installare un server web sul server WAPT. La domanda è: come possiamo codificare in modo pulito il tutto per trasferire un'intera cartella (circa 80 GB) dopo l'installazione nella cartella della nostra app, e poi lanciare le patch da applicare in base alle esigenze dell'utente?
- La documentazione (a meno che non mi sia sfuggita) non si sofferma molto sullo scambio di file tramite WebServer, non sappiamo se sia una buona idea avviare un server Web sul server WAPT.
- WAPT gestisce il ripristino in caso di errore di connessione HTTP/FTP?

[sfontenau]

- Ora questo significa che dobbiamo installare un server web nel server WAPT.

Wapt è già un server web che ospita i pacchetti Wapt. Non è necessario installare altro.

La domanda è: come programmare correttamente il trasferimento di un'intera cartella (circa 80 GB) dopo l'installazione nella cartella della nostra app, e quindi avviare le patch da applicare in base all'utente?
- La documentazione (a meno che non mi sia sfuggita) non entrava molto nei dettagli sullo scambio di file tramite WebServer; non sappiamo se sia una buona idea eseguire un server web sul server WAPT.

Devi solo inserire la cartella nel tuo pacchetto

Codice: Seleziona tutto

c:\waptdev\tis-copyfile

Quindi nel pacchetto:

Codice: Seleziona tutto

def install():
    copytree2('sources','C:\\projet')

https://doc.tranquil.it/wapt/fr/doc/wap ... -directory

Per il codice all'interno della sessione utente:

https://doc.tranquil.it/wapt/fr/doc/wap ... index.html

- WAPT gestisce il ripristino in caso di errore di connessione HTTP/FTP?

Sì, assolutamente

[d3sys]

Wapt è già un server web che ospita i pacchetti Wapt. Non è necessario installare altro.

Devi solo inserire la cartella nel tuo pacchetto

Codice: Seleziona tutto

c:\waptdev\tis-copyfile

Quindi nel pacchetto:

Questo è esattamente ciò che vogliamo evitare. Ci sono volute quasi 24 ore per inviare un pacchetto da 5 GB, e per quanto riguarda la modifica, beh, non fatemi nemmeno iniziare. Immaginate l'urgenza di correggere un errore di programmazione mentre ci vuole per scaricare di nuovo il file prima e dopo la modifica! Ecco perché abbiamo optato per la condivisione dei file, il che significa che i pacchetti sono molto più piccoli (in kilobyte!) e non ci sono lunghi trasferimenti per una singola modifica del codice.
A meno che non lo facciamo davvero male (a proposito, siamo programmatori ma non in Python) Quindi stiamo ancora imparando! Cosa che capirei benissimo... quindi chiedo chiarimenti, la nostra comprensione sta venendo meno...
Abbiamo un altro problema con questo metodo: durante l'installazione, le sottocartelle sembrano non essere prese in considerazione. Quindi vorrei tornare a un metodo più pratico (più pulito) ) ma che funziona efficacemente da subito. Quindi, dov'è il nostro errore?

[vcardon]

https://www.wapt.fr/fr/doc/wapt-common- ... repository ?

+

https://winscp.net/eng/docs/task_synchronize

risolverà il tuo problema.

Cordiali saluti,

Vincent

[sfontenau]

È proprio quello che vogliamo evitare. Ci sono volute quasi 24 ore per inviare un pacchetto da 5 GB
e, per quanto riguarda le modifiche, beh, lasciamo perdere. Immaginate l'urgente necessità di correggere un errore di programmazione mentre ci vuole tempo per scaricarlo di nuovo prima e dopo la modifica? Ecco perché abbiamo optato per la condivisione di file e, di conseguenza, i pacchetti sono molto più piccoli (in kilobyte!) e non ci sono trasferimenti lunghissimi solo per una singola modifica del codice.

24 ore. Non è proprio così Veramente Non è normale, il server è nel cloud o sulla stessa rete locale?

Abbiamo un altro problema con questo metodo: durante l'installazione, le sottocartelle non sembrano essere prese in considerazione.

Ho appena fatto un test con copytree2('sources','C:\\projet')

Le sottocartelle vengono copiate correttamente

In parole povere, utilizziamo il metodo "tutto nel pacchetto" proprio per evitare problemi durante l'installazione. Errori di copia, timeout, indisponibilità della rete, ecc.

C'è anche un aspetto di sicurezza: se tutto è nel pacchetto, allora tutto è firmato; se non è nel pacchetto, allora wapt non può garantire l'integrità dei file poiché non sono nel manifesto del pacchetto.

Per me, dobbiamo verificare perché il caricamento è così lento! È un problema di larghezza di banda o qualcos'altro?

[d3sys]

https://www.wapt.fr/fr/doc/wapt-common- ... repository ?

+

https://winscp.net/eng/docs/task_synchronize

risolverà il tuo problema.

Cordiali saluti,

Vincent

Grazie per il promemoria. Non volendo sembrare sgradevole o troppo testardo, sono tornato con il mio team con intenzioni migliori... per ricominciare tutto da capo con queste preziose informazioni...

Utilizzando WinSCP, carica il tuo pacchetto nella directory /var/www/html/wapt/ sul tuo server Linux.

Una volta completato il trasferimento, devi rigenerare il file Packages nel tuo repository:

wapt-scanpackages /var/www/wapt/

Carichiamo/sincronizziamo in www/html/wapt quindi eseguiamo la scansione dei pacchetti contenuti in www/wapt/ Si tratta di un errore?

24h Questo non è affatto normale

Questo è quello che ci siamo detti... Ma a parte il sovraccarico del server (in media 100 utenti simultanei), non vedo cosa possa causare questo problema, da qui la decisione di decentralizzare.

Il server è nel cloud o sulla stessa rete locale?

Il server è una VM Proxmox su una rete locale Gigabit.

Tuttavia, la soluzione fornita, sebbene risolva il problema di caricamento dopo la compilazione, non risolve completamente il problema di download per la modifica.
Lasciatemi spiegare:
- Capisco che i file sono sempre locali e sincronizzati sul server.
- Ma
1- Ogni volta che lo scripter viene modificato o avviato, viene aperta l'ultima configurazione utilizzata, anche se il pacchetto in fase di modifica viene cambiato
2- La versione del pacchetto in controllo deve quindi essere aggiornata manualmente (questo deve essere specificato nella documentazione)
Quindi, due facili fonti di errore... errare è umano.
Non avete un modo per automatizzare questo processo per i pacchetti di grandi dimensioni che devono essere integrati/sincronizzati esternamente? (Nooo, non siamo pigri!) solo informatici in una stanza che ricorda una tomba egizia con una moltitudine di spade di Damocle appena sopra i nostri 3 cm di capelli... (e il tempo è contro di noi...)

[florentR2]

Se ho capito bene, potrebbe esserti utile dividere il tuo pacchetto in due parti.
Da una parte, i file "pesanti", e dall'altra, gli script o i file di configurazione che devi modificare frequentemente.
Quindi, rendi il pacchetto con i file pesanti una dipendenza.

In questo modo, potrai modificare rapidamente il pacchetto contenente gli script e i file di configurazione, e risolverai anche il problema dell'incremento automatico del numero di sottoversione.

[vcardon]

E metti il ​​pacchetto con i file di grandi dimensioni come dipendenza.

Ottima idea, non ci avevo pensato. Sì, è proprio quello che bisogna fare.

Vincenzo