[RESUELTO] La copia de archivos grandes a través de la red se detiene

[d3sys]

Hola, intentamos crear un paquete para una suite de software empresarial, similar a la suite de Adobe. El problema que encontramos es que la instalación es muy grande, por lo que para gestionar las actualizaciones o correcciones de errores, tuvimos que colocar todo en un NAS (a través de un recurso compartido de red SMB3).
El problema actual es que la instalación falla porque la carpeta nunca se copia completamente a la ubicación del equipo cliente. Intentamos usar Copytree y filecopy2 sin éxito. Solo `run_powershell copy-item` parece funcionar mejor, pero no lo hace (a veces Wapt omite por completo la línea de comandos y no copia nada).

Wapt: 1.8.1
WaptServer: Debian 10
ConsoleWapt: Windows 10

[vcardón]

Hola, intentamos crear un paquete para una suite de software empresarial, algo parecido a la suite de Adobe. El problema que encontramos es que la instalación es muy grande.

El paquete más grande que conocemos es un Labview de National Instruments con muchos módulos, alrededor de 70 GB, distribuido mediante el método clásico a través de una descarga web.

Te aconsejo no distribuir tus paquetes vía SMB (ver https://www.wapt.fr/fr/doc/wapt-common- ... toma.html), es feo.

No hay ninguna razón por la que no puedas hacerlo. Revisa los registros de tu servidor web para ver por qué se bloquea; seguramente tengas alguna limitación técnica que debas solucionar.

Atentamente.

Vicente

[d3sys]

Desaconsejo distribuir los paquetes mediante SMB (ver https://www.wapt.fr/fr/doc/wapt-common- ... takes.html), es una mala práctica.

Saludos,

Vincent

Gracias por el enlace, pero ya lo había leído. El problema es que la documentación, aunque bien escrita y bien pensada, es muy breve y bastante corta en cuanto a la creación de paquetes. La mayoría de las funciones explicadas se refieren a la manipulación de archivos, y ¿qué podría ser más sencillo que SMB para ello?.

Esto significa que necesitamos instalar un servidor web en el servidor WAPT. La pregunta es: ¿cómo podemos codificarlo correctamente para transferir una carpeta completa (aproximadamente 80 GB) a la carpeta de nuestra aplicación después de la instalación y luego ejecutar los parches que se aplicarán según las necesidades del usuario?
- La documentación (a menos que me la haya perdido) no se centró mucho en los intercambios de archivos a través de WebServer, no sabemos si es una buena idea lanzar un servidor web en el servidor WAPT.
- ¿WAPT maneja la recuperación en caso de una falla de conexión HTTP/FTP?

[Sfonteneau]

- Ahora esto significa que necesitamos instalar un servidor web en el servidor WAPT.

Wapt ya es un servidor web que aloja paquetes Wapt. No necesitas instalar nada más.

La pregunta es: ¿cómo codificar correctamente esto para transferir una carpeta completa (aprox. 80 GB) después de la instalación a la carpeta de nuestra aplicación y luego lanzar los parches que se aplicarán según el usuario?
- La documentación (a menos que la haya pasado por alto) no entró en muchos detalles sobre el intercambio de archivos a través de WebServer; no sabemos si es una buena idea ejecutar un servidor web en el servidor WAPT.

Solo necesitas colocar la carpeta en tu paquete

Código: Seleccionar todo

c:\waptdev\tis-copyfile

Luego en el paquete:

Código: Seleccionar todo

def install():
    copytree2('sources','C:\\projet')

https://doc.tranquil.it/wapt/fr/doc/wap ... -directorio

Para el código dentro de la sesión de usuario:

https://doc.tranquil.it/wapt/fr/doc/wap ... index.html

- ¿WAPT gestiona la recuperación en caso de un fallo de conexión HTTP/FTP?

Sí, absolutamente

[d3sys]

Wapt ya es un servidor web que aloja paquetes Wapt. No necesitas instalar nada más.

Solo necesitas colocar la carpeta en tu paquete

Código: Seleccionar todo

c:\waptdev\tis-copyfile

Luego en el paquete:

Eso es precisamente lo que queremos evitar. Tardamos casi 24 horas en enviar un paquete de 5 GB, y en cuanto a la edición, bueno, ni hablar. ¡Imagínense la urgencia de corregir un error de programación mientras se descarga el archivo de nuevo antes y después de editarlo! Por eso optamos por compartir archivos, lo que significa que los paquetes son mucho más pequeños (¡en kilobytes!) y no hay largas transferencias para una sola modificación de código.
A menos que lo hagamos realmente mal (por cierto, somos programadores pero no en Python) ¡Así que seguimos aprendiendo! Lo cual comprendería de verdad... así que pido aclaración, nuestra comprensión está fallando...
Tenemos otro problema con este método: durante la instalación, parece que no se tienen en cuenta las subcarpetas. Por eso, me gustaría volver a un método más práctico (más limpio) ) pero que funciona eficazmente de inmediato. Entonces, ¿dónde está nuestro error?

[vcardón]

¿https://www.wapt.fr/fr/doc/wapt-common- ... repositorio ?

+

https://winscp.net/eng/docs/task_synchronize

resolverá su problema.

Saludos,

Vincent

[Sfonteneau]

Eso es precisamente lo que queremos evitar. Tardamos casi 24 horas en enviar un paquete de 5 GB
, y en cuanto a la edición, bueno, ni me lo menciones. ¿Te imaginas la necesidad urgente de corregir un error de programación mientras se descarga de nuevo antes y después de editarlo? Por eso optamos por compartir archivos, y como resultado, los paquetes son mucho más pequeños (¡en kilobytes!) y no hay transferencias largas solo para una única modificación de código.

24 horas. Realmente no lo es En realidad Eso no es normal, ¿el servidor está en la nube o en la misma red local?

Tenemos otro problema con este método: durante la instalación, las subcarpetas no parecen tenerse en cuenta.

Acabo de hacer una prueba con copytree2('sources','C:\\projet')

Las subcarpetas se copian correctamente

En resumen, utilizamos el método "todo incluido en el paquete" precisamente para evitar problemas durante la instalación: errores de copia, tiempos de espera, indisponibilidad de la red, etc.

También hay un aspecto de seguridad; si todo está en el paquete, entonces todo está firmado; si no está en el paquete, entonces wapt no puede garantizar la integridad de los archivos ya que no están en el manifiesto del paquete.

En mi caso, necesitamos comprobar por qué la subida es tan lenta. ¿Será un problema de ancho de banda o algo más?

[d3sys]

https://www.wapt.fr/fr/doc/wapt-common- ... repositorio ?

+

https://winscp.net/eng/docs/task_synchronize

resolverá su problema.

Saludos,

Vincent

Gracias por el recordatorio. Para no parecer desagradable ni demasiado terco, volví con mi equipo con mejores intenciones... para empezar de cero con esta valiosa información...

Usando WinSCP, suba su paquete al directorio /var/www/html/wapt/ en su servidor Linux.

Una vez completada la transferencia, debe regenerar el archivo Packages en su repositorio:

wapt-scanpackages /var/www/wapt/

Subimos/sincronizamos en www/html/wapt Luego escaneamos los paquetes contenidos en www/espera/ ¿Es esto un error?

(24 h) Esto realmente no es normal.

Eso es lo que nos dijimos... Pero aparte de la sobrecarga del servidor (100 usuarios simultáneos en promedio), no veo qué podría causar esto, de ahí la decisión de descentralización.

El servidor está en la nube o en la misma red local?

El servidor es una VM Proxmox en una red local gigabit.

Pero la solución dada, si bien corrige el problema de carga después de la compilación, no resuelve por completo el problema de descarga para editar.
Déjame explicarte:
- Entiendo que los archivos siempre son locales y sincronizados en el servidor.
- pero
1- Cada vez que se edita o se inicia el scripter, se abre la última configuración utilizada incluso si se modifica el paquete que se está editando
2- Por lo tanto, la versión del paquete bajo control debe actualizarse manualmente (esto debe especificarse en la documentación)
Así que, hay dos fuentes fáciles de error... errar es humano.
¿No tienes forma de automatizar este proceso para paquetes grandes que necesitan integrarse o sincronizarse externamente? (¡No, no somos perezosos!) Sólo científicos informáticos en una habitación que parece una tumba egipcia con una multitud de espadas de Damocles justo por encima de nuestros 3 cm de cabello... (y el tiempo está en nuestra contra...)

[florentR2]

Si lo he entendido bien, lo que podría ayudarte sería dividir tu paquete en dos partes.
Por un lado, los archivos más pesados, y por otro, los scripts o archivos de configuración que necesitas modificar con frecuencia.
Luego, haz que el paquete con los archivos pesados ​​sea una dependencia.

De esta forma, podrás editar rápidamente el paquete que contiene los scripts y archivos de configuración, y además se solucionará el problema del incremento automático del número de Subversion.

[vcardón]

Y coloca el paquete con los archivos grandes como dependencia.

Excelente idea, no lo había pensado. Sí, eso es lo que hay que hacer.

Vicente