Subida masiva de archivos deja de responder

[dlongoni]

Buenos días.

Estamos subiendo grandes cantidades de archivos mediante un servicio y nos encontramos que luego de un tiempo el servidor deja de subir. (Evidentemente luego de llegar a los 4096 archivos).

Parece que los archivos se encuentran abiertos todo el tiempo y luego del límite cae el servidor..

Cómo podríamos llegar a resolver este problema?

Gracias.

[angelborroy]

Creo que la única alternativa es subir el número de archivos abiertos del sistema operativo o al menos subir el número de archivos abiertos para java.

[psantis]

Probaste aumentando el Ulimit del SO, veo que usas Linux. saludos

[cristinamr]

Buenas.

Esto que comentas me ocurrió a mi también hace años y se debió, como comenta Peter , al ULimit.

Échale un vistazo a este hilo: - Error "Too many open files" en Alfresco - zylk 

Un saludo,

Cris.

[cesarista]

Hola:

La configuración de los filehandlers en linux puede ayudar como se comenta, y de hecho aumentar el valor por defecto es una de las recomendaciones de todo sistema documental que maneje o gestione muchos ficheros (o de indices como SOLR o Elastic Search). Esta recomendación esta de hecho en el "Zero Day Configuration Guide" de Alfresco.

Pero eso que comentas puede indicar que vuestro servicio no cierra las conexiones o las subidas correctamente y las mantiene abiertas, y eso es otro tipo de problema.

Saludos.

--C.

[psantis]

garbage collector,  en ocaciones no cierra todas las conecciones y va acumulando recursos de la máquina (carga tras carga) y no los libera lo que proboca acumulación y detención de los servicios finalmente.

[dlongoni]

Lo que estamos experimentando es que por más que hemos subido los valores,las conexiones no se cierran. Estamos viendo los ajustes en el servidor y del servicio que realiza la subida. Tendríamos a ver garbage collector qué es lo que está haciendo..