topic Re: Temps de traitement d'import de données croissant in Alfresco Archive

Temps de traitement d'import de données croissant

yanock — Thu, 08 Jul 2010 14:39:14 GMT

Bonjour,Je suis actuellement en train d'effectuer une reprise de donné dans mon entreprise. (Sur Alfresco 3.3g)J'ai fait plusieurs jeux de testsMes temps de traitements explosent en fonction du nombre de documents présent dans Alfresco.Je m'expliqueour un nombre de documents présent dans Alfresco

Re: Temps de traitement d'import de données croissant

rguinot — Thu, 08 Jul 2010 15:19:19 GMT

L'erreur que vous rencontrez signifie que trop de temps est passé en GC (parallelGC http://java.sun.com/javase/technologies/hotspot/gc/gc_tuning_6.html#par_gc.oom) , plusieurs causes possibles : new gen mal taillée, code custom avec des leaks,…

plusieurs choses sans doute :

- mauvaise configuration de la JVM
- mauvais paramètrage de l'OS
- mauvaise gestion de lots de transaction

D'autre part, si cela est possible (je ne connais pas votre contexte, infrastructure, architecture de reprise de données, sources de données legacy), la "Foundation API" vous permettra d'aller plus vite : http://wiki.alfresco.com/wiki/Java_Foundation_API

Re: Temps de traitement d'import de données croissant

rivarola — Fri, 09 Jul 2010 07:44:33 GMT

Es ce qu'un folder est limité en nombre de fichier, répertoire?

La réponse est non, mais cependant les interfaces natives d'Alfresco ne sont pas les plus adaptées à ces configurations. De plus certaines opérations seront plus lentes si de très nombreux espaces sont présents (recherches avec clause PATH par exemple), voir carrément à proscrire (requêtes XPath).

Re: Temps de traitement d'import de données croissant

yanock — Tue, 27 Jul 2010 09:50:27 GMT

Bonjour,

auriez vous d'autres documentation concernant Java_Foundation_API car je ne trouve pas assez d'informations pour effectuer une reprise de données ou alors peut être avez vous une autre façon de faire?

Il est dommage que CMIS ralentisse pour un paquet plus important de données car cette méthode était vraiment simple à mettre en place et collait parfaitement à ce que je veux faire.

Cordialement.

Re: Temps de traitement d'import de données croissant

yanock — Wed, 25 Aug 2010 09:34:46 GMT

Bonjour, j'amène quelques précisions avec des graphiques :

http://www.imagup.com/pics/1282728058.html

http://www.imagup.com/pics/1282728151.html

Ceci est un import de 55000 fichiers avec métadonnées fait en à peu près 16 heures. On peut remarque qu'après 20 000 documents les temps commencent à exploser et je ne comprends pas pourquoi.

Je mets à disposition mon fichier excel regroupant mes temps : http://dl.free.fr/rjGo8RMWm

J'aimerai avoir une explication et peut être une solution car pour ma reprise de données, j'ai environ 1 million de documents et avec cette évolution de temps, cela risque de prendre une éternité.

En espérant que quelqu'un puisse m'aider.

Re: Temps de traitement d'import de données croissant

rivarola — Wed, 25 Aug 2010 10:23:30 GMT

Je pense qu'il faudrait essayer d'identifier précisément quelle opération voit son temps de traitement se dégrader : est-ce la recherche de l'emplacement où mettre le fichier, l'ajout du fichier, la configuration des métadonnées ?
Ensuite, si personne ne fournit la solution sur ce forums, il faudrait créer un ticket pour soumettre le problème à Alfresco : https://issues.alfresco.com