topic Re: taille des index lucene in Alfresco Archive

taille des index lucene

kaya — Tue, 23 Mar 2010 16:23:05 GMT

Bonjour, Nous avons un problème sur notre application customisée Alfresco : la taille des index lucene sur le disque augmente exponentiellement par moment. Un redémarrage permet toujours de revenir à une taille raisonnable. Cette augmentation d'index créé de gros problèmes de performance sur l'appli

Re: taille des index lucene

jeanjot — Wed, 24 Mar 2010 21:36:50 GMT

Bonsoir

Pour information :
Quelle version d'Alfresco ?
Quelle OS serveur ?
Quelle type de customisation ?

Après peut-être sera-t-il possible de répondre à la question.

Re: taille des index lucene

kaya — Thu, 25 Mar 2010 09:34:15 GMT

Bonjour,

On est sur Alfresco Entreprise 2.1.7 avec Solaris 10

On a ajouté beaucoup de code dessus. Mais le problème ne semble pas venir du code customisé. On a eu autrefois des problèmes d'index dus à des ResultSet Lucene non fermés, mais ils ont été reglés depuis. De plus avec la même utilisation de l'application (150 utilisateurs et 3000 documents injectés tous les jours), certaines périodes se passent plutôt bien, et les index n'augmentent que raisonnablement et proportionnellement aux nouvelles données.

Re: taille des index lucene

kaya — Fri, 26 Mar 2010 14:50:52 GMT

Petit complément,

J'ai trouvé ca sur le wiki Alfresco :

try .. finally pattern

The try..finally pattern above must be followed. If result sets are left unclosed they will hold on to the underlying files in the lucene index. Although merging can go ahead, the files will most likely not be deleted. The number of index directories will rise and no merged index segments will be deleted, so the on disk size will also rise. Restarting will clean up these directories in later versions of Alfresco but if you do not fix the code to follow the required pattern issue will recur.

Nous avons exactement le même symptôme. Les index grossissent jusqu'à redémarrage de l'application. Entre temps on voit que beaucoup (centaines / milliers ) de dossiers ont été créés dans "lucene-index" et qu'ils ne sont pas "mergés" tant qu'on ne redémarre pas l'application.
J'ai bien entendu fait une recherche dans le code de tous mes ResultSet, et tous sont bien dans des try, et il y a toujours un finally qui ferme le ResultSet systématiquement.

Il n'est pas pensable que la version 2.1.7 d'Alfresco contienne un bug de ce genre j'imagine ?
Une autre idée sinon ?
Je ne sais plus où chercher.

Re: taille des index lucene

rguinot — Fri, 26 Mar 2010 16:21:03 GMT

comment vos utilisateurs utilisent l'application ?

un moyen de confirmer que vous avez un problème avec vos indexes est de faire une réindexation complète. si vos indexes diminuent de 90% par exemple après reconstruction, il y a clairement un problème. Avez vous reconstruit vos indexes après avoir détecté des resultsets non fermés dans votre code custom ?

vos indexes sont ils stockés sur un disque local ou sur NFS ?

Re: taille des index lucene

kaya — Mon, 29 Mar 2010 09:36:07 GMT

Nos indexes sont stockés sur des baies de disques dont les vitesses sont normalement meilleures.

Le redémarrage de l'application avec l'index recovery à "AUTO" nous permet déjà de revenir à une taille d'indexes tout à fait normale, il n'est donc pas nécessaire de faire une réindexation complète à priori.

On remarque que lorsque l'injection des documents est en cours, la taille des indexes grossit mais elle redescend au bout de 45 minutes / 1 heure. Elle remonte ensuite lorsque la majorité des utilisateurs sont connectés et effectuent des opérations de consultation, édition des propriétés, validation de workflows etc.

Re: taille des index lucene

joreun — Wed, 04 Apr 2012 10:24:06 GMT

Bonjour Kaya,
Je relance sur un sujet un peu vieux mais qui correspond exactement au problème venant d'apparaitre chez l'un de nos utilisateurs : des index qui occupaient habituellement de l'ordre de 10Go en viennent à monopoliser jusqu'à plus de 80Go sans avoir changé la configuration.
C'est sur une version d'Alfresco <3.3 qui nécessiterait un lourd travail d'upgrade pour passer en 3.4 ou 4.0.
Aviez-vous trouvé une solution dans votre cas ?
Merci.

Re: taille des index lucene

michaelh — Wed, 04 Apr 2012 15:26:54 GMT

Détournement de sujet très ancien => Sujet verrouillé.
Cf https://forums.alfresco.com/fr/viewtopic.php?f=8&t=86