topic Re: Y a t-il possibilité de réalisé une optimisation... in Alfresco Archive

Y a t-il possibilité de réalisé une optimisation...

florent_j — Fri, 18 Aug 2006 08:34:30 GMT

Bonjour,Y a t-il possibilité de réalisé une optimisation des indexes a postériori. Je m'explique:- pouvoir réalisé une indexation de l'emsemble des documents présents dans alfresco (les réindexé) en fonction des indexes déja réalisés. (ainsi si un mot n'était pas considéré comme assez important pour

Re: Y a t-il possibilité de réalisé une optimisation...

michaelh — Fri, 18 Aug 2006 13:51:03 GMT

Bonjour,

Il n'y a pas de notion d'optimisation : un document est indexé, ou pas.
Le fonctionnement est détaillé ici :
http://wiki.alfresco.com/wiki/Index_Version_1
http://wiki.alfresco.com/wiki/Index_Version_2
Et les limites là :
http://wiki.alfresco.com/wiki/Lucene_Extensions_and_Issues

Le site de référence restant celui de Lucene : http://lucene.apache.org/java/docs/

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Mon, 21 Aug 2006 16:27:53 GMT

Je n'ai pas compris l'optimisation de Florent, mais j'ai pu localiser la version de Lucene pour le Français. Cela permet entre autre d'élargir le champs de la recherche (ex : continu, continua, continueront, continuez, continuité etc… sont considérés commes équivalents) et de ne pas indexer les mots "vide" de sens (ex : les articles, Mes, comme etc…)

Si cela interresse des gens, je peux faire une procédure et fournir le jar.

Re: Y a t-il possibilité de réalisé une optimisation...

michaelh — Mon, 21 Aug 2006 17:15:32 GMT

Bonjour,

Toute procédure, documentation, ou amélioration est bienvenue !
On peut peut être envisager d'ajouter la contribution au projet "pack français" dans une certaine mesure, ou en tout cas de la placer sur la forge Alfresco.

Re: Y a t-il possibilité de réalisé une optimisation...

florent_j — Tue, 22 Aug 2006 12:40:38 GMT

Bonjour,

Personnellement cette idée de version de lucene pour le français m'inréresse beaucoup, si cela peut améliorer l'indexation. Peut tu nous donner le lien vers la procedure et le .jar, quand cela cera réalisé.

NB: Cette version de lucene incorpore l'anglais et le francais, ou est spécialisé uniquement pour le francais?

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Wed, 23 Aug 2006 08:24:04 GMT

En fait, j'ai juste intégré le pack FR de Lucene 2.0 (et les autres langues) dans un jar à intégrer à Alfresco, et il y a un fichier .XML d'alfresco à modifier pour utiliser la version francisé de Lucene.
Le problème et que pour l'instant Lucene et Alfresco ne savent pas détecter la langue du document à indexer, donc on est soit en FR soit en Anglais.
je pars en vacances à la fin de la semaine, et j'ai pas mal de choses à boucler avant, mais je vais essayer de caser ca aujourd'hui vite fait, de toute facon, ce n'est pas très compliqué…

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Wed, 23 Aug 2006 08:41:15 GMT

Je ne vais pas avoir le temps de faire ca bien (source forge, wiki etc…) cette semaine, mais je pourrais le faire à mon retour de vacances sinon.
En attendant, je peux envoyer à quelqu'un une archive contenant le jar, un fichier txt de procédure et un fichier doc de synthèse du résultat de mes tests unitaires pour la localisation de Lucene dans Alfresco.

Re: Y a t-il possibilité de réalisé une optimisation...

florent_j — Wed, 23 Aug 2006 15:13:37 GMT

Salut sam,

D'abord je souhaiterais te remercier pour ta contribution.

Ensuite je souhaiterais savoir :

- si il est possible d'utiliser une indexation de lucène à la fois en francais et en anglais (j'ai besoin d'indexer des documents francais & anglais… le chinois ca sera pour plus tard… lol)

- connais tu l'apport bénéfique qu'a la version francaise par rapport à la version anglaise, sachant que la version anglaise indexais relativement bien les documents francais.

Merci encore

Re: Y a t-il possibilité de réalisé une optimisation...

dschmalz — Wed, 23 Aug 2006 15:49:42 GMT

- si il est possible d'utiliser une indexation de lucène à la fois en francais et en anglais (j'ai besoin d'indexer des documents francais & anglais… le chinois ca sera pour plus tard… lol)

- connais tu l'apport bénéfique qu'a la version francaise par rapport à la version anglaise, sachant que la version anglaise indexais relativement bien les documents francais.

A l'heure actuelle, Alfresco indexe les documents selon le "Locale" enregistré sur le depôt de document. Par défaut il s'agit de en_US et donc les analyseurs Lucene spécifiques à l'anglais sont utilisés. Ceci implique une indexation sous-optimale pour les langues autres que l'anglais, puisque, par exemple, les mots fréquents ("stop words", tels que "les", "un", etc.) sont indexés alors qu'avec l'analyseur français, ces mots seraient ignorés.

Pour supporter une autre langue, il faudrait modifier l'indexeur et l'analyseur pour qu'ils prennent en compte la langue configurée (de manière globale) dans Alfresco. Je ne suis pas sûr que ce soit accessible pour l'instant au point de vue de la configuration.

Ensuite, il est souvent nécessaire de mélanger des documents dans des langues différentes et ceci rend le problème plus complexe. Il faudrait modifier l'indexeur et l'analyseur pour:

1) détecter la langue du document courant. Il existe plusieurs composants Open Source qui effectuent cette détection.
2) passer l'analyse et l'indexation aux implémentations spécifiques à la langue détectée.

Il faudrait également savoir dans quelle langue (i.e. quel index) effectuer les recherches. Ceci pourrait se faire en ajoutant un "Aspect" "Internationalizable" appliqué automatiquement à tout document lors de son importation puis utilisé pour filtrer les recherches dans une langue spécifique.

David

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Thu, 24 Aug 2006 08:34:08 GMT

Voici le lien pour telecharger l'archive :
http://www.box.net/public/t96pamda79
(Edit : le fichier jar était mal formé, je viens d'uploader une nouvelle archive)

Comme je l'ai dit précédemment, je n'ai pas fait grand chose… j'ai juste récupéré dans lucene-contrib les différentes localisations de Lucene, et j'ai recompilé le tout dans un jar.

L'archive contient :

la procédure

le .jar qui inclut les Analyzer des différentes langues dont le français bien sûre.

Un fichier .doc contenant le résultat des tests unitaires effectués (via l'API webservices). Cela donne une idée de l'apport de la localisation de Lucene.
Attention, pour que la lemmisation (obtention de la racine des mots) fonctionne dans le client Web, il faut mettre les mots clefs entre guillemet (") . Normalement, l'équipe d'Alfresco va améliorer la recherche, en ajoutant automatiquement les " et en enlevant les caractères joker '*' ajouté à la fin de chaque requête.

Le fichier dataTypeAnalyzers_fr_FR.properties qui indique à Alfresco quel Analyzer utiliser.

Je pensais qu'Alfresco choisissait l'Analyser en fonction de la langue du client, mais selon les dires de David cela serait plutôt en fonction du

"Locale" enregistré sur le depôt de document.

. Je n'ai pas eu le temps de tester…

C'est vrai que cela serait vraiment génial de détecter la langue du document et de choisir l'analyser approprié lors de l'indexation ! Par contre cela doit être plus difficile de détecter la langue de la requête… Enfin bon, je pense que cela vaut le coup de s'y pencher.

Voila, c'est tout ce que je peux faire pour l'instant (c'est bientôt les vacances 😉 mais je pense qu'on peut faire mieux 🙂

Re: Y a t-il possibilité de réalisé une optimisation...

michaelh — Thu, 24 Aug 2006 08:42:59 GMT

Pour ma part, je pense que créer une entrée dans JIRA (le gestionnaire de bugs d'Alfresco) est une bonne façon de commencer (et avoir leur avis)

Je fais ca ce matin …

Re: Y a t-il possibilité de réalisé une optimisation...

dschmalz — Thu, 24 Aug 2006 08:55:10 GMT

Je pensais qu'Alfresco choisissait l'Analyser en fonction de la langue du client, mais selon les dires de David cela serait plutôt en fonction du
"Locale" enregistré sur le depôt de document.

Je pense qu'Alfresco n'a pas le choix puisque la langue de l'utilisateur n'est pas toujours disponible (ex. avec WebDAV et FTP). Donc, il doit s'agir d'une configuration globale (malheureusement… :/).

Merci sam pour ta contribution , j'essaierai de fairesquelques tests de detection de langue. Il est vrai que pour les requetes, ca va etre difficile. Cependant, si l'aspect d'internationalisation a ete correctement applique lors de l'importation, il doit etre possible de ne recherche que dans les documents d'une certaine langue, et donc d'utiliser les bons indexeurs et analyseurs.

David

Re: Y a t-il possibilité de réalisé une optimisation...

michaelh — Tue, 29 Aug 2006 17:54:30 GMT

Quelques informations supplémentaires, liées à la roadmap. Dans une version future Alfresco devrait :

- Assurer une détection automatique de la "locale" en fonction du contenu
- Appeler le bon analyseur en fonction de cette détection (sachant qu'on aura une seule locale par fichier unique)

Pas d'informations sur la recherche pour le moment, mais j'ai bon espoir

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Tue, 10 Oct 2006 12:14:59 GMT

Je viens d'uploader une nouvelle archive car le .jar avait un répertoire de trop.
Je ne sais pas si quelqu'un avait testé, mais cela faisait une erreur de 'Class not found' au démarrage…
Voici la nouvelle adresse pour le telecharger :
http://www.box.net/public/t96pamda79

Cela fonctionne bien, mais je ne ne sais pas comment l'intégrer en <custom-config> dans Alfresco.
Cf. http://wiki.alfresco.com/wiki/Repository_Configuration#Location_of_Extension_Configuration_Files
Car pour l'instant, la procédure d'install oblige à modifier le fichier alfresco.war.

Si quelqu'un a une idée, cela serait bien. Ensuite, je pourrais le poster sur forge.alfresco.com.

Voici ma procédure, si quelqu'un a une meilleur idée…

Procédure de localisation du moteur full-text :
———————————————–

- Copier le fichier dataTypeAnalyzers_fr_FR.properties dans :
C:alfrescotomcatwebappsalfrescoWEB-INFclassesalfrescomodel

- Copier le fichier lucene-local-analyzers.jar qui inclut l’analyser Français (FrenchAnalyser) dans :
C:alfrescotomcatwebappsalfrescoWEB-INFlib

- Refaire éventuellement un fichier war pour pouvoir redéployer les modifications :
jar -cf alfresco.war * (Dans le repertoire tomcatwebappalfresco)

- Redémarrer Alfresco

- Importer un nouveau document pour qu’une nouvelle indexation se fasse.

Re: Y a t-il possibilité de réalisé une optimisation...

unknown-user — Fri, 20 Oct 2006 09:27:24 GMT

Bonjour,

Je travaille actuellement avec la version Community 1.4.
Pour la récupération de l'existant, nous passons par un import de masse et nous avons un problème d'indexation des fichiers dont le nom est en français (problème de caractères : accents qu'il ne prend pas à l'import).
expl : si j'ai "01-Etape1_Mise à jour", il me créé le répertoire "01-Etape1_Mise ï¿½ jour" et ne copie pas les fichiers dedans.

Par défaut, Alfresco community 1.4 sait-il indexer les document en Français (ainsi que les caractères accentués..) ? Sinon, comment lui ajouter le FR ?

J'ai lu vos échanges sur l'indexation FR.. mais j'ai l'impression que ça concernait surtout l'indexation "full text" et je ne sais pas de quelle version vous parliez (1.3 ? 1.4 ?)

Quelqu'un peut-il m'éclairer sur ces points ?

Merci d'avance

Caroline

Re: Y a t-il possibilité de réalisé une optimisation...

sam — Tue, 07 Nov 2006 13:17:04 GMT

Personnellement, je n'ai pas de problèmes d'accents.
Et les documents dont le nom contiennent des accents sont correctement indexés.
Par contre, je ne fait pas d'import de masse…, Je passe par ftp ou le client Alfresco.