topic recherches solr et accents in Alfresco Archive https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178529#M131659 <HTML><HEAD></HEAD><BODY><SPAN>Bonjour,</SPAN><BR /><BR /><SPAN>Je n'arrive pas à faire configurer solr pour avoir une recherche qui ne tient pas compte des accents.</SPAN><BR /><BR /><SPAN>J'utilise Alfresco 4.0.d community en UTF-8 sur une CentOS 5.8.</SPAN><BR /><BR /><SPAN>J'ai installé solr depuis la doc du wiki et arrive à naviguer dans l'administration via </SPAN><A href="https://...:8433/solr/alfresco/admin/" rel="nofollow noopener noreferrer">https://...:8433/solr/alfresco/admin/</A><BR /><BR /><SPAN>Voci le contenu de mon fichier schema.xml :</SPAN><BR /><BR /><PRE class="language-none line-numbers"><CODE><BR />&lt;?xml version="1.0" encoding="UTF-8"?&gt;<BR />&lt;schema name="alfresco" version="1.0"&gt;<BR />&nbsp;&nbsp; &lt;types&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;fieldType name="alfrescoDataType" class="org.alfresco.solr.AlfrescoDataType"&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;!– fieldType name="alfrescoDataType" class="solr.TextField" –&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;analyzer&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;charFilter class="solr.HTMLStripCharFilterFactory"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;tokenizer class="org.apache.solr.analysis.WhitespaceTokenizerFactory" /&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.PatternReplaceFilterFactory" pattern="^(\p{Punct}*)(.*?)(\p{Punct}*)$" replacement="$2"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.LengthFilterFactory" min="1" max="100" /&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.LowerCaseFilterFactory"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.WordDelimiterFilterFactory"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; splitOnCaseChange="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; splitOnNumerics="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; stemEnglishPossessive="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; generateWordParts="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; generateNumberParts="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateWords="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateNumbers="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateAll="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; preserveOriginal="1"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.SnowballPorterFilterFactory" language="French" protected="protwords.txt"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.WordDelimiterFilterFactory"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; splitOnCaseChange="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; splitOnNumerics="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; stemEnglishPossessive="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; generateWordParts="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; generateNumberParts="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateWords="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateNumbers="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; catenateAll="1"<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; preserveOriginal="1"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="org.apache.solr.analysis.LowerCaseFilterFactory" /&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.StopFilterFactory" ignoreCase="1" words="stopwords_fr.txt" enablePositionIncrements="true"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.ASCIIFoldingFilterFactory"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;filter class="solr.RemoveDuplicatesTokenFilterFactory"/&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/analyzer&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/fieldType&gt;<BR />&nbsp;&nbsp; &lt;/types&gt;<BR />&nbsp;&nbsp; &lt;fields&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;field name="ID" type="alfrescoDataType" indexed="true" omitNorms="true" stored="true" multiValued="true"&gt;&lt;/field&gt;<BR />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;dynamicField name="*" type="alfrescoDataType" indexed="true" omitNorms="true" stored="true" multiValued="true"&gt;&lt;/dynamicField&gt;<BR />&nbsp;&nbsp; &lt;/fields&gt;<BR />&nbsp;&nbsp; &lt;uniqueKey&gt;ID&lt;/uniqueKey&gt;<BR />&nbsp;&nbsp; &lt;defaultSearchField&gt;ID&lt;/defaultSearchField&gt;<BR />&lt;/schema&gt;<BR /><SPAN class="line-numbers-rows"><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN></SPAN></CODE></PRE><BR /><SPAN>J'y ai rajouté des filtres en vain.</SPAN><BR /><BR /><SPAN>Voici mon fichier dataTypeAnalyzers_fr.properties: </SPAN><BR /><PRE class="language-none line-numbers"><CODE># Data Type Index Analyzers<BR />d_dictionary.datatype.d_text.analyzer=org.apache.lucene.analysis.fr.FrenchAnalyzer<BR />d_dictionary.datatype.d_content.analyzer=org.apache.lucene.analysis.fr.FrenchAnalyzer<BR /><SPAN class="line-numbers-rows"><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN><SPAN>‍</SPAN></SPAN></CODE></PRE><BR /><SPAN>Lorsque j'utilise la classe AlfrescoDataType pour le fieldType décrit ci-dessus la tokenisation et la stemisation se fait bien mais les accents sont toujours présents dans les valeurs indexées.</SPAN><BR /><BR /><SPAN>J'ai l'impression que l'intégration d'alfresco à travers la classe AlfrescoDataType ne tiens pas compte de la configuration des filtres de schema.xml.</SPAN><BR /><SPAN>Lorsque j'utilise la ligne &lt;fieldType name="alfrescoDataType" class="solr.TextField"&gt; j'ai beaucoup d'erreurs dans les logs à la reconstruction des index mais les valeurs indexées le sont sans les accents.</SPAN><BR /><BR /><SPAN>Je pensais pouvoir corriger le problème en utilisant la configuration de solr, mais il y a peut etre autre chose à faire pour que les accents soient filtrés dans l'index ?</SPAN></BODY></HTML> Wed, 04 Apr 2012 10:08:23 GMT alfer 2012-04-04T10:08:23Z recherches solr et accents https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178529#M131659 Bonjour,Je n'arrive pas à faire configurer solr pour avoir une recherche qui ne tient pas compte des accents.J'utilise Alfresco 4.0.d community en UTF-8 sur une CentOS 5.8.J'ai installé solr depuis la doc du wiki et arrive à naviguer dans l'administration via https://...:8433/solr/alfresco/admin/Voc Wed, 04 Apr 2012 10:08:23 GMT https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178529#M131659 alfer 2012-04-04T10:08:23Z Re: recherches solr et accents https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178530#M131660 <HTML><HEAD></HEAD><BODY><SPAN>Bonjour,</SPAN><BR /><BR /><SPAN>J'ai le même problème.</SPAN><BR /><BR /><SPAN>Avez-vous trouver une solution? :?:</SPAN></BODY></HTML> Mon, 17 Sep 2012 09:24:19 GMT https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178530#M131660 calison3 2012-09-17T09:24:19Z Re: recherches solr et accents https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178531#M131661 <HTML><HEAD></HEAD><BODY><SPAN>Bonjour,</SPAN><BR /><BR /><SPAN>Avez-vous essayé avec : </SPAN><PRE class="language-none line-numbers"><CODE>&lt;filter class="solr.ISOLatin1AccentFilterFactory"/&gt;<SPAN class="line-numbers-rows"><SPAN>‍</SPAN></SPAN></CODE></PRE><BR /><A href="http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#solr.ISOLatin1AccentFilterFactory" rel="nofollow noopener noreferrer">http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#solr.ISOLatin1AccentFilterFactory</A><BR /><BR /></BODY></HTML> Tue, 12 Mar 2013 15:13:57 GMT https://connect.hyland.com/t5/alfresco-archive/recherches-solr-et-accents/m-p/178531#M131661 bertrandf 2013-03-12T15:13:57Z