topic Re: Búsqueda de txt con Lucene in Alfresco Archive

Búsqueda de txt con Lucene

spilby — Mon, 08 Nov 2010 20:06:06 GMT

Buenas,he implementado mediante Java y la api que proporciona Alfresco unos métodos para la subida de ficheros, entre ellos, archivos txt y pdf.Pero a la hora de buscar una cadena de texto entre los ficheros subidos, ya sea buscando mediante el explorador de nodos (TEXT:\"cadena"), o usando la lupa

Re: Búsqueda de txt con Lucene

cristinamr — Tue, 09 Nov 2010 08:21:15 GMT

Buenos días.

Hace algún tiempo vi un problema similar y el problemva venía por el mimetype asociado a los documentos. ¿Podrías verificar que dependiendo del archivo que subas le pones correctamente el mimetype que le corresponda? Por ejemplo, sería algo así:

//write content to the file 
File file = new File("C:/Temp/Test.doc"); 
ContentService contentService = serviceRegistry.getContentService(); 
ContentWriter writer = contentService.getWriter(content, 
ContentModel.PROP_CONTENT, true); 

String mimeType ="text/plain"; writer.setMimetype(mimeType); 
writer.putContent(file);‍‍‍‍‍‍‍‍

De todas formas eso de que buscas en el explorador de nodos y no lo encuentras es raro raro… ¿Lo consigues ver por el web-browser de alfresco?

Un saludo.

Re: Búsqueda de txt con Lucene

spilby — Tue, 09 Nov 2010 08:37:49 GMT

Buenas,

te pongo aquí el valor de los principales metadatos que tienen ambos ficheros. El primero es el subido manualmente desde la web de alfresco:

{http://www.alfresco.org/model/content/1.0}name expediente 2.txt
{http://www.alfresco.org/model/system/1.0}node-dbid 1953
{http://www.alfresco.org/model/system/1.0}store-identifier SpacesStore
{http://www.alfresco.org/model/system/1.0}node-uuid c7dae1de-1231-4b66-9e52-2e15739215d0
{http://www.alfresco.org/model/content/1.0}content contentUrl=store://2010/11/8/18/56/9862e934-e320-4748-a139-ae3a9bcf4c16.bin|mimetype=text/plain|size=44|encoding=UTF-8|locale=en_US_
{http://www.alfresco.org/model/content/1.0}title expediente 2.txt
{http://www.alfresco.org/model/system/1.0}store-protocol workspace

Y el segundo mediante mi código Java:

{http://www.alfresco.org/model/content/1.0}name UDS B2.txt
{http://www.alfresco.org/model/system/1.0}node-dbid 1954
{http://www.alfresco.org/model/system/1.0}store-identifier SpacesStore
{http://www.alfresco.org/model/system/1.0}node-uuid ad5c00f1-1900-4c2c-b9c9-1e90e8eeabd0
{http://www.alfresco.org/model/content/1.0}content contentUrl=store://2010/11/8/19/4/2603c9f8-03a4-4710-9080-55ae67919b3a.bin|mimetype=text/plain|size=44|encoding=UTF-8|locale=es_ES_
{http://www.alfresco.org/model/system/1.0}store-protocol workspace
{http://www.alfresco.org/model/content/1.0}doc_extension
{http://www.alfresco.org/model/content/1.0}doc_contentType text/plain

En principio el mimetype es correcto, ya que es text/plain. También añado un metadato de contentType con lo mismo.

Una cosa, cuando me refiero a que desde el explorador de nodos no me lo encuentra, me refiero a la búsqueda. Es decir, navegando sí encuentro el fichero. Pero cuando en la búsqueda por lucene le pongo el TEXT:\"cadena", sólo me encuentra el txt que he subido manualmente, no el mío. Si busco por otros criterios, como el name, o la fecha, sí aparece. Pero el TEXT no hay manera… Con un pdf no hay problema, pero con el txt, es como si no supiera buscar por contenido

Re: Búsqueda de txt con Lucene

fegor — Tue, 09 Nov 2010 09:01:35 GMT

Mira si te funciona perfectamente cuando subes ficheros de texto y pdf mediante la inteface web, /alfresco o /share.

¿Puedes poner parte de la clase?

Activa las líneas de depuración de Lucene en el fichero log4j.properties para verificar que te los está indexando.

Un saludo.

Re: Búsqueda de txt con Lucene

fegor — Tue, 09 Nov 2010 09:04:27 GMT

Veo una diferencia importante y que tiene que ver a la hora de buscar mediante texto en Alfresco, es la propiedad "locale", si te fijas una está en inglés y la otra en español, a la hora de buscar mediante "token" te va a dar resultados distintos según el lenguaje en el que estés realizando las búsquedas.

Un saludo.

Re: Búsqueda de txt con Lucene

cristinamr — Tue, 09 Nov 2010 09:41:59 GMT

Veo una diferencia importante y que tiene que ver a la hora de buscar mediante texto en Alfresco, es la propiedad "locale", si te fijas una está en inglés y la otra en español, a la hora de buscar mediante "token" te va a dar resultados distintos según el lenguaje en el que estés realizando las búsquedas.

Justo es lo que iba a comentarle

Ojealo porque es bastante probable que vengan por ahí los tiros. A parte, iba a proponerte, para descartarque esté el problema en la subida de los mismos, que navegaras a través del node-browser y buscaras "a pelo" el documento: Esto se hace navegando a través de los enlaces que tienes disponibles en el node-browser, una vez te metes en el workspace://SpacesStore, apareces en la raiz de alfresco, pues bien, si miras abajo tienes enlaces a los nodos hijos (en Children), sería simplemente ir navegando a través de estos enlaces hasta donde esté subido un documento que te esté dando el problema y verificar que está ahí ese nodo creado (y sus propiedades).

Pero vamos, que sabiendo que tienen idioma diferentes y buscas en ES, creo que lo primero que deberías probar es a cuando subas un archivo, independientemente de que sea pdf o txt, le metas que el idioma es es-ES así no tendrás problema a la hora de buscarlo si por defecto buscas en español.

Un saludo.

Re: Búsqueda de txt con Lucene

spilby — Tue, 09 Nov 2010 10:53:23 GMT

Buenas,

antes que nada muchas gracias por las respuestas.

Cuando subo mediante la interfaz web la búsqueda me la hace bien, me ocurre sólo cuando lo hago mediante mi código.

Os pongo aquí la parte que se encarga de la subida:

RepositoryServiceSoapBindingStub repositoryService = WebServiceFactory.getRepositoryService();

String contentData = AlfrescoContentUtils.putContent(file, fileNameAlfresco);

Reference ref = new Reference(store, cmFile.getId(), null);
Predicate predicate = new Predicate(new Reference[] { ref }, null, null);

NamedValue[] fileProperties = AlfrescoServiceHelper.getFileNodeProperties(contentData, cmFile);

CMLUpdate update = new CMLUpdate(fileProperties, predicate, null);
CML cml = new CML();
cml.setUpdate(new CMLUpdate[] { update });

UpdateResult[] updateResult = repositoryService.update(cml);

Utilizo el putContent ya que para archivos grandes no dá problemas. El método (de Alfresco, no es propio) devuelve un string que se sube en el metadato content. Os pongo aquí la parte correspondiente a los metadatos, el getFileNodeProperties, que sí es un método propio.

public static NamedValue[] getFileNodeProperties(String content, CMFile cmFile) {

    ArrayList<NamedValue> propertiesArray = new ArrayList<NamedValue>();

    propertiesArray.add(Utils.createNamedValue(Constants.PROP_CONTENT, content));
    propertiesArray.add(Utils.createNamedValue(ArchivoConstants.DOC_EXTENSION, cmFile.getExtension()));
    propertiesArray.add(Utils.createNamedValue("{http://www.alfresco.org/model/content/1.0}doc_contentType", cmFile.getContentType()));
    propertiesArray.add(Utils.createNamedValue(Constants.PROP_NAME, cmFile.getName() + "." + cmFile.getExtension()));

    NamedValue[] properties = new NamedValue[propertiesArray.size()];
    return propertiesArray.toArray(properties);
}

Respecto al idioma, la verdad es que me había fijado, pero al buscar una cadena de texto sin caracteres extraños, pensé que no influiría. De todas formas, si me podéis indicar, por favor, que constante es la referente al idioma o cómo especificarlo mediante el Utils.createNamedValue, os lo agradecería, porque no he encontrado la forma de hacerlo de esta manera.

Merci de nuevo!

Re: Búsqueda de txt con Lucene

fegor — Tue, 09 Nov 2010 11:32:51 GMT

Prueba una cosa para descartar que sea problema de tokens:

Quita los ficheros (renómbralos o muévelos) de analizadores por idiomas dataTypeAnalyzers_??.properties excepto el original dataTypeAnalyzers.properties que están en tomcat\webapps\alfresco\WEB-INF\classes\alfresco\model, vuelve a iniciar Alfresco y vuelve a subir documentos (no intentes buscar los que ya había).

Un saludo.

Re: Búsqueda de txt con Lucene

spilby — Tue, 09 Nov 2010 12:43:31 GMT

Prueba una cosa para descartar que sea problema de tokens:

Quita los ficheros (renómbralos o muévelos) de analizadores por idiomas dataTypeAnalyzers_??.properties excepto el original dataTypeAnalyzers.properties que están en tomcat\webapps\alfresco\WEB-INF\classes\alfresco\model, vuelve a iniciar Alfresco y vuelve a subir documentos (no intentes buscar los que ya había).

Un saludo.

El problema es que no puedo hacer eso… Es una aplicación para un cliente y no podemos modificar properties del servidor de alfresco. Solo dispongo de un jar, el alfresco-web.service-client.jar

Re: Búsqueda de txt con Lucene

spilby — Tue, 09 Nov 2010 14:41:41 GMT

No hay manera, me sigue pasando lo mismo y por más que investigo en google no veo qué puede pasar.

¿Sabéis cómo indicar el idioma (locale) haciendo algo del estilo Utils.createNamedValue("{http://www.alfresco.org/model/content/1.0}doc_contentType", cmFile.getContentType()); ?

Socorroooooo, jejeje.

Gracias.

Re: Búsqueda de txt con Lucene

fegor — Tue, 09 Nov 2010 16:13:51 GMT

Tengo unas dudas con respecto a todo esto:

¿Por qué usas un metadato llamado "doc_contentType"?, no veo ese metadato en contentModel.xml ni en applicationModel.xml

En contentModel.xml existe un metadato "locale" del aspecto "localizable" pero está "deprecated", o sea, obsoleto. En concreto es:


    <aspect name="cm:localizable">
         <title>Localizable</title>
         <properties>
            <property name="cm:locale">
               <title>Locale</title>
               <type>d:category</type>
            </property>
         </properties>
      </aspect>
‍‍‍‍‍‍‍‍‍‍‍

Asi mismo existe un tipo de datos "locale" igual que lo es "content".

Un saludo.

Re: Búsqueda de txt con Lucene

spilby — Tue, 09 Nov 2010 17:26:47 GMT

Respecto al docContentType, al principio no lo mandaba, pero entonces Alfresco parecía que no reconocía que el fichero era un txt, o un pdf, a pesar de tenerlo en el mimetype. La búsqueda de pdf's no me funcionaba, hasta que le indiqué a través de ese parámetro que era un application/pdf.

No he entendido muy bien lo que me comentas aquí. "Asi mismo existe un tipo de datos "locale" igual que lo es "content"." Yo para el content utilizo la constante de alfresco Constants.PROP_CONTENT, pero para el locale no he encontrado nada. Quieres decir, entonces, que haciendo un Utils.createNamedValue("{http://www.alfresco.org/model/content/1.0}locale','es_ES_") Alfresco me pillaría el idioma?

Re: Búsqueda de txt con Lucene

fegor — Tue, 09 Nov 2010 17:54:20 GMT

No creo que eso te funcione, ya que es una cadena formada por varios valores lo que monta el atributo "content".

En todo caso podrías usar LocaleConfiguration que si existe, de la forma:


LocaleConfiguration locale = new LocaleConfiguration();
locale.setLocale("ES_es");
‍‍‍‍

Un saludo.

Re: Búsqueda de txt con Lucene

spilby — Wed, 10 Nov 2010 10:47:37 GMT

Oks, probaré a ver si puedo hacer algo así de alguna forma. A ver si en el código que uso se le puede setear el locale. Cuando lo haga os cuento a ver…

Re: Búsqueda de txt con Lucene

spilby — Fri, 19 Nov 2010 09:57:21 GMT

Bueno, después de varias pruebas, he puesto el locale.setLocale a español (y por probar, también a inglés) pero nada, que no se soluciona el problema. Me encuentra las cadenas de texto cuando quiere, a veces sí y a veces no ¿A vosotros os ha pasado algo así alguna vez?

Re: Búsqueda de txt con Lucene

fegor — Fri, 19 Nov 2010 11:51:13 GMT

¿Unas veces si y otras no?, debería hacer una tabla de pruebas, es decir, subir con un "locale" distinto el mismo fichero y aplicar una serie de acciones de búsqueda sobre él poniendo los resultados. Si quieres luego pon la tabla de testeo por aquí y vamos viendo que puede pasar.

Un saludo.