topic Re: Webservices lentos, ¿es esto normal? in Alfresco Archive

Webservices lentos, ¿es esto normal?

baskeyfield — Mon, 15 Feb 2010 09:16:14 GMT

Muy buenas a todos,Estoy integrando liferay con alfresco, y para ello estoy creando portlets que ejercen de cliente de servicios web de alfresco. Uno de ellos es un portlet que muestra los ultimos documentos modificados en 2 meses en un espacio y sus espacios hijos. Para realizar esto hago una consu

Re: Webservices lentos, ¿es esto normal?

pablo_zapico — Mon, 15 Feb 2010 09:19:21 GMT

Yo lo primero revisaria el log para ver si esta dando algun timeout, nosotros teniamos tambien servicios web y el problema de la lentitud venia de eso…

Re: Webservices lentos, ¿es esto normal?

baskeyfield — Mon, 15 Feb 2010 09:47:22 GMT

Gracias Pablo,

He depurado el código, y me he llevado la sorpresa de que lo que realmente tarda no es la consulta, sino lo que hago con mis datos, he impreso los tiempos de mi algoritmo en milisegundos, restando el tiempo que se tarda de un paso a otro:

2010-02-15 15:29:15,439 INFO [portletArrWs] - Antes de ejecutar la consulta 1266247755439 –> Hora actual en milisegundos
2010-02-15 15:29:15,440 INFO [portletArrWs] - Consulta ejecutada 1 –> Tarda 1 ms en ejecutar la consulta
2010-02-15 15:29:20,809 INFO [portletArrWs] - Datos procesados 5369 –> Tarda 5 segundos en procesar los datos!
2010-02-15 15:29:20,810 INFO [portletArrWs] - Datos ordenados 1
2010-02-15 15:29:20,810 INFO [portletArrWs] - Datos impresos 0

Por lo tanto, el problema reside en que hago con los datos que me devuelve, os explico:

Ejecuto una consulta que me devuelve un array de Node. De este array solo necesito los 15 docs mas recientes, pero dado que la clase node no tiene ningun método de ordenación por fecha, recorro ese array de node creandome mi propio objeto "resultadoLucene" que si ordena por fecha modificación. Y esto es realmente lo que tarda el 95% del tiempo total, ya que recorro todos los nodos para generar mi lista de "resultadosLucene" cuando realmente solo deberia recorrer los 15 ultimos.

La solución a este problema sería tan sencilla como en la propia consulta de Lucene poder indicarle que me los ordene por campo cm:modified, pero es esto posible?

Un saludo y gracias.

Re: Webservices lentos, ¿es esto normal?

dewil — Mon, 15 Feb 2010 10:10:14 GMT

Buenas.

Te paso el codigo que aparece en la WIKI (http://wiki.alfresco.com/wiki/Search) para poder ordenar en las querys:

…
        SearchParameters sp = new SearchParameters();
        sp.addStore(getStoreRef());
        sp.setLanguage(SearchService.LANGUAGE_LUCENE);
        sp.setQuery("PATH:\"//.\"");
        sp.addSort("ID", true);
        ResultSet results = null;
        try
        {
            results = serviceRegistry.getSearchService().query(sp);
            for(ResultSetRow row : results)
            {
                NodeRef currentNodeRef = row.getNodeRef();
                …
            }
        }
        finally
        {
            if(results != null)
            {
                results.close();
            }
        } 
        …‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

* Sorting is based in Java string ordering
    * This is not so good for numeric data
    * We treat numeric and date information so it does order lexically.
    * Tokenising and sort can give odd results or fail
    * You can only order with one locale.

ESPERO QUE TE SIRVA !!!

Saludos

Re: Webservices lentos, ¿es esto normal?

baskeyfield — Mon, 15 Feb 2010 10:43:32 GMT

Gracias Dewil,

Resulta que cuando puse los println para imprimir los tiempos me equivoqué con el que imprimia el tiempo de la consulta, y puse el println justo antes de la sentencia que ejecuta la busqueda, así que los tiempos reales son estos:

2010-02-15 16:26:38,213 INFO [portletArrWs] - Antes de ejecutar la consulta 1266251198213
2010-02-15 16:26:45,291 INFO [portletArrWs] - Consulta ejecutada 7077
2010-02-15 16:26:45,310 INFO [portletArrWs] - Datos procesados 20
2010-02-15 16:26:45,312 INFO [portletArrWs] - Datos ordenados 2
2010-02-15 16:26:45,312 INFO [portletArrWs] - Datos impresos 0

Como se puede ver, lo que tarda es la consulta y no el procesado de datos. Con lo cual, como puedo optimizarla?

Query query = new Query("lucene","+PATH:\"/app:company_home/cm:"+path+"//*\"+(@cm\\:modified:["+ISO8601DATEFORMAT.format(cal.getTimeInMillis())+" TO "+ISO8601DATEFORMAT.format(fechaActual)+"])+TYPE:\"{http://www.alfresco.org/model/content/1.0}content\"");

¿Se os ocurre alguna idea? He probado a bajar el rango de tiempos a 2 semanas en lugar de 2 meses y tarda lo mismo.

Un saludo.

Re: Webservices lentos, ¿es esto normal?

baskeyfield — Mon, 15 Feb 2010 11:00:22 GMT

Añado más info:

Si la consulta la ejecuto así tarda 6 segundos:
nodes = WebServiceFactory.getRepositoryService().get(new Predicate(null,STORE,query));

Si la ejecuto asi tarda 1 segundo!
QueryResult queryResult = repositoryService.query(STORE, query, false);

El problema es que ejecutandola de la segunda forma solo obtengo el path y el name, no puedo sacar metainformación como fecha de modificación, etc.

Ideas?

Saludos.

Re: Webservices lentos, ¿es esto normal?

pablo_zapico — Mon, 15 Feb 2010 12:14:21 GMT

Quizas podrias tirar por webscripts para obtener los datos

Re: Webservices lentos, ¿es esto normal?

venzia — Mon, 15 Feb 2010 12:21:17 GMT

Un detalle a tener en cuenta (quiza no para solucionar el problema) :
El MaxPermSize parece desfasado :
export JAVA_OPTS='-Xms512m -Xmx2048m -XXermSize=1024m -XX:MaxPermSize=20428m -server'
20428m
Saludos,

Re: Webservices lentos, ¿es esto normal?

baskeyfield — Mon, 15 Feb 2010 12:35:54 GMT

Gracias Innovasoft!

Otro dato más, si ejecuto la consulta desde el explorador de nodos no tarda mas de 1 seg, mientras que desde el webservice 6 segundos. Me hace pensar que los metodos para ejecutar consultas desde los ws están muy poco optimizados.

+PATH:"/app:company_home/cm://*"+(@cm\:modified:[2010-01-16T17:43:42 TO 2010-02-15T17:43:42])+TYPE:"{http://www.alfresco.org/model/content/1.0}content"

Re: Webservices lentos, ¿es esto normal?

dewil — Mon, 15 Feb 2010 15:13:29 GMT

Visto que desde el "Node Browser" te funciona correctamente y que es desde el WebService funciona lento, sin entrar en configuracion parecería que la comunicación entre el Cliente y el Servidor es la que ralentiza el proceso…

De todas formas por descartar, ¿puedes detallarnos tu "repository.properties"?

Re: Webservices lentos, ¿es esto normal?

baskeyfield — Tue, 16 Feb 2010 07:39:07 GMT

Buenas,

Conclusiones a las que he llegado hasta ahora:

1- El mismo portlet, hecho con webscripts es practicamente instantaneo, 1 - 2 segundos. Con web services 6 - 7

2- Desde el nodebrowser la consulta lucene es instantanea, 1 -2 segundos.

3- Desde el propio MySql una consulta aun más pesada es más rápida, tardando unas pocas décimas de segundo.

4- Los métodos de consulta para webservices no funcionan correctamente, como por ejemplo el método "query(STORE, path, true);" donde el último parámetro indica si la consulta devolverá metadatos o no. Ya lo ejecutes como true o false NUNCA devuelve nada, los únicos métodos que si devuelven metadatos son queryParent y queryChilds.

5- No soy el primero que dice que los webservices son lentos, desde la propia web de liferay, en su wiki en un tema de integración de Alfresco Liferay dicen:

The main advantage is that allows you to have Liferay and Alfresco in different machines, which is very positive, as they are heavy applications. The main disadvantage is that Web Services is quite slow.

Un saludo.