topic Re: Eliminando espacios in Alfresco Archive

Eliminando espacios

explorer_2939 — Tue, 16 Jun 2009 10:03:33 GMT

Hola, tengo instalado Alfresco Labs 3 Stable contra Mysql y validacion por ntlm, todo parecia que funcionaba correctamente, es decir, creo un espacio en el espacio raiz y subo por CIFS 12Gb de contenido. Se sube todo correctamente y puedo navegar por el contenido perfectamente desde el navegador.Hoy

Re: Eliminando espacios

gustena — Tue, 16 Jun 2009 10:15:18 GMT

Hola.

En primer lugar, para eliminar contenido a lo bestia deberías hacerlo o bien con un usuario administrador o bien con el mismo usuario que utilizaste para crearlo. A parte de esto, has probado a eliminar el contedido desde el CIFS??

Un Saludo

Gustavo Tena
Universidad de Valencia

Re: Eliminando espacios

explorer_2939 — Tue, 16 Jun 2009 10:32:42 GMT

Me conecto como administrador, por cifs selecciono los 12gb y por ahora esta eliminandolos, lo unico que va a tardar es un ratito.

Por navegador si son espacios mas pequeños si que los elimina.

Re: Eliminando espacios

gustena — Tue, 16 Jun 2009 10:50:55 GMT

Si por navegador te elimina los espacios mas pequeños, el problema puede estar en que cuando el espacio a eliminar es muy grande se exeda el tamaño de la memoria reservada en el servidor de aplicaciones para Alfresco y despues de un tiempo de de un timeout. Prueba a subirle el tamaño de memoria reservada.

El CIFS utiliza menos memoria que el navegador por lo que por ahi puede que si que te deje eliminarlo.

Un Saludo

Gustavo Tena
Universidad de Valencia

Re: Eliminando espacios

explorer_2939 — Tue, 16 Jun 2009 11:06:12 GMT

Me acaba de dar error despues de un buen rato eliminado por cifs, el log es el siguiente:


13:01:34,925  WARN  [lucene.index.IndexInfo] Index merger failed with
java.lang.OutOfMemoryError: Java heap space
        at org.apache.lucene.store.RAMFile.addBuffer(RAMFile.java:63)
        at org.apache.lucene.store.RAMOutputStream.flushBuffer(RAMOutputStream.java:80)
        at org.apache.lucene.store.BufferedIndexOutput.flush(BufferedIndexOutput.java:85)
        at org.apache.lucene.store.BufferedIndexOutput.close(BufferedIndexOutput.java:99)
        at org.apache.lucene.store.RAMOutputStream.close(RAMOutputStream.java:96)
        at org.apache.lucene.store.Directory.copy(Directory.java:179)
        at org.apache.lucene.store.RAMDirectory.<init>(RAMDirectory.java:73)
        at org.apache.lucene.store.RAMDirectory.<init>(RAMDirectory.java:84)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo.buildReferenceCountingIndexReader(IndexInfo.java:1926)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo.access$1200(IndexInfo.java:127)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$Merger.mergeDeletions(IndexInfo.java:3209)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$Merger.runImpl(IndexInfo.java:2871)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$AbstractSchedulable.run(IndexInfo.java:2711)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
        at java.lang.Thread.run(Thread.java:619)
13:01:34,946  WARN  [lucene.index.IndexInfo] Index merger recovered from
java.lang.OutOfMemoryError: Java heap space
        at org.apache.lucene.store.RAMFile.addBuffer(RAMFile.java:63)
        at org.apache.lucene.store.RAMOutputStream.flushBuffer(RAMOutputStream.java:80)
        at org.apache.lucene.store.BufferedIndexOutput.flush(BufferedIndexOutput.java:85)
        at org.apache.lucene.store.BufferedIndexOutput.close(BufferedIndexOutput.java:99)
        at org.apache.lucene.store.RAMOutputStream.close(RAMOutputStream.java:96)
        at org.apache.lucene.store.Directory.copy(Directory.java:179)
        at org.apache.lucene.store.RAMDirectory.<init>(RAMDirectory.java:73)
        at org.apache.lucene.store.RAMDirectory.<init>(RAMDirectory.java:84)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo.buildReferenceCountingIndexReader(IndexInfo.java:1926)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo.access$1200(IndexInfo.java:127)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$Merger.mergeDeletions(IndexInfo.java:3209)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$Merger.runImpl(IndexInfo.java:2871)
        at org.alfresco.repo.search.impl.lucene.index.IndexInfo$AbstractSchedulable.run(IndexInfo.java:2711)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
        at java.lang.Thread.run(Thread.java:619)
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Las opciones que le tengo puesto al tomcat en el fichero /etc/sysconfig/tomcat5 son:

JAVA_OPTS="$JAVA_OPTS -Xms1G -Xmx2G -XX:MaxPermSize=256M -XX:NewSize=512m -Xcomp -Xbatch -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled"

El servidor de MySQL esta en otro servidor.

Es un Centos 5.3 en una maquina virtual con 4vcpu y 16Gb de ram de vmware esx 3.5.

En el manager de tomcat me encuentro:
JVM: Free memory: 49,18MB Total memory: 1996.81MB Max memory: 1996.81Mb

Re: Eliminando espacios

gustena — Tue, 16 Jun 2009 11:36:25 GMT

Pues por el error que te da, todo apunta a que se esta quedando sin memoria para indexar antes de borrar. Donde más corto esta es en la JVM ya que solo tienes 49 MB libres de un total de 2 GB. Asignale más memoria y vuelve a probar.

Un Saludo

Gustavo Tena
Universidad de Valencia

Re: Eliminando espacios

explorer_2939 — Tue, 16 Jun 2009 11:57:03 GMT

Lo que no tengo claro es como asignarle mas memoria, creia que con la linea:

JAVA_OPTS="$JAVA_OPTS -Xms1G -Xmx2G -XX:MaxPermSize=256M -XX:NewSize=512m -Xcomp -Xbatch -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled"

He estado mirando y no puedo asignar mas de los 2G que le tengo puesto ya que el servidor esta montado en 32 bits.

El tema es que por mas que cambio los parametros de java, mas tarde o mas temprano acaba dando errores de memoria.

He probado:
JAVA_OPTS="-Xms128m -Xmx1024m -XX:MaxPermSize=128m -server"
JAVA_OPTS="$JAVA_OPTS -Xms1G -Xmx2G -XX:MaxPermSize=256M -XX:NewSize=512m -Xcomp -Xbatch"
JAVA_OPTS="$JAVA_OPTS -Xms1G -Xmx1G -XX:MaxPermSize=256M"

En fin que a ver si alguien me puede pasar sus parametros de configuracion de tomcat para probar.

Re: Eliminando espacios

gustena — Tue, 16 Jun 2009 13:40:58 GMT

Tienes que ir a la carpeta bin dentro del directorio raiz donde has instalado el tomcat. Una vez alli tienes que modificar el JAVA_OPTS que esta en el fichero catalina.bat si estas en windows y catalina.sh si estas en linux.

Yo lo tengo puesto asi:

JAVA_OPTS='-Xms512m -Xmx1024m -XX:MaxPermSize=1024m -server'

Un Saludo

Gustavo Tena
Universidad de Valencia

Re: Eliminando espacios

explorer_2939 — Wed, 17 Jun 2009 06:15:15 GMT

Te comento, las opciones las configuro en el fichero /etc/sysconfig/tomcat5, he puesto tu configuracion y me pasa exactamente lo mismo.

Lo que me gustaria saber es si has probado a eliminar la cantidad que yo comento al principio mediante cifs ya que llevo todo el dia liado y siempre acaba dando el fallo.

Me gustaria saber la version que tienes montada y bajo que plataforma.

Te comento mi instalacion:

Maquina virtual con:
Centos 5.3 32 bits
Kernel 2.6.18-128.1.10.el5PAE
16Gb RAM
Tomcat 5.5.23
JVM 1.6.0_6-b02

La maquina esta alojada en un VMWware ESX3.5.

Variando los valores ahora me da el error: java.lang.OutOfMemoryError: GC overhead limit exceeded

Re: Eliminando espacios

gustena — Wed, 17 Jun 2009 09:42:46 GMT

No se si he eliminado alguna vez 12 GB de golpe por CIFS pero 8 o 9 seguro y no he ha dado ningun problema.

La instalación donde estoy haciendo las pruebas se compone de:

1 Maquina Virtual como Servidor de BBDD Oracle
1 Maquina Virtual como Servidor de Ficheros
1 Maquina Virtual como Servidor Alfresco

La configuración es identica para las tres:
Red Had 2.16.0 de 64 Bits
2 GB se RAM
2 GB de Intercambio

El Servidor Alfresco se compone de:
Alfresco Labs 2.2 SP4
Tomcat 5.5.25
JVM 1.5.0_18

Todo esto esta alojado en un WMWare 2.5

Un Saludo

Gustavo Tena
Universidad de Valencia

Re: Eliminando espacios

explorer_2939 — Thu, 18 Jun 2009 08:23:35 GMT

Parece que empieza a funcionar, te comento que leyendo el documento http://wiki.alfresco.com/w/images/0/0b/Install_Configure_Alfresco_Lab3Stable.pdf he visto los parametros de configuracion de la pagina 42-43 y he puesto los siguientes:

JAVA_OPTS=
-server
-Xcomp
-Xbatch
-Xss1024K
-Xms1G
-Xmx2G
-XX:+UseConcMarkSweepGC
-XX:+CMSIncrementalMode
-XX:NewSize=512m
-XX:MaxPermSize=128M
-XX:CMSInitiatingOccupancyFraction=80

Por ahora he conseguido borrar desde 4 maquinas distintas por CIFS en bloques de unos 2-3Gb sin problemas, lo unico que cuando accedo desde alguna otra maquina por cifs tambien al sitio es lentisimo, vamos que para listar las carpetas que hay en el sitio se tira unos minutos, y no te digo nada cuando selecciono 40-50 carpetas y las intento borrar.

Te comento que en el espacio raiz tenemos un espacio creado y dentro de este espacio es donde estan las cerca de 1000 carpetas que queremos tener.

No se que mas mirar, salvo la opcion de montar otra maquina virtual con la misma memoria pero instalar el sistema en 64bits para poder darle mas memoria a la maquina virtual de java.

Es que tal y como lo veo, esto no se puede poner en explotacion ya que queremos meter mucho material y se conectaran bastantes usuarios concurrentes por lo que si intentan borrar algo les puede dar algo por la lentitud.

En otras pruebas que hemos hecho lo hemos montado contra Oracle10g y el rendimiento era el mismo.