Import en masse via CIFS

[calamarz]

Bonjour,

Je suis toujours sur mes tests voici le principe:
- Je deplace des pdf dans le un espace "import"
- Une action dans cet espace creer des espaces en dynamique puis colle les pdf

Cela fonctionne bien avec 10 pdf en revanche je souhaite faire un import d'environ 20000 pdf par paquet de 1000 mais assez souvent il y a plantage de l'import avec sous tomcat l'erreur suivante:

11:21:58,421  ERROR [quartz.core.ErrorLogger] Job (DEFAULT.ftsIndexerJobDetail threw an exception.org.quartz.SchedulerException: Job threw an unhandled exception. [See nested exception: java.lang.OutOfMemoryError: Java heap space]        at org.quartz.core.JobRunShell.run(JobRunShell.java:213)        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:529)Caused by: java.lang.OutOfMemoryError: Java heap space‍‍‍‍‍‍‍‍

Comment procedez vous pour de gros imports ??

Merci

[rguinot]

Quelles sont vos options de démarage de la JVM ?

Par quelle interface faites vous vos imports ?

[calamarz]

Oui pardon je fais l'import en copier coller depuis mon serveur alfresco (version Windows 3.2 Community) sur le CIFS Alfresco.

Pour les options demarrage JVM j'ai ceci:

rem set Alfresco home (includes trailing \  e.g. c:\alfresco\)set ALF_HOME=%~dp0set CATALINA_HOME=%ALF_HOME%tomcatrem Set any default JVM optionsset JAVA_OPTS=-Xms128m -Xmx512m -Xss96k -XX:MaxPermSize=128m -server -Dalfresco.home=%ALF_HOME% -Dcom.sun.management.jmxremoterem — If SetPaths.bat already exists - assume set by hand and use as isset PATH=%ALF_HOME%bin;%PATH%if not exist "SetPaths.bat" goto getpaths call SetPaths.batgoto start:getpathscall RegPaths.execall SetPaths.batdel SetPaths.bat:startrem — Test for Java settingsset BASEDIR=%CATALINA_HOME%call "%CATALINA_HOME%\bin\setclasspath.bat"if errorlevel 1 goto errorset PATH=%JAVA_HOME%\bin;%PATH%‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Apres recherche je viens de modifier ceci:
set JAVA_OPTS=-Xms128m -Xmx512m -Xss96k -XX:MaxPermSize=512m -server -Dalfresco.home=%ALF_HOME% -Dcom.sun.management.jmxremote

Je relance un import de 3700 pdf pour voir, juste une precision je suis sous windows XP pro avec 2 go Ram, 1,8Ghz Dual Core 2 et le serveur tourne en phase import 70 % de processeur et 1 Go Ram.

Merci

[calamarz]

Et bien non idem l'import plante (Out of memory), existe-t-il d'autres méthodes d'import ??

Merci

[rguinot]

Ce n'est pas la Permsize qu'il faut modifier, mais les options Xms et Xmx plutot.

De combien de RAM disposez vous ? est ce  un serveur dédié ?
exemple :

-Xms1024m -Xmx1024m‍

Pour les gros imports, je passe souvent par FTP.

[calamarz]

OK je dispose d'un "serveur" dedie (PC Dual Core 2 1,8ghz, 2 Go RAM, XP Pro), je vais faire la modification et reassayer.

merci !!!