Import en masse via CIFS

[calamarz]

Bonjour,

Je suis toujours sur mes tests voici le principe:
- Je deplace des pdf dans le un espace "import"
- Une action dans cet espace creer des espaces en dynamique puis colle les pdf

Cela fonctionne bien avec 10 pdf en revanche je souhaite faire un import d'environ 20000 pdf par paquet de 1000 mais assez souvent il y a plantage de l'import avec sous tomcat l'erreur suivante:

11:21:58,421  ERROR [quartz.core.ErrorLogger] Job (DEFAULT.ftsIndexerJobDetail t
hrew an exception.
org.quartz.SchedulerException: Job threw an unhandled exception. [See nested exc
eption: java.lang.OutOfMemoryError: Java heap space]
        at org.quartz.core.JobRunShell.run(JobRunShell.java:213)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.j
ava:529)
Caused by: java.lang.OutOfMemoryError: Java heap space‍‍‍‍‍‍‍‍

Comment procedez vous pour de gros imports ??

Merci

[rguinot]

Quelles sont vos options de démarage de la JVM ?

Par quelle interface faites vous vos imports ?

[calamarz]

Oui pardon je fais l'import en copier coller depuis mon serveur alfresco (version Windows 3.2 Community) sur le CIFS Alfresco.

Pour les options demarrage JVM j'ai ceci:

rem set Alfresco home (includes trailing \  e.g. c:\alfresco\)
set ALF_HOME=%~dp0
set CATALINA_HOME=%ALF_HOME%tomcat

rem Set any default JVM options
set JAVA_OPTS=-Xms128m -Xmx512m -Xss96k -XX:MaxPermSize=128m -server -Dalfresco.home=%ALF_HOME% -Dcom.sun.management.jmxremote

rem — If SetPaths.bat already exists - assume set by hand and use as is
set PATH=%ALF_HOME%bin;%PATH%
if not exist "SetPaths.bat" goto getpaths 
call SetPaths.bat
goto start

:getpaths
call RegPaths.exe
call SetPaths.bat
del SetPaths.bat

:start
rem — Test for Java settings
set BASEDIR=%CATALINA_HOME%
call "%CATALINA_HOME%\bin\setclasspath.bat"
if errorlevel 1 goto error
set PATH=%JAVA_HOME%\bin;%PATH%‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Apres recherche je viens de modifier ceci:
set JAVA_OPTS=-Xms128m -Xmx512m -Xss96k -XX:MaxPermSize=512m -server -Dalfresco.home=%ALF_HOME% -Dcom.sun.management.jmxremote

Je relance un import de 3700 pdf pour voir, juste une precision je suis sous windows XP pro avec 2 go Ram, 1,8Ghz Dual Core 2 et le serveur tourne en phase import 70 % de processeur et 1 Go Ram.

Merci

[calamarz]

Et bien non idem l'import plante (Out of memory), existe-t-il d'autres méthodes d'import ??

Merci

[rguinot]

Ce n'est pas la Permsize qu'il faut modifier, mais les options Xms et Xmx plutot.

De combien de RAM disposez vous ? est ce  un serveur dédié ?
exemple :

-Xms1024m -Xmx1024m‍

Pour les gros imports, je passe souvent par FTP.

[calamarz]

OK je dispose d'un "serveur" dedie (PC Dual Core 2 1,8ghz, 2 Go RAM, XP Pro), je vais faire la modification et reassayer.

merci !!!