topic Re: Import FTP: JavaException in Alfresco Archive

Import FTP: JavaException

nyakooza — Wed, 04 Jun 2008 14:34:51 GMT

Bonjour, j'utilise la version alfresco-community-tomcat-2.1.0 sur windows 2000.J'ai activé le protocole FTP et le transfert de fichier ou d'arborescence entière fonctionne… ou presque.En effet il n'y a aucun problème lorsque j'importe des fichiers simples, ou des petites arborescences de fichier.En

Re: Import FTP: JavaException

rguinot — Wed, 04 Jun 2008 14:58:52 GMT

org.apache.poi.hssf.record‍

POI-HSSF est une API Java permettant de lire le format propriétaire Microsoft Excel, pour, entre autres, la transformation en plain-text pour l'indexation full-text et sans doute l'extraction de métadonnées.

Il semble donc que certains documents Excel que vous lui donnez à manger lui pose problème, cela ne devrait pas pour autant bloquer l'indexation des suivants.
Vous obtiendrez peut être de meilleurs résultats en installant OpenOffice et en configurant la socket openoffice (qui serait alors headless). L'avez vous installée ?

qq infos pour cela:
http://wiki.alfresco.com/wiki/Specialearch?search=Openoffice&go=Go , http://wiki.alfresco.com/wiki/Running_OpenOffice_From_Terminal
Il se peut alors qu'Alfresco tente une transformation via Openoffice si hssf plante,si ce n'est pas le cas il faudra configurer l'ordre de préférence des transformers pour passer uniquement par OpenOffice pour voir si vous obtenez un meilleur résultat.

plus avancé : vous pouvez déterminer la liste exacte qu'ALfresco n'a pas pu indexer pour cause de transformation "plantée", via une requête lucene spéciale :

TEXT:nitf‍

que vous pouvez éxécuter par exemple via le navigateur de noeuds.

plus d'infos la dessus ici : http://wiki.alfresco.com/wiki/Content_Transformations#Full_Text_Indexing

Re: Import FTP: JavaException

nyakooza — Thu, 05 Jun 2008 13:59:41 GMT

Avec la requête lucene j'ai réussi à identifier les fichiers qui posaient problèmes, et ce sont bien des fichiers Excel.. mais pas tous! Il y a également des fichiers Word

Quant à la solution concernant la socket openoffice, j'avoue ne pas très bien la comprendre, en quoi lancer OpenOffice en headless me permettrait d'éviter ces problèmes.

Ma dernière solution serait alors de désactiver totalement l'indexation des fichiers de type .XLS, ce qui serait assez gênant vu que la majorité des données que j'importe sont des fichiers excel…

Re: Import FTP: JavaException

rguinot — Thu, 05 Jun 2008 14:09:50 GMT

OpenOffice peut aussi servir pour l'indexation des documents Excel. Etant donné que HSSF peut aussi lire des documents Excel et est à ma connaissance plus rapide qu'Openoffice, il est utilisé en priorité.
Alfresco attribue une "note" à chaque transformer possible et sélectionne le "meilleur" au moment de l'indexation en fonction de cette note.

Par contre,vous pouvez dans la configuration déclarer que vous voulez utiliser openoffice exclusivement pour les fichiers Office (à la place de POI) et voir si par ce biais vous obtenez de meilleurs résultats. L'indexation sera en revanche probablement un peu plus lente…

Re: Import FTP: JavaException

nyakooza — Wed, 11 Jun 2008 14:30:06 GMT

Est-ce que cette démarche est bien la bonne pour configurer la socket open office? (je ne suis pas vraiment à l'aise avec tout ceci…)

    * Install Open Office
    * Launch it one time (sothat you have filled the registrering form of Open Office which does only popup one time)
    * Open a Command-Prompt (CMD) and goto your Open Office Executable directory (for example C:\Programme\OpenOffice.org 2.0\program)
    * Run Open Office in headless Modus with this command:
    soffice.exe -headless -nologo -norestore -accept=socket,host=localhost,port=8100;urp;StarOffice.ServiceManager

    * check if its running by typing: netstat -anp tcp
    you should find a line:
        TCP 127.0.0.1:8100 0.0.0.0:0 ABHÖREN

Il se peut alors qu'Alfresco tente une transformation via Openoffice si hssf plante,si ce n'est pas le cas il faudra configurer l'ordre de préférence des transformers pour passer uniquement par OpenOffice pour voir si vous obtenez un meilleur résultat.

Pourriez vous m'aider en m'indiquant comment m'y prendre? du moins une piste
Merci

PS: j'ai oublié de préciser qu'apparemment, le probleme ne survient plus que lors de l'import FTP, mais aussi lorsque je fais l'upload par le webclient.
De plus avec OpenOffice installé, j'ai des warnings qui apparaissent dans la fenêtre de Tomcat après import.

[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
[WARNING] Unknown Ptg 3c (60)
‍‍‍‍‍‍‍‍‍‍‍

Re: Import FTP: JavaException

denisr — Fri, 27 Jun 2008 07:29:35 GMT

Bonjour,
j'ai le même problème depuis hier soir.
Et il n'y a pas de FTP. Le serveur prend 99% de CPU et on est obligé de le relancer.
mais j'avais aussi "Unknown tag" dans mon log et je n'ai pas encore installé OpenOffice. Il faut que je fasse un peu de tests avant d'installer en production.
Y'a-t-il une solution de contournement par configuration qui permet de tenir quelques jours?
Quelqu'un connait-il les caractéristiques des fichiers en question, excel et ou word? Cela peut-il à voir avec la présence avec la présence de macros?

Cordialement,
DenisR

Re: Import FTP: JavaException

nyakooza — Tue, 01 Jul 2008 11:35:48 GMT

Pour moi installer OpenOffice n'empeche pas tous ces messages d'erreur. Mais toutefois mon serveur n'a plus l'air de planter. Je n'ai donc pas trouver de solution de contournement.

En ce qui concerne les fichiers, il y a de très fortes chances que ça soit dû à des macros, car la plupart de mes fichiers excel en contiennent. Mais je n'en suis pas sûr à 100%.

Re: Import FTP: JavaException

denisr — Tue, 01 Jul 2008 12:33:47 GMT

Bonjour,
Pour ton information, dans une telle situation, tu peux désactiver l'indexation le temps d'installer OpenOffice ce qui évite au moins à alfresco de planter.
Pour ce faire, il faut éditer le fichier (dans le cas d'une uitlisation avec tomcat)
tomcat/webapps/alfresco/WEB-INF/classes/alfresco/scheduled-jobs-context.xml
Et mettre en commentaire la section ftsIndexerTrigger

Bon mais je vois qu'en fait tu as installé OpenOffice. Je sens que c'est ce que nous allons devoir faire, en urgence évidemment.
Si j'avais su je l'aurais fait depuis longtemps.

Cordialement,
DenisR

Re: Import FTP: JavaException

pocchakool_2685 — Wed, 29 Oct 2008 10:30:39 GMT

Message par rguinot sur 05 Juin 2008, 16:09
[…] vous pouvez dans la configuration déclarer que vous voulez utiliser openoffice exclusivement pour les fichiers Office (à la place de POI) et voir si par ce biais vous obtenez de meilleurs résultats. L'indexation sera en revanche probablement un peu plus lente…

Comment puis-je spécifier à Alfresco d'utiliser uniquement OOo pour l'indexation?

Merci pour votre aide

Steph

Re: Import FTP: JavaException

denisr — Wed, 29 Oct 2008 10:44:57 GMT

Bonne question! :roll:

Re: Import FTP: JavaException

rguinot — Wed, 29 Oct 2008 12:55:56 GMT

De mémoire, il faut reconfigurer certains beans dans WEB-INF/classes/alfresco/content-services-context.xml pour mettre en place ce type de transformation, le plus propre étant de les redéfinir dans un fichier d'extension à vous.

Soit configurer les beans, soit augmenter le "score" d'openoffice, soit désactiver le transformer hssf pour qu'Alfresco choisisse automatiquement Openoffice à la place s'il est dispo.

Vérifier néanmoins que le mimetype excel est alors pris en charge par le transformer openoffice.

Re: Import FTP: JavaException

pocchakool_2685 — Mon, 03 Nov 2008 12:52:32 GMT

Bonjour,

Certains de mes documents Excel sont bien indexés mais ceux comportant des macros et des cellules calculées génèrent une exception comme le suppose plus haut nyakooza.

Openoffice parvient tout à fait à ouvrir mon fichier avec les macros mais l'indexation semble poser un problème.

Quelqu'un aurait-il une solution permettant de palier à mon soucis?

Steph