Importacion Masiva (RESUELTO Y CERRADO)

[pjcaracuel_2349]

Buenas,

Tengo que ponerme manos a la obra con una importación masiva de documentacion a Alfresco y he considerado DOS posibles escenarios para realizarla, por ello me gustaria contar con vuestra "sabiduria" con vistas a escojer la opción mas facil y/o practica, dado que como minimo dicha importacion constaria de no menos de 800.000 documentos.

Escenario 1:

Generar un fichero de texto plano con los datos de los registros a importar.
Construir una clase java con webservices que leyendo de este archivo, suba el documento a Alfresco, lo catalogue (asignar valores a los metadatos) y lo mueva a su ubicación correspondiente en base a ciertos valores de los metadatos.

Escenario 2:

Subir via FTP los documentos a Alfresco dentro de un espacio "provisional" que solo se usaria para esta primera fase, luego seria borrado.
Construir una clase java que mueva (desde este espacio provisional al espacio final en base a ciertos valores de los metadatos)y catalogue los documentos en base a los metadatos obtenidos en una consulta a BBDD.

Como no tengo experiencia en importaciones masivas ni mucho menos de tanto volumen, me gustaria conocer vuestras opiniones. Ni que decir tiene que si planteais otros escenarios, serán tambien bien recibidas.

Saludos

[pjcaracuel_2349]

Oki,

Al final creo que voy a probar una tercera via, pero necesito que alguien me oriente a ver si puede ser posible.

Creo un fichero de texto separado con comas para cargar los valores de los metadatos.
Crear un js que mueva y catalogue los documentos en su ubicacion definitiva.

Mi pregunta es, sabe alguien como abrir y leer un fichero "*.txt" via javascript?

Gracias

[fstnboy]

Yo no sé mucho de JavaScript, pero por lo que he leido no se puede leer/escribir de/en recursos o disco…
http://www.webdeveloper.com/forum/showthread.php?t=36451

Quizás alguien sabe cómo hacerlo.

[pjcaracuel_2349]

Bueno yo tampoco controlo mucho, pero como he visto que en Alfresco puedes crear un script que escriba en un fichero de texto, entiendo que el leerlo tampoco seria dificil, pero claro, hay que saber como.

Saludos

[eshu]

Hola

Yo no tengo muchas experiencia con alfresco, pero estoy participando en un desarrollo en el que también debe hacerse una carga
de documentos (unos cuantos aunque no tantos como tú) y se ha optado por mapear un nodo de alfresco a una carpeta CIFS.
Se ha creado también una regla en la carpeta mapeada que se aplica a todos los nuevos nodos que se creen en la misma. La acción se ocupa de renombrar los nodos entrantes, pero tú podrías tener una que se ocupara de moverlos a donde se deba

Lo del CIFS está muy bien, porque puedes arrastrar los documentos de una ventana del explorador de windows a la otra

Saludos

[pjcaracuel_2349]

La opcion de CIF o FTP es la que contemplo, pero el unico pero es que, para poder mover los documentos mediante reglas, primero he de leer, o bien un registro en bbdd o bien una linea de un fichero plano donde tendria los valores de los metadatos que quiero aplicar y que tambien me servirian para definir la ruta del documento dentro de Alfresco.

Con java se que se podria hacer de una manera facil, es mas asi pense en su momento  hacerlo, pero me surgue la duda si con javascript se podria hacer tambien, puesto que seria mucho mas facil de hacer (al menos para mi)

Saludos

[ajv]

Hola Pedro,

Hasta el momento no me he tenido que meter en temas de cargas masivas tan masivas  :lol: …y no sé qué alternativa es la mejor, dependerá de la cantidad de documentos, del procesamiento a realizar (si, por ejemplo las reglas de asignación de metadatos son más o menos complicadas) etc.
Aún así, a ver si te doy alguna opción más: ¿Has contemplado la posibilidad de definir un comportamiento (un behaviour)? Podrías definirlo de forma que cada vez que se creara un nodo que cumpla una serie de condiciones (por ejemplo, que sea del tipo X y esté ubicado dentro del espacio "Carga masiva") pues incorporarle un conjunto de metadatos.
Los metadatos podrían residir en un fichero ya dentro de Alfresco, con lo cual lo tendrías fácil para obtener el contenido de dicho fichero a través del API. Creo que esto también lo podrías hacer para el caso del javascript, para facilitar el acceso al contenido del fichero de metadatos. Incluso la información de dichos metadatos los podrías tener en alguna BD, de forma que lanzando alguna query pudieses obtenerlos para asignarlos al nodo en cuestión que se acaba de crear.

También hay que tener en cuenta que esto de las cargas masivas, en principio es realizarlo una vez y listo. Por tanto, el tema de seleccionar la mejor de entre todas las alternativas quizás no sea tan crítico.
Bueno, ya contaréis por dónde se decide el asunto.

Saludos!

[pjcaracuel_2349]

Hola Adrian,

Lo primero felicitarte por tu nuevo reconocimiento, y ya metidos en el asunto, solo me queda una duda, via javascript no se como acceder a una bbdd externa a Alfresco y si seria eficiente el incorporar el archivo de metadatos a Alfresco porque haciendo pruebas de volcado, me daria un fichero de unos 50 MB.

Se me ocurre y quizas seria lo mas eficiente, volcar via CIF o FTP todos los documentos a Alfresco.

Luego mediante un programita, catalogar y mover el documento a su ubicacion definitiva, entiendo que aunque quizas me cueste un poco mas (tendre que desempolvar mis conocimientos de programacion), intentare hacerlo lo mas generico posible, de forma que lo pueda reutilizar en futuras importaciones.

Saludos

[ajv]

Buenas,

Gracias por la felicitación…que, por cierto, vas en camino de ser el siguiente 'chumbero' 
Cuando hablaba del javascript me refería a manipular el fichero de metadatos ya existente en el repositorio mediante el propio API de Alfresco.

Personalmente miraría de transferir todos los documentos por CIFS o FTP y mediante un comportamiento gestionar cada una de las entradas.
La ubicación de los metadatos podría estar tanto en el sistema de ficheros, como en BD. Si tu idea es generalizarlo, podrías crearte un servicio de acceso a metadatos y, en función de la implementación, que atacase una base de datos o un sistema de ficheros, o lo que sea…

Saludos!!

[pjcaracuel_2349]

Bueno gracias a todos por las sugerencias (ya habeis sido recompensados), en cuanto a lo del proximo chumbero….. esperare a que te cojas unas vacaciones  :lol:

Saludos

PD: Si mas adelante necesitais algo parecido no dudeis en pedirme ayuda.