topic Re: OCR Integration mit Dokumentindizierung in Alfresco Archive

OCR Integration mit Dokumentindizierung

marcus2012 — Fri, 27 Jul 2012 07:38:38 GMT

Hallo,ich arbeite zurzeit daran, eine auf OCR basierende Sortierlösung für hochgeladene eingescannte Dokumente einzurichten.Die Erkennung des Dokument-Inhalts funktioniert mit Tesseract und läuft auch soweit. Im zweiten Schritt suche ich nun eine Möglichkeit, den Text des gescannten Dokuments als Ei

Re: OCR Integration mit Dokumentindizierung

afaust — Fri, 27 Jul 2012 08:18:01 GMT

Hallo,

ich verstehe nicht ganz, wie man auf Basis des Dokumentinhalts sortieren möchte - oder ist hier ein bestimmtes Merkmal gemeint, dass aus der Seite extrahiert wird?
Ich würde den OCR erkannten Dokumentinhalt überhaupt nicht an einem Node speichern wollen - dieser wird "nur" für die Indizierung benötigt und sollte daher lediglich im Rahmen dieser extrahiert (Mimetype X => Text Transformer) und dann wieder verworfen werden. Wenn jedoch ein Sortiermerkmal (z.B. Seitenzahl / ID o.ä.) extrahiert wird, dann kann es als weiteres text-Property abgelegt werden und entsprechend Verwendung finden.

Das SDK habe ich schon eine Ewigkeit nicht mehr betrachtet und gerade nicht im Zugriff, um das entsprechende Sample zu prüfen.

Gruß
Axel

Re: OCR Integration mit Dokumentindizierung

marcus2012 — Fri, 27 Jul 2012 08:40:59 GMT

Danke für die schnelle Antwort.

Um es genauer zu formulieren: Der Text der durch das OCR-Tool erkannt wurde, soll einfach so hinterlegt werden, dass man hinterher einfach Regeln für den Inhalt definieren kann, nach welchen das Dokument dann hinterher verschoben oder kopiert werden kann. Des weiteren soll es auch über die Suche auffindbar sein.

Folgendes Szenario steckt dahinter:

Ein eingehender Brief wird eingescannt und in Alfresco hochgeladen, danach soll die OCR-Software den Inhalt erkennen. Der Inhalt soll dann dem Dokument zugeordnet werden, sodass man das Dokument auch über die Suche finden kann. Knackpunkt hierbei ist aber, dass die Dokumente als TIFF- oder andere Bilddateien erhalten bleiben sollen, nur eben ein zusätzliches Property bekommen.

Darum war meine Idee dahinter, dass ich einfach die Properties eines Nodes erweitere und darin dann den gescannten Inhalt hinterlege. Ich wollte eigentlich nur wissen ob das der richtige Weg wäre oder ob es einfachere und vor allem effektivere Wege gibt dies zu lösen.

Gruß,
Marcus

Re: OCR Integration mit Dokumentindizierung

afaust — Fri, 27 Jul 2012 10:23:47 GMT

Hallo,

also für die Suche muss wie gesagt kein extra Property angelegt werden - das wäre sogar etwas umständlicher, da man dann noch systemweit einstellen müsste, dass auch das neue Property bei einer einfachen Schlagwortsuche durchsucht wird, sonst bringt es nämlich nichts.
Für die Auswertung über Regeln oder Automatismen macht es natürlich Sinn. Es gibt hier im Grunde zwei Varianten: Eine neue Property als Text (Inhalt in Datenbank) oder Content (Inhalt im ContentStore, d.h. i.d.R. Festplatte). Ich würde letzteren wählen.

Eine bessere Lösung sehe ich kaum. Man könnte alternativ jedes Mal, wenn man die Daten braucht, erneut die OCR drüber laufen lassen und das nicht "doppelt" speichern, aber lasttechnisch ist das nicht unbedingt schön. Man sollte nur sicherstellen, dass die OCR nochmal läuft, sollte sich das gescannte Dokument ändern (erster Scann schlecht => Wiederholung => neue Version).

Gruß
Axel

Re: OCR Integration mit Dokumentindizierung

marcus2012 — Fri, 27 Jul 2012 10:39:24 GMT

Hallo,

danke für deine Einschätzung.

Mir ist schon bewusst, dass die Einführung eines neuen Property durchaus umständlich sein kann, dennoch wäre ich aber gewillt diesen Weg zu gehen, auch in dem Bewusstsein das dies dann etwas länger dauern könnte.

Was denkst müsste ich an Zeit investieren, wenn ich das jetzt wirklich so umsetzen würde (Änderung der Suche, Erweiterung der Properties, etc.)?

Gruß,
Marcus

Re: OCR Integration mit Dokumentindizierung

afaust — Fri, 27 Jul 2012 13:05:56 GMT

Hallo,

ich habe gelernt, bei Schätzungen sehr vorsichtig zu sein - gerade bei Alfresco spielt die Erfahrung und individuelle Neigungen (Script vs. Java u.ä.) eine sehr große Rolle und ich kenne den Gegenüber im Forum ja kaum. Ich persönlich würde mir, wenn ich das an deiner Stelle umsetzen würde, dafür etwas unter einem Tag (inkl. Tests aber ohne OCR / Tesseract Coding / Anpassungen) einplanen.

Gruß
Axel

Re: OCR Integration mit Dokumentindizierung

marcus2012 — Fri, 27 Jul 2012 13:19:57 GMT

Hallo,

ich danke dir für deine Einschätzung und Hilfe.

Da ich bei Alfresco mit meinen Erfahrungen erst am Anfang stehe, werde ich wahrscheinlich etwas länger wie du veranschlagt hast brauchen, aber das ist halb so wild.

Ich denke ich werde, sofern ich Fragen habe, eventuell noch einmal auf dich zurückkommen.

Gruß,
Marcus

Re: OCR Integration mit Dokumentindizierung

jalbersdorfer — Fri, 02 Dec 2016 15:45:23 GMT

Hi, hast du's hinbekommen? - Ich habe gerade das gleiche vor und frage mich ob es tatsächlich sein kann das so etwas nicht von mindestens allen anderen Alfresco Anwendern benötigt wird.

Habe ich was falsch verstanden? - oder sortieren andere Anwender ihren Content nicht automatisiert?

Darum geht's doch, oder?

Re: OCR Integration mit Dokumentindizierung

afaust — Fri, 02 Dec 2016 15:55:29 GMT

Es ist relativ unwahrscheinlich, dass Marcus auf einen neuen Post in diesem alten Thread reagiert. Es war soweit ersichtlich seine einzige Partizipation und das Forumsystem wurden jüngst erst auf eine neue Plattform migriert, so dass ggf. keine aktuelle Mailadresse hinterlegt ist bzw. er keine Zugangsdaten hat.

In der Tat werden automatisierte Ablagestrukturen / Sortierungen je nach Kunde/Organisation extrem unterschiedlich - wenn überhaupt - genutzt. In den meisten mir untergekommenen Organisationen wurde sehr stark mit einer organisch wachsenden Ablagestruktur gearbeitet. In anderen gibt es mehr oder weniger einmalig vorgegebene Strukturen und Inhalte wurden nach vorgegebenen Kriterien von Anwendern oder integrierten Fachanwendungen nach strikten Regeln abgelegt.

Der Bedarf für automatische Klassifizierung und Datenextraktion durch OCR war bisher nur in speziellen Anwendungsfällen gefordert. Z.B. im Kontext von Mailroom-Automatisierungen. Hierzu gibt es aber schon andere, spezialisierte Software die mit Alfresco integriert werden kann, so dass diese Funktionen selten in Alfresco selber gebraucht waren. Ephesoft, Kofax, ABBYY und Co. sind hier gängige Anbieter.

Re: OCR Integration mit Dokumentindizierung

jalbersdorfer — Fri, 02 Dec 2016 16:11:36 GMT

Hallo Axel,

vielen Dank für deine schnelle Antwort. In der Tat geht es bei mir primär um eine "Mailroom-Automatisierung". - Also um die Eingangspost-Erfassung. Jedoch mache ich das nur für mich selbst und meine persönliche Post, weshalb für mich nahezu keine kommerzielle Lösung in Frage kommt. - Gibt's da auch was aus dem OpenSource Bereich?

Da ich gerade erst mit Alfresco gestartet bin, komme ich mit der Volltextsuche noch ganz gut klar.

Ich kann mir jedoch vorstellen das sich das mit der Zeit ändert, wenn die Dokumenteflut zunimmt.

Dann wäre eine Tag- oder Aspectbasierte Filterung / Sortierung sicher vorteilhaft.

Re: OCR Integration mit Dokumentindizierung

afaust — Fri, 02 Dec 2016 16:22:43 GMT

Also Ephesoft gibt es auch als eine Community Edition, wobei ich mir die noch nicht näher angeschaut habe.

Im Endeffekt gibt es zwei Fragen: Wie kommen die Daten für eine Filterung / Sortierung ins System, und wie kann das in der Ansicht dargestellt werden. Für letzteres gibt es in Alfresco schon ausreichend Mittel per Facettierte Suche, Smart Folders oder einfach auch Regelwerke, die Dokumente nach bestimmten Metadaten ablegen.

Es bleibt in der Regel also nur die Frage nach dem Umfang / Art der Datenerfassung. Hier kommt es auf den Durchsatz an. Bis zu einer handvoll Dokumente am Tag bin ich ehrlich gesagt der Meinung dass die manuelle Erfassung zumutbar ist und der Aufwand einer technischen Lösung (Extraktion + automat. Klassifikation) i.d.R. in keinem Verhältnis zum geringen Mehrwert steht. Ein-Platz Lösungen von Scan/OCR Herstellern liegen i.d.R. <= 1.000,- € und sind daher meist günstiger als selbstgebaute Lösungen, zumindest wenn man seine eigene Freizeit sauber fakturiert.

Mit ein paar sauber konfigurierten Masken in Alfresco, sinnvoller Metadaten-Definition (Wertelisten) und ein paar kleinen Regelwerken lässt sich viel erreichen und auch eine größere Menge an rein privaten Dokumenten recht effektiv verwalten.

Re: OCR Integration mit Dokumentindizierung

res44 — Fri, 10 Feb 2017 17:03:59 GMT

Hallo Jürgen und Marcus

warum lasst Ihr eure Scan-& OCR-Software nicht das Dokument als PDF/A abspeichern: Dann sieht man im Vordergrund das gescannte Bild und dahinter ist der OCR-te Text hinterlegt.

Ich denke, dass alfresco dieses PDF ganz einfach nach Upload indiziert und auf Wunsch wiederfindet.

oder braucht Ihr was besonderes?

Gruss

Andreas