Sneller OCR en op een 64bit Processor

[RA7]

Hallo luitjes,
ik moet binnen kort een boel (rond 1 miljoen kranten) OCR'en.
Daarvoor moet ik ook een nieuwe pc aanschaffen. Nou wilde ik weten of OCR'en op een 64 bits processor sneller gaat? Of op een dual?

iemand een idee?

[Krypt]

Donnow; maar mijn gedachte zegt dat het niet veel uitmaakt.. Volgens mij is er weinig ocs software die geoptimaliseert is voor 64bit..

Misschien dat je Scansoft een mailtje kunt sturen (makers van Omnipage) hierover.

[RA7]

In dit geval zal dat Abby Finereader zijn, maar een goed id. Zal ze us mailen..:-)

[Bschnitz]

de dual cores zijn toch 64bit

[Verwijderd]

Woei, 1 miljoen kranten OCR'ren, klinkt als gekkenwerk. Maar idd Abby Finereader is wel het beste pakket. Maar ik denk dat je nog het meeste tijd kwijt bent met die krant onder de scanner leggen, en het scannen op zich (of hoe ga je dat doen?).

[Bschnitz]

ik denk dat hij zijn kleine broer 2,50 per uur gaat geven ^^

[Aapje]

Word je per uur betaald?
Neem dan een langzame pc.

Word je betaald voor de hele klus.
Neem dan een snelle

Edit: Volgens mij maakt 't eik niet eens zo veel uit hoesnel de pc is, OCR van mijn scanner heeft minimaal een 400 mhz bak nodig

[ Voor 37% gewijzigd door Aapje op 03-06-2005 15:14 ]

[nexhil]

Bschnitz schreef op vrijdag 03 juni 2005 @ 15:11:
ik denk dat hij zijn kleine broer 2,50 per uur gaat geven ^^

dan nog is hij een fortuin kwijt

1 miljoen daar doe je in je eentje echt wel 20 jaar over ofzo.

[McKaamos]

Bschnitz schreef op vrijdag 03 juni 2005 @ 15:08:
de dual cores zijn toch 64bit

hoeft niet... intels dualcores zijn toch ook niet allemaal 64bit?
en met dual kan je ook refereren naar dualprocessor, en dan kan het ook heel goed dat het gewoon 32bit is

[Bschnitz]

maar ik bedoel wie vraagt je ook om 1 mil krante te scanne.. google,microsft, of de plaatselijke bib?

1 mil is gewoon ziek en ik zou het allen maar doen voor VEEEL geld ^^

[Mud.Starrr]

RA7 schreef op vrijdag 03 juni 2005 @ 15:00:
Hallo luitjes,
ik moet binnen kort een boel (rond 1 miljoen kranten) OCR'en.
Daarvoor moet ik ook een nieuwe pc aanschaffen. Nou wilde ik weten of OCR'en op een 64 bits processor sneller gaat? Of op een dual?

iemand een idee?

Ik denk dat dat weinig uitmaakt, koop een hele snelle scanner in de plek. (en een hoop personeel).

[Krypt]

FireWurX schreef op vrijdag 03 juni 2005 @ 15:16:
[...]

hoeft niet... intels dualcores zijn toch ook niet allemaal 64bit?
en met dual kan je ook refereren naar dualprocessor, en dan kan het ook heel goed dat het gewoon 32bit is

Ik denk dat ie bedoelt: 2x32bit=64bit...

Maar grapjes gaan kapot door de uitleg..

[rapture]

Waarschijnlijk zijn die kranten al ingescan, dus nu vollenbak door OCR draaien. Ik zou direct naar een dualcore gaan, deze geeft gewoon performance van 2 highend pc's naast elkaar.

En als iemand begint met dual-core is reteduur wegens 500+ euro. Reken dan eens uit wat een Tyan 500 euro mobo + 2 Opterons van 200+ euro + Registered ECC ram kost, dat gaat snel over de 1000 euro.

OCR is meestal ouwe zooi, dat 32bit en single threaded is. Geen probleem, we laten de AMD Athlon64 X2 gewoon in een Windows XP 32bit draaien en 2de core houden we bezig met 2x OCR tegelijkertijd draaien.

Hoe performant is OCR eigenlijk? Hoelang duurt het om een scan van 1 krantenpagina om te OCR'en? Als dat in enkele seconden gedaan is, dan draait onze computer sneller dan dat je kan klikken in de OCR-programma's. Dan is een batch-modus erg belangrijk. Hoedan ook, 1 miljoen krantenscans kan klikken is ook om gek van te worden.

[ Voor 19% gewijzigd door rapture op 03-06-2005 15:24 ]

[Verwijderd]

Ik volg ook niet helemaal wat je hebt aan 1 miljoen kranten OCRen, het foutpercentage is nog steeds erg hoog.

[RA7]

rapture schreef op vrijdag 03 juni 2005 @ 15:22:
Waarschijnlijk zijn die kranten al ingescan, dus nu vollenbak door OCR draaien. Ik zou direct naar een dualcore gaan, deze geeft gewoon performance van 2 highend pc's naast elkaar.

En als iemand begint met dual-core is reteduur wegens 500+ euro. Reken dan eens uit wat een Tyan 500 euro mobo + 2 Opterons van 200+ euro + Registered ECC ram kost, dat gaat snel over de 1000 euro.

OCR is meestal ouwe zooi, dat 32bit en single threaded is. Geen probleem, we laten de AMD Athlon64 X2 gewoon in een Windows XP 32bit draaien en 2de core houden we bezig met 2x OCR tegelijkertijd draaien.

Hoe performant is OCR eigenlijk? Hoelang duurt het om een scan van 1 krantenpagina om te OCR'en? Als dat in enkele seconden gedaan is, dan draait onze computer sneller dan dat je kan klikken in de OCR-programma's. Dan is een batch-modus erg belangrijk. Hoedan ook, 1 miljoen krantenscans kan klikken is ook om gek van te worden.

hoe bedoel je: Geen probleem, we laten de AMD Athlon64 X2 gewoon in een Windows XP 32bit draaien en 2de core houden we bezig met 2x OCR tegelijkertijd draaien.

1 krantenpagina duurt ongeveer 1 min.
En ja 1 miljoen is bveel, maar dit gaat om alle kranten van de Amersfoortse Courant van 1895 tot
1975 zo om en nabij..;-)

De Koninklijke Bibliotheek heeft ook al zoiets gedaan.
http://kranten.kb.nl/index.html

En ja deze kranten moeten ook nog in een database.

[RA7]

Verwijderd schreef op vrijdag 03 juni 2005 @ 15:23:
Ik volg ook niet helemaal wat je hebt aan 1 miljoen kranten OCRen, het foutpercentage is nog steeds erg hoog.

Jep, de oudere kranten van begin 1900 hebben een slechte drukwerk kwaliteit.
maar ik batch eerst de in kleurgescande kranten in photoshop. Dat helpt een beetje.

[Verwijderd]

RA7 schreef op vrijdag 03 juni 2005 @ 15:33:
Jep, de oudere kranten van begin 1900 hebben een slechte drukwerk kwaliteit.
maar ik batch eerst de in kleurgescande kranten in photoshop. Dat helpt een beetje.

Ligt er helemaal aan wat je er natuurlijk uiteindelijk mee gaat doen. Je moet er echter niet heel veel van verwachten, ik spreek hier uit hands-on ervaring met eenzelfde opdracht.

[RA7]

Verwijderd schreef op vrijdag 03 juni 2005 @ 16:01:
[...]


Ligt er helemaal aan wat je er natuurlijk uiteindelijk mee gaat doen. Je moet er echter niet heel veel van verwachten, ik spreek hier uit hands-on ervaring met eenzelfde opdracht.

Nou de text moet in een database, searchable worden.
Dus als mensen een woord bijv. huis zoeken. Dan krijgen ze de originele scan in Topview, met een highlight over het woord huis. (of ik dit in PDF of XML ga doen moet ik nog uitzoeken).
Maar het lijkt mij dat de zelfstandige naamwoorden het belangrijkst zijn, dus die moeten eigenlijk foutloos. Maar wat voor opdraxcht heb jij dan gedaan? (PM me anders ff voor we off-topic raken... )

[rapture]

RA7 schreef op vrijdag 03 juni 2005 @ 15:31:
hoe bedoel je: Geen probleem, we laten de AMD Athlon64 X2 gewoon in een Windows XP 32bit draaien en 2de core houden we bezig met 2x OCR tegelijkertijd draaien.

1 krantenpagina duurt ongeveer 1 min.
En ja 1 miljoen is bveel, maar dit gaat om alle kranten van de Amersfoortse Courant van 1895 tot
1975 zo om en nabij..;-)

Je dubbelklikt op de OCR-programma en laat pagina 1 OCR'en. Dan dubbelklikt je nog eens op de OCR-programma, er start dus een 2de OCR-programma en laat pagina 2 OCR'en. Zo houd je de beide cores bezig.

[axis]

Als je eenmaal OCR software hebt uitgezocht, gewoon bellen met de fabrikant of leverancier, en vragen wat zij aanraden.. Zij weten ook het beste waarvoor ze de software hebben gecompiled

[Verwijderd]

Het probleem is dat huis nogal snel huls, nuls, nuis, etc kan worden. Hoe ga je dat doen?

[Verwijderd]

RA7 schreef op vrijdag 03 juni 2005 @ 16:21:

Het betrof automatische archivering van oa enqueteformulieren, en het automatisch converteren van geprinte magazines naar een web format waarbij een algoritme de relatie tussen tekst en afbeelding zelf ging uitzoeken. Ik denk dat de OCR van huidige kranten op zich best te doen is, maar ik betwijfel of je veel kwaliteit haalt op de oude kranten. Uitproberen dus.

[ Voor 11% gewijzigd door Verwijderd op 03-06-2005 16:35 ]

[Mud.Starrr]

RA7 schreef op vrijdag 03 juni 2005 @ 15:31:
[...]
...........
1 krantenpagina duurt ongeveer 1 min.
..................

Dat gaat dus 695 dagen duren als je 24 uur per dag de boel laat draaien.
Mischien slim om maatwerk software te laten maken daarvoor die het evt sneller,maar vooral automatisch kan doen.
Dan een UPS aan de PC hangen en de boel 1,9 jaar laten draaien.
Nou succes, maar het lijkt me onbegonnen werk.

[RA7]

Verwijderd schreef op vrijdag 03 juni 2005 @ 16:28:
Het probleem is dat huis nogal snel huls, nuls, nuis, etc kan worden. Hoe ga je dat doen?

Je kan een trainingfile aanmaken, maar soms is het drukwerk dichtgelopen, dus ja....

[RA7]

rapture schreef op vrijdag 03 juni 2005 @ 16:27:
[...]

Je dubbelklikt op de OCR-programma en laat pagina 1 OCR'en. Dan dubbelklikt je nog eens op de OCR-programma, er start dus een 2de OCR-programma en laat pagina 2 OCR'en. Zo houd je de beide cores bezig.

Aha, bedankt voor de uitleg.