Advies gevraagd bij samenstelling pc om te OCR-en

[Verwijderd]

Hallo

Ik heb advies nodig voor het samenstellen van een snelle pc. De pc wordt gebruikt om gescande documenten te OCR-en (met tekstherkenningssoftware van Adobe en tesseract) en om images (tif, bmp, jpg) en Office-documenten te converteren naar pdf.

Per keer worden 100 pagina's tegelijk gescand met een documentscanner. Het verwerken van de scans duurt 10 seconden per scan, dus 1 scansessie duurt 1000 seconden (ruim 15 minuten). Per dag moeten wel 1000 pagina's worden gescand. In theorie duurt het dus ruim 2,5 uur, maar in de praktijk zijn we hier de hele dag mee bezig.

Ik ben nu op zoek naar een snelle computer om het werk wat soepeler te laten verlopen. Het lijkt mij dat het vooral een snelle processor en snel geheugen moet zijn.

MyCom adviseerde mij de volgende pc:
processor: Intel Quad Core Q9300 s775,2.5GHz,1333MHz,6MB,BOX (229 EUR)
geheugen: 2x Corsair 2048MB XMS3-1333,DDR3 13333MHz (200 EUR)
moederbord: ASUS P5E3.s775 ATX, X38,DDR3,2xPCIe,1394 (160 EUR)
harde schijf: 2x WD 500GB, Caviar SE16 SATAII,7200rpm,16MB (140 EUR)

dvd-brander: LG DVR 20x DL SATA (30 EUR)
videokaart: ASUS EN8500GT Silent (65 EUR)
voeding: Corsair ATX, 520W (80 EUR)
cooler: Cooler Master 690 Tower Case (70 EUR)
O.S.: Windows XP

Wat vinden jullie? Voor het OCR-en en converteren naar PDF lijkt me vooral de processor en geheugen belangrijk. Ben benieuwd naar de reacties.

Groet,
Leonard

[Outerspace]

Ik zou persoonlijk een andere harde schijf er in zetten; namelijk een 10000 rpm schijf Deze zijn toch een tikkeltje sneller als een 7200 rpm schijf

[gambieter]

Kijk eens in het Best Buy Guide topicoverzicht, dit is iets waar je zelf goed mee aan de slag kunt. Zie ook de CSL FAQ, waar adviezen in staan. Denk ook aan voldoende schijfruimte en backupmogelijkheid

[GENETX]

Ik denk dat het belangrijkste is dat de OCR software overweg kan met een quadcore. Het is wel heel leuk om er een snelle quad in te gooien, maar zolang ie daar nisk mee doet staan 3 van de 4 cores uit hun neus te vreten.

Daarnaast denk ik idd ook dat een snelle raptor of misschien wel SSD mocht het budget dat toelaten goed is. De belangrijkste bottleneck in een PC is nog altijd je harde schijf.

Voor alle duidelijkheid, het gaat hier om reeds gescande documenten die al in digitale vorm aanwezig zijn op de HDD en alleen moeten worden verwerkt?

[ Voor 83% gewijzigd door GENETX op 26-07-2008 12:50 ]

[CodeCaster]

Je zult zelf moeten gaan meten waar het op dit moment spaak loopt, anders wordt het voor ons ook koffiedik kijken.

Probeer na te gaan welke stappen van het scannen zwaar zijn. Het scannen van het beeldmateriaal wordt door de scanner zelf gedaan en zal weinig CPU-kracht kosten, maar wel veel geheugen. Hoeveel? Is het ook maar zinnig om meer dan 2 GB geheugen in de aan te schaffen PC te steken? En hierna het OCR'en, is je CPU hierbij erg hard bezig, en kijk ook hier weer naar het geheugengebruik...

Kortom: meten is weten. Wanneer je de eisen vast hebt liggen kun je hier hardware bij gaan uitzoeken, en ook dat kun je zelf nog

[leuk_he]

Lijkt me niks mis mee.
-windows XP kan maar 3 Gb van de 4 gebruiken. Voor zo'n duur geheugen is dit toch jammer Echter voor dual channel geheugen heb je toch 2x2 nodig. Als je applicatie niet zoveel geheugen gebruikt (kun je nu al in task manager bekijken) dan zou 2x1 ook genoeg zijn.
-Weet je of tesseract/adobe goed multithreaded is? zou jammer zijn om er een quadcore n te stoppen en te ontdekken dat hij maar 25% cpu gebruikt.
-Als de scans tussentijds naar disk worden geschreven moeten deze snel zijn. Als scans soms een paar dagen op de scan pc blijven staan heb je wellicht meer diskruimte nodig om te zorgen dat de disk(s) niet volloopt.

ik weet niet hoeveel die scanner kost, maar 2 scanstations zijn uiteraard sneller dan 1 scan station als je 2 stations door 1 persoon kunt laten bedienen. het verschil tussen 2,5 uur en een dag (8uur) is ook wel erg groot.

Ik weet ook niet wat voor soort pc er stond, maar als je voor ddr2 & e8400 & geïntegreerde graphics gaat dan kun je 2 pc's kopen waar je er nu 1 neer kunt zetten. (maar dat valt of staat of je applicatie 4 cores kan gebruiken. )

[GENETX]

Denk idd dat het goed is dat je eerst het volgende aan ons doorgeeft:

1. Systeem specs van het huidige bakje
2. Resources die dat neemt (ctrl+alt+del) over het totale systeem
3. Resources die dat programma opeist (geheugen en cpu verbruik)(tab processen in ctrl+alt+del)
4. Links naar producten en exacte namen van de gebruikte producten

Edit: Even zelf gezocht, volgens mij is Tesseract NIET multithreaded, dus heeft een quadcore weinig nut.. Nu ff adobe bekijken.

Edit2: Adobe zo te zien ook niet.. Er zijn wel andere pakketten, dan zouden jullie wat nieuws moeten gebruiken denk ik. Anders volstaat de E8500 wel als snelste dual core.

http://www.google.com/sea...ual+core+OCR&start=0&sa=N

[ Voor 39% gewijzigd door GENETX op 04-07-2008 12:30 ]

[Verwijderd]

Dank voor alle adviezen!

De digitaliseringssoftware (genaamd Dr.Index) heb ik zelf geschreven in vbscript. Ik heb wel verstand van software, qua hardware ben ik een leek (hoop niet dat ik als niet-tweaker wordt verwijderd van de site).

Heb net allemaal tellertjes ingebouwd in de software om te meten hoe lang de computer doet over elk onderdeel. De meeste handelingen worden binnen een fractie van een seconde uitgevoerd. Een paar handelingen duren langer:
- converteren van office-documenten naar pdf m.b.v. OpenOffice duurt gemiddeld 5 seconden per bestand
- converteren van image-bestanden (bmp, jpg, tif, png, etc.) m.b.v. img2pdf naar pdf duurt gemiddeld 5 seconden per bestand
- OCR-en van een pdf-bestand met Adobe duurt gemiddeld 10 seconden per bestand
- OCR-en van een pdf-bestand met tesseract duurt gemiddeld 6 seconden per bestand (ocr-en met tesseract heb ik ingebouwd als alternatief voor ocr-en met Adobe, omdat te traag is)
- maken van een thumbnail (met ImageMagick) duurt gemiddeld 1,5 seconden per bestand
Om de digitaliseringssoftware sneller te laten verlopen kan ik met bovenstaande punten de grootste winst behalen, vooral met het OCR-en (met Adobe of met tesseract) en met het converteren naar pdf (met OpenOffice en met img2pdf).


Welk onderdeel van de computer voert het OCR-en uit? Adobe of tesseract (beiden worden gebruikt) laadt volgens mij eerst een bestand van de harde schijf naar het geheugen (= dus een goede koppeling nodig tussen schijf en geheugen lijkt me, of niet?) en gaat dan bewerkingen uitvoeren op het bestand wat in het geheugen staat (dat doet de processor, of niet?)

Ben geen tweaker, maar probeer te begrijpen wat er gebeurt. Met het converteren van het ene bestand (word of jpg of iets dergelijks) gaat het net zo, toch? Van de schijf naar het geheugen en op hetgeen in de geheugen staat bewerkingen los laten (converteren naar pdf), dat laatste doet de processor.

Praat ik nu heel dom, of niet? GENETX, thanks dat je me nog niet gekickt hebt, hoop niet dat je het nu wel doet
Je vraag: Voor alle duidelijkheid, het gaat hier om reeds gescande documenten die al in digitale vorm aanwezig zijn op de HDD en alleen moeten worden verwerkt?
Antwoord: Nee, eerst worden papieren gescand met Adobe en direct daarna gescand en opgeslagen als pdf (met bv 100 pagina’s). De volgende stap is het verwerken van het geOCRde pdf-bestand: de software gaat bestanden splitten, pagina’s lezen en op basis van de inhoud documenten bij elkaar voegen.


CodeCaster: idd, meten is weten. Door tellertjes weet ik nu de tijdsduur van verschillende handelingen.

1 Systeem specs van het huidige bakje
De software is ontwikkeld op een oude Medion-computer van de ALDI (een oud rammelbakje waar ik nu achter zit): Windows XP Home Edition; Pentium 4 CPU 2.60 GHz; Kloksnelheid: 2.61 GHz, 1.00GB geheugen.

De software is geinstalleerd en wordt gebruikt op een Fujitsu-Siemens Scaleo Pi-2522XM met Windows Vista en met een Intel Core 2 Quad Q6600 – processor en met 4 GB RAM.

Het verschil in snelheid tussen deze 2 computers niet zo groot als ik verwacht had: OCR-en op oude XP duurt duurt 10 seconden, op de nieuwe Vista-computer 8 seconden. Ik dacht dat Vista misschien traag was, omdat ik het volste vertrouwen had in de snelle Intel Core 2 Quad – processor, maar ik begrijp nu dat een Quad wellicht zinloos is als de software dat niet ondersteunt.

2. Resources die dat neemt (ctrl+alt+del) over het totale systeem

Scannen: heb nu geen beschikking over de scanner, maar weet dat CPU dan laag is.
OCR-en met Proffesional 8.1: 100%
Splitten en plakken van bestanden: 100%

3. Resources die dat programma opeist (geheugen en cpu verbruik)(tab processen in ctrl+alt+del)
Afhankelijk van waar programma mee bezig is:
OCR-en: Adobe 99 CPU
OCR-en: Tesseract 99 CPU
Dan: ImageMagick: 70 CPU
Dan: ImageMagick: 90 CPU
Dan: ImageMagick: 90 CPU
Soffice.bin 52 CPU
Soffice.bin 80 CPU

Soffice is openoffice (om word naar pdf te converteren)

4. Links naar producten en exacte namen van de gebruikte producten
Acrobat Professional 8.1
Tesseract (http://code.google.com/p/tesseract-ocr/ )
OpenOffice 3 (http://download.openoffice.org/3.0beta/ )
img2pdf ( http://www.verypdf.com/tif2pdf/tif2pdf.htm )


Heel veel text: Even een samenvatting:
Ben op zoek naar een computer die snel kan OCR-en (met Adobe en tesseract) en die snel bestanden kan converteren (met OpenOffice en img2pdf).

[leuk_he]

GENETX schreef op vrijdag 04 juli 2008 @ 12:13:
3. Resources die dat programma opeist (geheugen en cpu verbruik)(tab processen in ctrl+alt+del)
4. Links naar producten en exacte namen van de gebruikte producten

Geheugen vertelt of het zinvol is er 4 GB ipv 1 GB in te steken.

Uit je verhaal wordt nog wel wat duidelijk:
-Aangezien je zelf het systeem aan elkaar hebt genoopt met vbs scripjes heb je wellicht ook de mogelijkheid meer ge parreliseren: dus 4 OCR sessies tegelijk om je quadcore maar helemaal bezig te houden. Als je daar inderdaad in de toekomst mogelijkheden voor ziet dan kan het toch de moeite waard een quadcore (dan wel een 97xx serie?)

Aangezien je waarschijnlijk met veel tussenbestandjes werkt moet de disk ook snel zijn.
-Kijk eens naar raid. Meer disken zijn sneller.
-Disable antivirus op je data directories. Die gaat vaak namelijk office bestanden doorscannen op macros.

[GENETX]

Tweaker is ook een ruim begrip . Het topic gaat nu zeker niet meer dicht hoor, zolang mensen zich maar inzetten is het goed. Dat laatste doe je nu zeker! Doordat we je niveau nu weten werkt het uitleggen ook makkelijker. Ik kan wel met termen gooien, maar als je niet weet wat het is wordt het lastig

Dat terzijde, kun je ook nog kijken hoeveel geheugen het OCR programma inneemt? Dat staat ook bij processen. Ik neem aan dat het geheugen niet vol raakt, zelfs niet die ene 1GB*

*) Mocht het dat wel doen, stop dan 4GB ipv 2GB in het systeem dat ik adviseer.

Mijn advies:

CPU
Intel Core 2 Duo E8500. Dit is de snelste dualcore. Zoals je weet heeft een quadcore weinig zin. De OCR software kan hier grofweg 3x zo snel op werken als op je oude CPU wleke nu al totaal wordt belast.

Geheugen
Neem DDR2 1066MHz geheugen. Extreem duur DDR3 geheugen zal echt niet zoveel uitmaken. Misschien 2%. Die is te verwaarlozen wat mij betreft. 2GB zou genoeg moeten zijn. Neem gewoon een A-merk dualchannel kit

Moederbord
Neem gewoon een goed moederbord dat aan de eisen voldoet en die de CPU ondersteund

Videokaart
Idem, de geselecteerde 8500GT is al prima.

Harde schijf
Hier ligt je bottleneck. Waarschijnlijk wordt je totale verwerkingstijd hier bepaald. Punt opzoeken, wegschrijven... Daar gaat iets niet goed. Ik zou het HDD deel in 2 delen opslitsen:

1. OCR deel
Hierop worden de PDF-jes gezet die moeten worden verwerkt en worden hier ook opgeslagen. Deze moeten dus heel snel zijn. Opslag capaciteit lijkt me niet het grootste probleem, snelheid dus wel. Er zijn 2 opties (afhangende van het budget):

1. Soloid State Disk [SSD]
Deze zijn anders als de normale HDD's en bestaan uit flash geheugen dat je ook terug vindt in geheugenkaarten. Ze zijn nog wel duur, maar ook razendsnel met schrijven, lezen en zoeken. Als het budget het toelaat zijn 2 van deze schijven in RAID 0 al helemaal geniaal.

2. Raptor Hardeschijven.
Normale schijven draaien op 7200 toeren per minuut. Deze werken op 10000 toeren per minuut wat ze aanzienlijk sneller maakt. Hier is een opstelling van 2 schijven in RAID 0 al helemaal een vereiste gok ik.

Windows en opslag
Windows, programma's kunnen op een gewone schijf. Hangt er even vanaf hoeveel capaciteit er nodig is. Daarnaast kun je aan de eind van de dag de verwerkte documenten ook naar deze schijf verplaatsen om ruimte te maken op je snelle schijven.

Info over RAID: Wikipedia: RAID

Ik hoop dat je hier wat mee kunt!

Edit:

leuk_he schreef op vrijdag 04 juli 2008 @ 17:30:
Uit je verhaal wordt nog wel wat duidelijk:
-Aangezien je zelf het systeem aan elkaar hebt genoopt met vbs scripjes heb je wellicht ook de mogelijkheid meer ge parreliseren: dus 4 OCR sessies tegelijk om je quadcore maar helemaal bezig te houden. Als je daar inderdaad in de toekomst mogelijkheden voor ziet dan kan het toch de moeite waard een quadcore (dan wel een 97xx serie?)

Aangezien je waarschijnlijk met veel tussenbestandjes werkt moet de disk ook snel zijn.
-Kijk eens naar raid. Meer disken zijn sneller.
-Disable antivirus op je data directories. Die gaat vaak namelijk office bestanden doorscannen op macros.

Ook zeer goede tips inderdaad. Wanneer je kans ziet om meerdere bestanden in 1 keer te verwerken dan zou een Quadcore wel handig zijn. 4x de OCR software starten en aansturen. Dat zou mogelijk moeten zijn.

Overigens zou ik voor Windows XP kiezen, of Windows Vista goed strippen (bv indexing uitzetten) om de performance extra hoog te houden. Eigenlijk zou de OCR HDD geen schijfactiviteit mogen kennen behalve het schrijven en lezen voor de OCR zelf. Virusscanner zou je idd het best gewoon kunnen uitzetten en je PC niet op het web aansluiten.

[ Voor 19% gewijzigd door GENETX op 04-07-2008 19:02 ]

[RemcoDelft]

leuk_he schreef op vrijdag 04 juli 2008 @ 17:30:
[...]
Aangezien je waarschijnlijk met veel tussenbestandjes werkt moet de disk ook snel zijn.
-Kijk eens naar raid. Meer disken zijn sneller.
-Disable antivirus op je data directories. Die gaat vaak namelijk office bestanden doorscannen op macros.

Hoe groot zijn de tempfiles? Anders is een ramdrive wellicht een goede optie, hoewel ik verwacht dat het comprimeren meer tijd kost dan het naar disk schrijven, en daarna zit het nog in het filecache (afhankelijk van het formaat).
Zeker dingen als ImageMagick moet je prima parallel kunnen starten met de juiste scripting, dan kan je zoals gezegd al je cores benutten.

[The Eagle]

Misschien een gekke vraag, maar hoe is die scanner aangesloten? welke scanner hebben we het eigenlijk over
Me dunkt dat als het ding op een USB 1.1 hangt of slechts uitspuugt, je een stuk tijdwinst zou kunnen hebben door hem bij wijze van spreke op een LAN-verbinding of USB2.0 of firewire te hangen. Kan ie zijn data een stukje sneller kwijt.
Ik kan me namelijk nauwelijks voorstellen dat een snelle PC dit soort dingen lastig zou vinden, en het kan heel goed zijn dat je bottleneck ergens anders zit dan in je PC

[RemcoDelft]

Even wat anders: als je 1000 vel per dag wilt scannen, is een dedicated PDF scanner dan geen optie? Ik weet dat die dingen bestaan, papier er in, PDF er uit! Of wellicht dat de OCR-stap dat lastig maakt?

[GENETX]

Dar ligt het probleem ook niet. Dat gaat normaal vrij langzaam en daar doe je niks aan. Ik neem aan dat de TS daar echt wel een geautomitiseerd iets voor heeft zoals RemcoDelft aangeeft. Als ik de TS zo lees dan wordt daar wel gebruik van gemakt. Ik kan nl zelf niet 100 pagina's scannen in 15 minuten met een flatbedje

[buggienuk]

Aangezien veel mensen hier een raptor aanraden om alle data snel weg te schrijven ga ik er vanuit dat ze natuurlijk de velociraptor bedoelen. Zie Nieuwe Western Digital (Veloci) Raptor.. Ik heb even de twee belangrijkste grafieken uit dat topic gehaald;


Bij alletwee, hoe hoger hoe beter. Zeker als het gaat om steeds kleine stukjes data wegschrijven is een velociraptor aan te raden. Dit komt vooral door zijn accestime van 6.9ms. Op dit moment kost een schijfje van 300GB ongeveer €220,-

Indien TS voor SSD gaat, zie [SSD] Wat is er beschikbaar en werkt het ?. Dan met name ook de nieuwe serie van OCZ. Deze zouden redelijk goede specs moeten hebben, zeker als je naar de prijs kijkt. Deze gaan zo'n €155,- kosten voor een 32GB schijfje, €240,- voor 64GB en €405,- voor 128GB. En de specs;

code:

Read 120-143MB / sec 
Write 80-93MB / sec 
Slim 2.5" Design 
100.2 x 70 x 9.5mm 
Lightweight 77g 
Low Power Consumption 
Shock Resistant 1500G 
High-Capacity 32GB,64GB,128GB 
RAID Support 
MTBF 1.5 million hours 
2 year warranty

Part Numbers

Core 32GB - OCZSSD2-1C32G
Core 64GB - OCZSSD2-1C64G
Core 128GB - OCZSSD2-1C128G

De SSD komt vooral goed naar buiten door de extreem lage accestimes van 0,35 ms, dit is vooral handig als je veel kleine bestanden, verpreid over de schijf wilt gaan zoeken/gebruiken. De raptor heeft vooral veel doorvoersnelheid met alsnog een goede accestime.

Het is dus aan de TS om te kijken of een normale harde schijf voldoet kwa snelheid en accestime. Indien je constant de harde schijf hoort ratelen dan heb je een snellere harde schijf nodig, een versie RAID kan ook nog gebruikt worden. Indien de schijf op dit moment uit zijn neus staat te eten kan je verder gaan met een normale desktopschijf.

[maxtrash]

leuk topic. als tweaker is het wel leuk om over snelle hardware e.d. na te denken en nu kan dat eens over een real-world case en niet vanwege de pats-factor.

en nu inhoudelijk:
in mijn ervaring hoeven die pdf-jes allemaal niet zo erg groot te zijn. de output van de ocr-stap al helemaal niet. De vraag is dus of de harde schijf wel zo'n bottleneck vormt. Testen met een ramdisk kan natuurlijk ook een goede indicatie geven (duurt het 10 sec. met harde schijf en 8 met ramdisk dan weet je dat het met de snelste ssd in raid toch nooit onder de 8,5 sec. wordt).
daarnaast ben ik benieuwd waarom de pc niet 24 uur staat te stampen. Je kunt toch onbeperkt doorscannen, de tifs in een queue zetten en achter elkaar door laten verwerken, ook 's nachts. De bottleneck in je proces lijkt me de fysieke handelingen van de scanner maar de rest kun je allemaal automatiseren.

[ Voor 8% gewijzigd door maxtrash op 05-07-2008 18:45 ]

[Verwijderd]

Wederom dank voor alle adviezen! De wondere wereld van de hardware was altijd een mysterie voor me, maar ik kom nu veel te weten:


CPU (processor)
Ik dacht altijd dat een duurdere processor altijd sneller was. Aangezien m'n eigen programma traag was, heb ik een half jaar geleden een snellere computer gekocht met een Intel Core 2 Quad Q6600 processor. Het programma werkte niet veel sneller.

Ik begrijp nu dat de OCR-software (Adobe Professional en tesseract) maar 1 core gebruikt ipv alle 2 (in het geval van Duo Core) of alle 4 (in het geval van QuadCore). M'n eigen applicatie is geschreven in vbscript. Weet niet of vbscript van 1, 2 of 4 cores gebruik maakt.

Is er misschien een site met een overzicht van welke software (bv adobe, tesseract, vbscript) gebruik maakt van het aantal cores (gewoon, Duo of Quad)??

Voorlopig lijkt me dat de OCR-software het best draait op de Intel Core 2 Duo E8500 (pricewatch: Intel Core 2 Duo E8500 thanks, GENETX).


Geheugen
Heb net gekeken hoeveel geheugen het OCR programma inneemt (thanks voor uitleg, na een paar jaar programmeren begrijp ik eindelijk een beetje wat al die getalletjes in de taskmanager betekenen):
Tijdens het OCR-en in Adobe bleef de CPU achter Adobe.exe op 99. Het geheugengebruik was meestal rond de 65 MB (schommelde tussen de 50 en 90MB).
Tijdens het OCR-en heb ik een paar andere programma's opgestart om te kijken wat er met CPU en geheugen gebeurt: het CPU ging omlaag naar 60, het geheugen bleef rond de 60MB (heel even naar 40MB). Toen programma's waren opgestart, ging CPU weer terug naar 99.
Bij tesseract bleef CPU op 99 en het geheugen schommelde tussen de 26 en 30MB.

Als ik het goed begrijp, betekent dit dat het OCR-en in Adobe maximaal 90 MB van het geheugen inneemt? Ik heb 1GB geheugen, dus geheugen is zeker niet de bottleneck. 2 GB geheugen lijkt me goed voor m'n computer (4 GB wordt toch niet gebruikt).

(Thanks voor de tip leuk_he, ik ga zeker kijken of ik m'n scriptjes parallel kan laten lopen, maar dit is wel iets voor de langere termijn (kan ik niet in paar dagen/weken oplossen, denk ik). Misschien ook iets voor een nieuwe topic, deze topic vind ik al ingewikkeld genoeg :-)

Het gaat dus niet om de grootte van het geheugen (1GB, 2GB of 4GB). Het gaat meer om de snelheid van het geheugen (1066MHz, 1333MHz). Toch?? Wat zou het snelste geheugen met grootte 2GB zijn??
- wat is het verschil tussen DDR2 en DDR3?
- wat is het verschil tussen 1066MHz of 1333MHz?


Harde schijf
Thanks voor alle uitgebreide adviezen. Ik hoor een hoop nieuwe kreten. Ga me erin verdiepen.
Wil zo de suggestie van RemcoDelft en maxtrash uitproberen: een ramdrive maken, zodat de software dus even niks met de harde schijf doet. Bestanden zijn hooguit 100 MB samen, dus optie van ram-drive zo in theorie kunnen. Pas als alle bestanden zijn verwerkt, kan ik ze naar de harde schijf schrijven.

Stel als het OCR-en niet veel sneller gaat (bv OCR-en met schrijven en lezen van en naar harde schijf duurt 10 seconden, OCR-en met ram-drive (zonder harde schijf dus) duurt 9 seconden), dan moet de tijdswinst komen van het geheugen (de Intel Core 2 Duo E8500-processor is al de snelste, dus die kan niet sneller). Zometeen een testje draaien (nog geen flauw idee hoe je een RAM-drive kan maken, wordt behoorlijk googlen, dus tips zijn welkom), wordt vervolgd...


De scanner is trouwens een Bowe Bell + Howell Sidekick 1200, scant 23 pagina's per minuut. Hoe deze is aangesloten weet ik niet precies (goeie tip, ga ik checken).


Voorlopige Configuratie nieuwe PC:

- Processor: Intel Core 2 Duo E8500
- Geheugen: DDR2 1066MHz of DDR2 1333MHz of DDR3 1333MHz (?) mede afhankelijk van test RAM-drive)
- Harde schijf:
* uitzoekpunt 1: snelheid software mét harde schijf meten en snelheid software zonder harde schijf (RAM-drive) meten. Indien groot verschil dan moet er een snelle harde schijf komen. Indien klein verschil, dan ligt de bottleneck ergens anders (bv geheugen).
* uitzoekpunt 2: welke RAID-methode
- Operating system: Waarschijnlijk is Windows XP sneller dan Vista ja (minder overbodige troep). Dus ik ga voor Windows XP Prof Edition.
- DVD-brander: LG DVR 20x DL SATA (30 EUR)
- Moederboord: een goed moederbord dat aan de eisen voldoet en die de CPU ondersteund (bv ASUS P5E3.s775 ATX, X38,DDR3,2xPCIe,1394)
- Videokaart: ASUS EN8500GT Silent (65 EUR)
- Voeding: Corsair ATX, 520W (80 EUR)
- Cooler: Cooler Master 690 Tower Case (70 EUR)
- Virusscanner uitzetten & geen internetverbinding (goeie tip!)
- Later: parallel programmeren (goeie tip!)


Een hoop vragen weer (met waarschijnlijk weer een paar domme zoals over het geheugen), maar volgens mij worden de specs van de nieuwe computer wel wat concreter.

[GENETX]

1. Nee je programmeerd niet automatisch parallel (multthreaded). Daarvoor moet je veel meer uit de kast halen en je programma opsplitsen. Daarvoor zul je dus even de boeken in moeten.

2. DDR2 vs DDR3:
DDR3 is de opvolger van DDR2. Voor zover ik weet is het verbruik omlaag gegaan (niet echt boeiend) en kunnen hogere snelheden worden behaald (DDR bleef bv op 400MHz steken).

Hiervoor zou je zelf eens benchmarks voor moeten opzoeken, echter is er een andere grotere bottleneck:
Intel Core 2 Duo heeft een FSB van 1333MHz. Dat betekend dat hij al de maximale bandbreedte haalt bij een Dualchannel (2 of 4 identieke geheugenlatjes) DDR2-667 haalt. Alles daarboven heeft weinig zin in principe. Je wint er een klein beetje mee, maar veel zal het nooit zijn. Wegens de prijzen is DDR2 1067MHz een mooie optie. DDR2 1333MHz zal een stuk meer kosten en DDR3 is al helemaal overkill.

Pas bij de Intel Core 2 Quad QX9770 met een FSB van 1600MHz werd weer een behoorlijke winst neergezet tegenover de 1333MHz varianten. Maar dat monster is al zo duur als je hele PC dus dat word hem niet gok ik zo.

Kom ik direct bij een andere optie: AMD. De AMD Phenom heeft een integrated Dualchannel geheugencontroller die tot DDR2-1066MHz gaat. Hiermee haalt AMD een bandbreedte die gelijk is aan een FSB van 2133MHz bij Intel. Misschien is het dus een optie om eens op een AMD systeem te testen. Ook een Athlon 64 systeem mag, al gaat je geheugen dan naar 800MHz waardoor er een bandbreedte van 1600MHz FSB overblijft. Maar dan heb je nog steeds een integrated geheugencontroller. Misschien dat heteen impact heeft ondanks de lagere kloksnelheid.

[RemcoDelft]

Verwijderd schreef op zondag 06 juli 2008 @ 17:12:
(Thanks voor de tip leuk_he, ik ga zeker kijken of ik m'n scriptjes parallel kan laten lopen, maar dit is wel iets voor de langere termijn (kan ik niet in paar dagen/weken oplossen, denk ik). Misschien ook iets voor een nieuwe topic, deze topic vind ik al ingewikkeld genoeg :-)

Kan je je scriptje niet simpelweg 4 keer opstarten?
Je scant een pakket A4, dat deel je op in 4 gelijke delen, en daar laat je je scriptje op los.
Of nog makkelijker: je scant 4 pakketten A4, en start 4 keer je scriptje op. Of NOG makkelijker: laat direct na het scannen van het 1e pakket A4 je scriptje z'n ding doen, terwijl je verder gaat met het scannen van het volgende pakket A4. Als je je scriptje dan nog met "low priority" opstart, kunnen alle achtergrondprocessen fijn CPUcores benutten, zonder dat je er iets van merkt.

[Verwijderd]

Heb een ram-disk aangemaakt met http://www.cenatek.com/products.php


Hierbij de resultaten van tests zonder harde schijf (met RAM-disk) en met harde schijf:
________________________________Hard disk____Ram disk
test1: OCR-en met tesseract1_______1:59________1:59 (=1 minuten: 59 seconden)
test1: OCR-en met tesseract2_______2:56________2:53
test2: OCR-en met Adobe___________5:56________5:56
test3: Word converteren naar PDF, plaatjes (bmp's) converteren naar PDF, PDF-bestanden samenvoegen:
test3.1:_________________________6:28________6:20
test3.2:_________________________7:29________7:05
test3.3:_________________________0:55________1:17
test3.4:_________________________7:49________8:05
test3.5:_________________________6:54________7:59


Geheugen
De resultaten zijn opvallend: OCR-en met of zonder hard disk maakt bijna geen verschil. Het converteren van Office-documenten naar pdf & het converteren van images naar pdf & het samenvoegen van pdf-bestanden ging in de eerste tests sneller op een RAM-schijf dan op een harde schijf (in eerste 2 tests ongeveer 20 seconden sneller op de 6a7 minuten). De zelfde(!) tests daarna gingen de tests op de Hard-disk sneller dan de tests op de RAM-schijf. Geen flauw idee hoe het kan, maar het lijkt me in ieder geval duidelijk dat met een ram-schijf niet heel veel tijdwinst is te behalen (wel vet om een keer te hebben uitgeprobeerd, thanks remco_delft).

Bovendien weten we nu dat een snellere harde schijf niet veel zo uit maken voor de tijdswinst. Buggienuk, ik heb met een oor nog eens goed te luisteren gelegd bij m'n computer: ik hoor zoeven en geen ratelen. De schijf staat dus uit z'n neus te eten, dus een normale desktopschijf voldoet: WD 500GB, Cavair SE16 SATAII, 7200 rpm, 16 MB.


Processor
De opties: de Intel Core 2 Duo E8500 3,16GHz/1333/6M of de Intel Quad Core Q9300 2.5GHz/1333/6MB
Aangezien 2 cores aan het niksen zijn bij het OCR-en (Adobe & tesseract is niet multi-threated), is de Intel Core 2 Duo E8500 3,16GHz/1333/6M sneller. Deze denkt 3,16GHz (=3,16 miljard keer per seconde) na. De Quad Core denkt 2.5GHz (=2.5 miljoen keer per seconde) na. De Intel Core 2 Duo E8500 3,16GHz/1333/6M is voor de digitaliserings-software dus sneller.


Geheugen
De processor - de Intel Core 2 Duo E8500 3,16GHz/1333/6M - heeft 4 bussen van 333MHz (4x333MHz=1333 MHz).
Een computersysteem met 2 x 2GB met 1333MHz kan goed samenwerken met bovenstaande processor. De processor heeft 4 FSB's, dus kan over 4 bussen met 1333MHz met het geheugen praten. Het goed snel geheugen moet dus ook met 1333MHz praten. Mij lijkt 2x 2GB 1333MHz - geheugen van een goed merk wel wat, bijvoorbeeld de Corsair 2GB XMS3-1333, DDR3 1333 MHz, Lat 9-9-9-24, DHX, Twinx (prijs 100 EUR per stuk).


Voorlopige Configuratie nieuwe PC:
- Processor: Intel Core 2 Duo E8500 3,16GHz/1333/6M____________________________( 250 EUR )
- Geheugen: 2x Corsair 2GB XMS3-1333, DDR3 1333 MHz, Lat 9-9-9-24, DHX, Twinx___( 200 EUR )
- Harde schijf: 2x WD 500GB, Cavair SE16 SATAII, 7200 rpm, 16 MB (RAID 1 mirror)___( 140 EUR )
- Operating system: Windows XP Prof Edition____________________________________( 150 EUR )
- DVD-brander: LG DVR 20x DL SATA__________________________________________( 30 EUR )
- Moederboord: ASUS P5E3.s775 ATX, X38,DDR3,2xPCIe,1394_____________________( 160 EUR )
- Videokaart: ASUS EN8500GT Silent__________________________________________( 65 EUR )
- Voeding: Corsair ATX, 520W________________________________________________( 80 EUR )
- Cooler: Cooler Master 690 Tower Case________________________________________( 70 EUR )
- Virusscanner uitzetten & geen internetverbinding (goeie tip!)
- Later: parallel programmeren (goeie tip!)
______________________________________________________________Subtotaal: ( 1145 EUR )
__________________________________________________________________BTW: ( 218 EUR )
_________________________________________________________________Totaal: ( 1363 EUR )


Openstaande punten:
Geheugen: - 2x 2GB 1333MHz van een goed merk. Maar: Wat is het verschil tussen DDR2 of DDR3? DDR bleef bv op 400MHz steken, met DDR2 en DDR3 worden hogere snelheden gemaakt. Hoeveel sneller wordt de digitaliseringssoftware hiervan?
Harde schijf: dubbele harde schijf lijkt me handig, zodat automatisch een backup wordt gemaakt: gegevens mogen niet verloren gaan. RAID 1 mirror lijkt een goede oplossing. Hoe kan je harde schijf in een RAID 1 mirror opstelling instellen? Is hier software voor.

Dank weer voor alle adviezen. Sorry dat ik niet alle adviezen overneem. Aangezien ik niks begreep van hardware, probeer ik zo goed mogelijk te luisteren, maar er wel een soort van logica op los te laten. Wellicht klopt-ie niet en dan hoor ik het graag: Bij het OCR-en worden een bestand van de harde schijf gehaald, en de processor gaat met het bestand aan de slag. De testen met en zonder harde schijf (ram-disk) wijzen uit dat harde schijf I/O niet veel uit maakt. Het punt waar snelheidswinst valt te behalen is dus de processor. De OCR-software is echter niet multithreated, Quad Core heeft dus geen zin. Het aantal keer dat de processor nadenkt per seconden (het aantal GHz) is wel belangrijk. Verder moet het geheugen goed aansluiten op de processor: de processor praat met 4 bussen op een snelheid van 333MHz, het geheugen moet dit zo goed mogelijk (=geheugen van een goed merk) en zo snel mogelijk (=nadenken op zelfde frequentie: 4 GB van ook 333 MHZ) kunnen begrijpen.

[leuk_he]

Raid (ICH9R) zit op dat moederbord in gebouwd. Daar moet je maar even op zoeken. Je moet het activeren VOOR je windows installatie. (non raid -> raid gaat niet zo goed zonder herinstallatie)

Je kunt later nog de boel optimaliseren door 2 OCR sessies tegelijk te draaien en zo van 50% (1core) naar 100% (2cores) gaan.

Kijk nog eens goed naar de harde schijven. Voor dat geld of iets meer kun je nog een leuk % aan performance winnen.

Geheugen hoeft niet precies dezelfde snelheid als de CPU te hebben. Als die je CPU maar bezig kan houden. DDR2 heeft op dit moment een goede prij/prestatie verhouding. DDR3 kan iets sneller, maar je betaald voor die paar % relatief veel geld. (En je hebt niet eens bewijs dat dit jouw systeem sneller zal maken)

[ Voor 26% gewijzigd door leuk_he op 07-07-2008 14:51 ]

[Motrax]

Heb je in de taskamanger ook gekeken naar het virtueel geheugen verbruik? Ik kan niet geloven dat het gebruik zo laag is.

Ik kan me herinneren van mijn tijd met het scannen van Adobe en ver-pdf'fen van bestanden dat het cpu- en geheugenintensief was. Ik heb het dan wel over plaatjes van de scanner en dan direct verwerken in Abobe tot één pdf bestand, vaak tot 100 pagina's in één keer omdat het geheugen de beperkende factor was.

[BramBo]

Houd er rekening mee dat wanneer je meer dan 3 GB wil gaan gebruiken dat je dan voor een 64bit OS kiest.

[GENETX]

Je verhaal van het FSB slaat nergens op eigenlijk. Het gaat ook over het aantal lijnen. Geheugen is bv 64-bits als ik me niet vergis. Volgens mij is de FSB 4x 16 bits, oftewel dezelfde bandbreedte als singlechannel geheugen op dezelfde frequentie. Dualchannel DDR2-667 maakt dus al volledig gebruik.

Ik zou je willen adviseren of je kunt kijken of je ergens een AMD systeem te pakken kan krijgen om te testen. Deze hebben namelijk een veel hogere bandbreedte met het geheugen (Phenom zit op een FSB equivalent van 2133MHz en de Athlon op 1600MHz). Dan kun je zien of geheugen misschien een grote impact heeft.

Mij lijkt het namelijk overkill aangezien benchmarks uitwijzen dat sneller geheugen hooguit 1-2% performance boost geeft bij een Intel.

[Motrax]

BramBo schreef op maandag 07 juli 2008 @ 15:02:
Houd er rekening mee dat wanneer je meer dan 3 GB wil gaan gebruiken dat je dan voor een 64bit OS kiest.

Ik vind dat mensen wel erg makkelijk even adviseren om over te stappen naar een 64 bits OS. Dan moet het wel in je netwerk passen, moet systembeheer ervaring er mee hebben het ondersteunen en moet al je software al dan niet 64-bit native of 32-simulated kunnen draaien. Soms is die investering voor 3.4 GB naar 4 GB niet de moeite waard. Pas al je over 4+ GB eisen praat moet je gaan kijken naar 64 bit.

Of gewoon iets als Windows 2003 Enterprise Editie, maar dat is niet zo goedkoop

[Verwijderd]

Thanks voor de tips. Ik heb begrepen dat DDR2 800 MHz ongeveer even snel is als DDR3 1066MHz (DDR3 1333MHz zal misschien iets sneller gaan). De kloksnelheid van DDR3 is wel hoger dan DDR2, maar door de hogere latency (de wachttijd, 9-9-9-24 bij DDR3, 4-4-4-12 bij DDR2) zit er geen groot verschil in performance.
2x de Corsair 2GB XMS3-1333, DDR3 1333 MHz, Lat 9-9-9-24, DHX, Twinx is 200 EUR.
2x de 2GB, DDR2 800 MHz, Lat 4-4-4-12 is 90 EUR. Keuze lijkt me logisch: DDR2 800MHz.


Voorlopige Configuratie nieuwe PC:
- Processor: Intel Core 2 Duo E8500 3,16GHz/1333/6M____________________________( 250 EUR )
- Geheugen: 2x Corsair TWIN2X4096-6400C5DHX, DDR2, 800 MHz, Lat 5-5-5-18________( 90 EUR )
http://www.mycom.nl/Produ...40966400C5DHX/149497.aspx
- Harde schijf: 2x WD 500GB, Cavair SE16 SATAII, 7200 rpm, 16 MB (RAID 1 mirror)___( 140 EUR )
- Operating system: Windows XP Prof Edition____________________________________( 150 EUR )
- DVD-brander: LG DVR 20x DL SATA__________________________________________( 30 EUR )
- Moederboord: ASUS P5E.s775 ATX, X38,DDR2,2xPCIe,1394______________________( 160 EUR )
- Videokaart: ASUS EN8500GT Silent__________________________________________( 65 EUR )
- Voeding: Corsair ATX, 520W________________________________________________( 80 EUR )
- Kast: Cooler Master 590 Tower Case_________________________________________( 60 EUR )

- RAID (ICH9R) voor installatie Windows inbouwen (thanks leuk_he: BTW: harde schijf maakt volgens de testjes (met en zonder harde schijf) niet uit. Waarom zou ik dan een duurdere harde schijf nemen?
- Virusscanner uitzetten & geen internetverbinding (goeie tip!)
- Later: parallel programmeren (goeie tip!)
______________________________________________________________Subtotaal: ( 1025 EUR )
________________________________________________________________BTW: ( 195 EUR )
_________________________________________________________________Totaal: ( 1220 EUR )

[leuk_he]

Verwijderd schreef op maandag 07 juli 2008 @ 15:44:
BTW: harde schijf maakt volgens de testjes (met en zonder harde schijf) niet uit. Waarom zou ik dan een duurdere harde schijf nemen?

Omdat ik dat stukje over "ramdisk" over het hoofd gezien had.....Daar dus inderdaad geen geld in stoppen.

Enne, nog even rondsjoppen op pricewatch. Ik heb zo'n gevoeld dat er nog een flink % vanaf kan.

[GENETX]

Je kan besparen op je moederbord. Je hebt zeker niet een met X38 chipset nodig. Een P35 of P45 chipset is prima. Scheelt zo weer 60 euro zonder dat jij er iets van merkt.

Houd er ook rekening mee dat XP maar 3-3,5GB ziet van je 4GB.

[ Voor 16% gewijzigd door GENETX op 07-07-2008 17:06 ]

[Verwijderd]

Thanks GENETX, je hebt net 60 verdient!

Dit wordt hem!
- Processor: Intel Core 2 Duo E8500 3,16GHz/1333/6M____________________________( 250 EUR )
- Geheugen: 2x Corsair 2GB XMS3-1333, DDR2 800 MHz, Lat 4-4-4-12, DHX, Twinx____( 50 EUR )
- Harde schijf: 2x WD 500GB, Cavair SE16 SATAII, 7200 rpm, 16 MB (RAID 1 mirror)___( 140 EUR )
- Operating system: Windows XP Prof Edition___________________________________( 150 EUR )
- DVD-brander: LG DVR 20x DL SATA__________________________________________( 30 EUR )
- Moederboord: ASUS M2A-MX,SATA II, 775, P35_______________________________( 85 EUR )
- Videokaart: ASUS EN8500GT Silent__________________________________________( 65 EUR )
- Voeding: Corsair ATX, 520W________________________________________________( 80 EUR )
- Cooler: Cooler Master 590 Tower Case________________________________________( 60 EUR )

- Virusscanner uitzetten & geen internetverbinding (goeie tip!)
- Later: parallel programmeren (goeie tip!)
______________________________________________________________Subtotaal: ( 910 EUR )
______________________________________________________________BTW: ( 173 EUR )
______________________________________________________________Totaal: ( 1083 EUR )

Morgen ga ik langs MyCom, daarna knutselen!

[RemcoDelft]

Verwijderd schreef op maandag 07 juli 2008 @ 13:50:
De zelfde(!) tests daarna gingen de tests op de Hard-disk sneller dan de tests op de RAM-schijf. Geen flauw idee hoe het kan, maar het lijkt me in ieder geval duidelijk dat met een ram-schijf niet heel veel tijdwinst is te behalen

Grote kans dat je nu te weinig geheugen hebt, als gebruik van een ramdrive zorgt dat je systeem actief moet gaan swappen op de harddisk, wordt het er inderdaad langzamer van.

Verder staat de vraag nog open of je je scriptje simpelweg parallel meerdere keren kan opstarten

[Verwijderd]

quote:
Grote kans dat je nu te weinig geheugen hebt, als gebruik van een ramdrive zorgt dat je systeem actief moet gaan swappen op de harddisk, wordt het er inderdaad langzamer van.

Dat is idd een logische verklaring. Heb 1GB waarvan 256MB nu ram-disk, zou dus kunnen dat systeem gaat swappen.

Het script meerdere keren parallel opstarten gaat niet. Ten eerste moet het programma gebruikersvriendelijk zijn en ten tweede zouden verschillende zelfde scripts elkaar in de weg lopen. Wat wel een optie is is parallel programmeren. Probeer nu het programma af te ronden, zodat anderen er mee aan de slag kunnen. Daarna wil ik het programma zo gaan aanpassen dat het meerdere cores volledig gebruikt. Hopelijk kan dat in vbscript, anders moet ik overstappen naar VB of C++.

[GENETX]

Ze mogen bij MyCom wel wat aan de namen doen. Een Asus M2A is voor AMD En dat terwijl men aangeeft dat het een S775 bord (intel) met P35 chipset is

[Verwijderd]

je hebt gelijk GENETX, moederbord is idd voor AMD, my bad.

Dit is hem uiteindelijk geworden:
- Processor: Intel Core 2 Duo E8500 3,16GHz/1333/6M____________________________( 210 EUR )
- Geheugen: 2x Corsair 2GB XMS3-1333, DDR3 1333 MHz, Lat 9-9-9-24, DHX, Twinx___( 200 EUR )
- Harde schijf: 2x WD 500GB, Cavair SE16 SATAII, 7200 rpm, 16 MB (RAID 1 mirror)___( 140 EUR )
- Operating system: Windows XP Prof Edition___________________________________( 150 EUR )
- DVD-brander: LG DVR 20x DL SATA__________________________________________( 25 EUR )
- Moederboord: ASUS P5E3, s775 ATX, X38, DDR3, 2xPCIe,1394___________________( 160 EUR )
- Videokaart: ASUS EN8500GT Silent__________________________________________( 65 EUR )
- Voeding: Cooler Master PSU, Real Power 520 W, 3SLI, PI, Active OVC, Modula______( 70 EUR )
- Cooler: Cooler Master 590 Tower Case________________________________________( 60 EUR )

______________________________________________________________Subtotaal: ( 930 EUR )


Computer inmiddels in elkaar gezet, blijkt dat je een floppy-drive nodig hebt om RAID 1 te kunnen installeren. Net een floppy drive gekocht bij Computerland ( voor 95 cent, dat zijn nog eens prijzen). Nu nog op zoek naar een floppy, wordt hoog tijd dat ze deze installatie-techniek met floppy even aanpassen met iets dat holbewoners nog niet hadden...

[Cyberpope]

Verwijderd schreef op donderdag 10 juli 2008 @ 14:13:
Computer inmiddels in elkaar gezet, blijkt dat je een floppy-drive nodig hebt om RAID 1 te kunnen installeren. Net een floppy drive gekocht bij Computerland ( voor 95 cent, dat zijn nog eens prijzen). Nu nog op zoek naar een floppy, wordt hoog tijd dat ze deze installatie-techniek met floppy even aanpassen met iets dat holbewoners nog niet hadden...

Daar zijn ook andere manieren voor hoor. Legio zelfs. Nlite is er 1. En moderne besturingssytemen kunnen ook vanaf usb-stick.

[RemcoDelft]

Verwijderd schreef op dinsdag 08 juli 2008 @ 22:51:
Het script meerdere keren parallel opstarten gaat niet. Ten eerste moet het programma gebruikersvriendelijk zijn en ten tweede zouden verschillende zelfde scripts elkaar in de weg lopen. Wat wel een optie is is parallel programmeren. Probeer nu het programma af te ronden, zodat anderen er mee aan de slag kunnen. Daarna wil ik het programma zo gaan aanpassen dat het meerdere cores volledig gebruikt. Hopelijk kan dat in vbscript, anders moet ik overstappen naar VB of C++.

Start het script ook grafische dingen op? Als alles echt commandline kan werken, zou het niet mogen uitmaken lijkt me.