Idee : Snelle raid setup met CF's

[majic]

Kwam opeens op het volgende idee :

- Je koopt 2 stuks Dual Compact Flash (CF) naar IDE Adapter, Bootable - 2 sided.
(14,95 p/.stuk, bijv. hier http://www.prijzenstunter...og/Cardreader.html#a70104)
- Je koopt 4 stuks 150x CF media (Ik zou zeggen, 2 Gb versies ivm prijs)
- Je hebt of koopt een ouderwets PCI-RAID kaartje voor een tientje 2dehands.

Je draait het hele zaakje in striped mode, 4 disks.....
Dit geeft je totaal een 8GB schijf, met ongv. 65 a 70mb/sec writeperformance......

Zie ik dingen nou te simpel, of heb je hier voor €125+- een fantastisch presterende swap/bootschijf?

[ThinkPad]

Slijtage
Je moet je windows namelijk zo aanpassen dat hij niet constant naar je CF's schrijft. Die dingen zijn dan na een half jaartje kapot.

CF's kunnen namelijk maar een aantal keer beschreven worden.

[ Voor 92% gewijzigd door ThinkPad op 09-06-2007 18:16 ]

[TERW_DAN]

Dat zie je heel goed. Alleen moet je er rekening mee houden dat het standaard flashgeheugen niet echt geschikt is om heel veel schrijfbewerkingen op uit te voeren. Want dan zit je binnen no-time met veel bad sectors.

[Verwijderd]

Krijg binnenkort ook dit soort adapters binnen, zou eens een testje kunnen wagen.

[adoy]

Volgens mij houdt de electronica op de CF kaart hier rekening mee... De data wordt volgens een bepaald algoritme op de kaart weggeschreven, waardoor de cellen gelijkmatig 'belast' worden.
Hierdoor wordt dit probleem wat verder uitgesteld...

[Verwijderd]

Nouja SSDs ondersteunen ECC wat het probleem van te weinig erase cycles iets kan opvangen. Maar echt duurzaam is het niet.

[majic]

Tuurlijk, slijtage ben ik me van bewust. Niet zo'n probleem denk ik, want dit hoeft van mij niet langer dan een jaartje of 2-3 mee te gaan...tegen die tijd koop je 4gb CF's voor 10e/stuk .....m.a.w. het geheel is dan allang afgeschreven, zowel qua performance als qua waarde.

Ik blijf het interessant vinden, enige nadeel zou kunnen zijn is dat ik her en der referenties lees van die IDE-CF converters dat sommigen gelimiteerd zijn tot 20mb/sec, maar volgens mij is dat alleen het geval met SD-IDE converters. Not sure now...kan het berichtje waarin dat stond niet meer vinden.

Reden dat ik op zoek ben naar snellere access/writeperformance is voor Photoshop (Alhoewel dat opzich sequentieel is van karakter, en je daar dus met een HDD-Raid veel beter uit bent) en algemene systeemtaakjes & als bootschijf.

Enlightenment : Ben benieuwd, hou ons eens op de hoogte?

[TERW_DAN]

Ik vraag me af of 2 tot 3 jaar haalbaar is. Al is dat natuurlijk heel erg afhankeelijk van hoeveel je er daadwerkelijk naartoe schrijft.

[DarthPlastic]

Dit wilde ik laatst ook doen (maar dan met 1 kaartje), maar die dingen werken blijkbaar in PIO-mode, geen DMA of whatsoever dus behoorlijk traag bij sustained lezen/schrijven.
Seektimes waren leuk, maar met 100% CPU-usage heb ik m maar weer uitgebouwd.

[Nijn]

majic schreef op zaterdag 09 juni 2007 @ 20:51:
Ik blijf het interessant vinden, enige nadeel zou kunnen zijn is dat ik her en der referenties lees van die IDE-CF converters dat sommigen gelimiteerd zijn tot 20mb/sec, maar volgens mij is dat alleen het geval met SD-IDE converters. Not sure now...kan het berichtje waarin dat stond niet meer vinden.

SD->IDE converters kunnen best traag zijn, die moeten daadwerkelijk converteren.
CF->IDE converters zullen een heel end sneller zijn omdat ze eigenlijk geen flikker doen. Compactflash ligt heel dicht tegen P-ata aan. Veel meer dan de goede voltages leveren en master/slave instellingen doen ze niet.

CF kaartjes schrijven idd steeds op andere plaatsen gegevens weg. Maar dat gaat natuurlijk lastiger als de kaart redelijk vol staat en blijft. In een camera gaan er foto's op, hij wordt weer geleegd, er gaan weer foto's op, hij ........... ga zo maar door. Dan kan er dus steeds op nieuwe plaatsen weggeschreven worden omdat de hoeveelheid beschikbare plaatsen groot is. Dat is wel anders als jouw Windows instalatie erop blijft staan. Levensduur wordt dus wel een probleem.

DarthPlastic schreef op zaterdag 09 juni 2007 @ 21:07:
Dit wilde ik laatst ook doen (maar dan met 1 kaartje), maar die dingen werken blijkbaar in PIO-mode, geen DMA of whatsoever dus behoorlijk traag bij sustained lezen/schrijven.
Seektimes waren leuk, maar met 100% CPU-usage heb ik m maar weer uitgebouwd.

Ik denk dat dat in dit geval opgevangen wordt door de raidcontroler. Of zit ik nou verkeerd?

En let natuurlijk op dat je een flash kaartje koopt. Er zijn ook micro-hdd's in compactflash formaat

[ Voor 3% gewijzigd door Nijn op 09-06-2007 21:18 ]

[jj71]

Je kunt ook dit soort dingen kopen:

Een CF kaart die je direkt in een IDE aansluiting kunt pluggen. Dan heb je dus geen CF-to-IDE adapterkaart nodig.

[Nijn]

Hoe ze durven om voor een 2GB CF kaartje in een nieuw jasje 50 euro te vragen...

[Andros]

Och, tis apart, tis iets anders. Hoppa, kassa. Zoek maar eens een "officieel" SD kaartje voor de Wii, zelfde verhaal...

[Nijn]

offtopic:
Was ook meer een retorische vraag he

Ik zag daar wel dat ze ook al 266X kaartjes hebben. Misschien is dat wat?

[majic]

Denk dat het allemaal wel mee valt met de slijtage van huidige CF kaarten...

Als ik kijk hoe ik (professioneel fotograaf) mijn CF's gebruik :

Ik fotografeer dagelijks nagenoeg de gehele kaart (2GB) vol...dan leeg ik hem, vul ik hem de volgende dag weer nokkie vol....en dat gaat zo eigenlijk wel 60% van 't jaar wel zo door. Tussendoor zit je continue te reviewen, dus dat zijn weer read-only acties er bij..

Die kaarten gebruik ik meestal 2-3 jaar, en dan soms krijgen ze na die periode inderdaad bad sectors (Heb nu een 512 Transcend kaartje die kuren begint te krijgen).

Wat we niet moeten vergeten, als je er een Windows XP installatie op zet, dan zal je misschien maar 30% van de bestanden daadwerkelijk regelmatig benaderen. De andere bestanden "zijn" gewoon, en worden noch gelezen noch geschreven. Die 30% resterende bestanden zal de i/o van het CF-controllertje dan ook denkelijk intelligent wegschrijven elke keer als een bestand veranderd wordt.

En met een swap-file is de content natuurlijk ook een mix van statische content die weinig benaderd wordt, en dynamische content die veel ververst wordt. Dus ik zie opzich niet eens zo heel veel verschil met professioneel gebruik van een CF card in een DSLR.

De huidige prijzen voor CF's zijn al zo laag dat ik zeg 100 euro investeren om een jaar lang een op technologisch gebied veel duurder alternatief (SSD's, en eigenlijk alleen de hele grote bieden meer dan 50mb/sec) een heel normale en aantrekkelijke keuze vind. Want, eigenlijk koop je voor 100 euro zelden een flinke performance boost voor een moderne pc...toch ?

[Nijn]

Toch denk ik dat je eerder door je kaartjes heen bent, maar dat zal een discussie zonder einde worden, totdat je het probeert

Ik denk trouwens dat jouw kaartje dat bad sectors gekregen heeft een fabrieksfout was, want als ik dit lees heb je zo'n 550 schrijfbewegingen erop uitgevoerd en hij had al bad sectors.

Als je dit gaat doen, zorg in ieder geval dat je zat vrije ruimte hebt, zodat de pagefile (swapfile) daadwerkelijk verspreid kan worden. Better yet, maak de pagefile zo klein mogelijk (uitschakelen wordt afgeraden lees ik hier. (Natuurlijk moet je daar dan wel voldoende geheugen voor hebben). De rest van de writes kun je amper wat aan doen. (Paar logging functies uitschakelen hoogstens)

En meld natuurlijk de resultaten!

Edit: Ik zag nog 1 probleempje
Je hebt het over 4 kaartjes in 2 dual-sided adapters. maw, 2 kaartjes per IDE channel. (pri en sec). Dat gaat je geen snelheidswinst opleveren, omdat er per channel maar 1 kaartje tegelijk benaderd kan worden. Oplossing is natuurlijk 4 adapters op 4 IDE kanalen, maar maakt het wel iets duurder.

[ Voor 32% gewijzigd door Nijn op 10-06-2007 01:32 ]

[Verwijderd]

majic schreef op zaterdag 09 juni 2007 @ 23:56:
Ik fotografeer dagelijks nagenoeg de gehele kaart (2GB) vol...dan leeg ik hem, vul ik hem de volgende dag weer nokkie vol....en dat gaat zo eigenlijk wel 60% van 't jaar wel zo door. Tussendoor zit je continue te reviewen, dus dat zijn weer read-only acties er bij..

Lezen is niet erg, schrijven (of eigenlijk: wissen) wel. En je zegt dus per dag 1 erase cycle per sector. Nou ga eens kijken naar swappen, dat kunnen wel 100.000 erase cycles zijn op een dag (ik gok maar even), dat is dus 100.000% verschil dan in belasting.

Hoe vol je hem zet maakt ook geen ruk uit, gaat erom dat een sector maar x keer beschreven kan worden. En met name de sectoren waar je Master File Table (MFT) zit wordt vaak gewijzigd bij een operating system als Windows. Dus daar zul je mogelijk al binnen een paar maanden problemen kunnen krijgen.

[RobIII]

Er wordt hier vanalles geroepen; even wat handige info:

quote: http://en.wikipedia.org/wiki/CompactFlash

Flash memory, regardless of format, supports only a limited number of erase/write cycles before a particular "sector" can no longer be written. Memory specifications generally allow 10,000 to 1,000,000 write cycles. Typically the controller in a CompactFlash attempts to prevent premature wearout of a sector by mapping the writes to various other sectors in the card - a process referred to as wear levelling.

quote: http://en.wikipedia.org/wiki/Wear_levelling

Wear-levelling attempts to work around these limitations by arranging data so that erasures and re-writes are distributed evenly across the medium. In this way, no single sector prematurely fails due to a high concentration of write cycles.

Bij mijn weten zijn er inmiddels kaarten onderweg (of net op de markt) die tot 4M write cycles toestaan, maar dan is het echt op (voorlopig, tot er 8M kaartjes komen ).
Reads boeien niet (zo), en met (idd) zo'n 550 schrijfbewerkingen en wear-levelling in acht genomen mag zo'n kaartje nog lang niet dood zijn.
Anderzijds is dat ook appels en peren vergelijken; een OS doet heel wat meer writes in een dag dan jij met je digitale camera

Verwijderd schreef op zondag 10 juni 2007 @ 01:28:
En met name de sectoren waar je Master File Table (MFT) zit wordt vaak gewijzigd bij een operating system als Windows.

Je bent me net voor (op dit tijdstip ) maar je zegt in feite hetzelfde; alleen wil ik dat wat je beweert in deze quote in twijfel trekken: ook de MFT lijkt me prima te wear-levellen.

[ Voor 27% gewijzigd door RobIII op 10-06-2007 01:39 ]

[Nijn]

Te laat

[ Voor 97% gewijzigd door Nijn op 10-06-2007 01:36 ]

[majic]

Hmmm dat is dan weer jammer. Toch te simpel bekeken.

Hoe doen de grappenmakers bij Microsoft dat dan met Vista & Readyboost? Daar steekt men ook voortaan 24/7 een usb-stickje in de poort ..en volgens mij krijgt die ook aardig wat erase-acties voor de kiezen?

Als ik bovenstaande zo lees dan is t' voor mij misschien handiger om in de toekomst maar te kijken naar een leuke i-Ram van Gigabyte. Duurder..maar wel permanenter (En nog sneller).

Iedereen bedankt voor de feedback ;-)

[RobIII]

majic schreef op zondag 10 juni 2007 @ 01:45:
Hoe doen de grappenmakers bij Microsoft dat dan met Vista & Readyboost?

Hoewel ik er het fijne niet van weet lijkt readyboost me iets heel anders: daarbij zou je (in essentie) iedere keer dat je pc in 'sleep'(?) gaat een write uitvoeren waarbij in 1 klap alles ge-write wordt. Dat zou betekenen dat je pc tot (pakweg) 100.000 keer in sleep zou moeten kunnen vallen. Een swap daarentegen is iets waarin "fulltime" gegeven ge/herschreven worden.

[flippy]

majic schreef op zondag 10 juni 2007 @ 01:45:
Hoe doen de grappenmakers bij Microsoft dat dan met Vista & Readyboost? Daar steekt men ook voortaan 24/7 een usb-stickje in de poort ..en volgens mij krijgt die ook aardig wat erase-acties voor de kiezen?

volgens mij verkoopt MS ook memorysticks

[RobIII]

flippy.nl schreef op zondag 10 juni 2007 @ 01:56:
[...]

volgens mij verkoopt MS ook memorysticks

Zeg dan niks

[Verwijderd]

RobIII schreef op zondag 10 juni 2007 @ 01:33:
Je bent me net voor (op dit tijdstip )

Je zult op OM nog gekkere tijden van mij zien.

maar je zegt in feite hetzelfde; alleen wil ik dat wat je beweert in deze quote in twijfel trekken: ook de MFT lijkt me prima te wear-levellen.

Ja idd, maar schijnbaar ondersteunde mijn kaartje (nu inmiddels een jaar oud) dat niet, want die had dus bad sectors. Volgens die info van wikipedia zou je in ideaal geval dus de erase cycles van alle sectors op mogen tellen.

Aangenomen van een 2GB kaartje zijn dat 4194304 sectoren van 512 bytes. Elke sector kan dan 100,000 erase-cycles hebben dat zijn dan 419.430.400.000 erase cycles in totaal. Aangenomen van 100.000 per dag op een actief besturingssysteem betekent dat 11.000 jaar levensduur.

Theoretisch..

[jvo]

Ik heb toevallig net 2 CF->IDE convertertjes besteld. Ik wil er toch eens mee gaan proberen. Maar ik ben nog niet helemaal zeker hoe ik het ga inrichten.

In de ideale situatie zou ik 2x 8 GB inzetten (striping) en daar Vista op installeren. Idee is in elk geval 266x Transcend kaartjes te gebruiken. Ik heb rondgekeken en lees hier en daar verhalen over de traagheid (uit 2003) en zie eigenlijk weinig moderne tests. In principe zou 2x 266x 80 MB/s moeten kunnen halen. Dus, 60 MB/s is misschien realistisch. 1.000.000 erase cycles, tja, geen idee hoe lang je daar mee doet. Heeft iemand dit al geprobeerd?

Zonder ervaringen van anderen ben ik toch eerder geneigd met iets simpelers te testen. 2x 2 GB o.i.d. en dat dan gewoon als snelle werkschijf te gebuiken. Wellicht "my documents" etc. er naar laten verwijzen. Swap file erbij.

Dus, mijn vraag is. Zijn er ervaringen? Zo nee, komen er nog weleens ervaringen van mij met 2x 2 GB. Zo ja, dan ga ik misschien meteen all in en zet ik Vista op 2x 8 GB.

[Keiichi]

Ook een leuk idee:

http://www.superssd.com/products/ramsan-400/

Ramsan. Moet je ook nog wel een FibreChannel HBA in je PC hebben.

[Verwijderd]

Persoonlijk zou ik voor een I-ram disk van Gigabyte gaan. SD-ram, of DDR1 geheugen erin, tot op 8GB en je hebt het snelste wat je IDE of S-ata poort aankan. Geen gezeur met accesstimes, geen gedoe met writecycles, gewoon puur snelheid

[DaCoTa]

Ik heb dit geprobeerd, met 4x2GB kaartjes, op 2 dubbele CF2IDE connectors. Het grote probleem met CF kaarten is dat ze geen cache memory hebben, zoals iedere HD wel heeft. De doorvoersnelheid is dus exact gelijk aan de CF leessnelheid en er is geen burst speed.

Wat ik hierdoor merkte is dat de doorvoer niet continu was, er zatten dips in. Dit kon deels opgelost worden door een RAID0 configuratie te maken met kleine (4kb) block size. Grotere blocks gingen raar doen, dan kwamen er ook dips in de transfer speed. Uiteindelijk heb ik een 4 CF kaart RAID0 stripe array niet voor elkaar gekregen, de nForce raid controller crashte daarop.

Uiteindelijk viel het resultaat me tegen.

[jvo]

DaCoTa schreef op vrijdag 03 augustus 2007 @ 10:56:
Ik heb dit geprobeerd, met 4x2GB kaartjes, op 2 dubbele CF2IDE connectors. Het grote probleem met CF kaarten is dat ze geen cache memory hebben, zoals iedere HD wel heeft. De doorvoersnelheid is dus exact gelijk aan de CF leessnelheid en er is geen burst speed.

Wat ik hierdoor merkte is dat de doorvoer niet continu was, er zatten dips in. Dit kon deels opgelost worden door een RAID0 configuratie te maken met kleine (4kb) block size. Grotere blocks gingen raar doen, dan kwamen er ook dips in de transfer speed. Uiteindelijk heb ik een 4 CF kaart RAID0 stripe array niet voor elkaar gekregen, de nForce raid controller crashte daarop.

Uiteindelijk viel het resultaat me tegen.

Dat klinkt niet echt hoopgevend. Kleine blocks klinkt logisch, hier zijn geheugenkaarten goed in. Wat betreft snelheid gaat mijn keuze daarom naar de snelste CF kaarten. 12 of 20 MB/s schiet gewoon niet erg op denk ik. Probleem is wel dat ik ook gebruik ga maken van een nForce 4 chipset.

[_AvA_]

Voor 125 euro heb je 2 sata schjiven in RAID-0 met ni totaal 640GB opslag, en een burst van 200MB/sec... Bovendien gaan ze langer mee...

Het enige waar ik het voor zou doen is voor de stilte.

[Stropdas]

Scheelt ook in energiekosten en warmteontwikkeling in de kast

[frankknopers]

Het ontbreken van schijfcache op CF kaartjes is op te vangen met een raidcontroller met onboard ram. Maargoed, dan heb je het al snel over 200+ euro, en dan is een SSD van 16GB van de nieuwste generatie (60MB/s) binnenkort nog aantrekkelijker.

[Keiichi]

frankknopers schreef op zaterdag 04 augustus 2007 @ 01:35:
Het ontbreken van schijfcache op CF kaartjes is op te vangen met een raidcontroller met onboard ram. Maargoed, dan heb je het al snel over 200+ euro, en dan is een SSD van 16GB van de nieuwste generatie (60MB/s) binnenkort nog aantrekkelijker.

Veelal maakt je OS ook gebruik van een Filesystem cache. Ik heb bv bij een systeem waarin 8gig geheugen zit, als ik een bestand van 4gig schrijf en vervolgens weer uitlees, dat ie met het readen 2 seconden maar bezig is.