Rekenmodel voor ruwe transfer/capaciteitsvergelijking

[Verwijderd]

Persoonlijk wil ik voor mezelf uitrekenen wat voor mijn intensieve leesoperaties het beste was: Flash of HD. Eerst wil ik weten of de transfersnelheid opweegt tegen de capaciteit op raw niveau. Nu had ik dit model ontwikkeld:

code:

Vergelijking Transfersnelheid 2 Drives

|Specs|

Drive 1: 74752 MB Capaciteit, 450 MB Transfer
Drive 2: 256   MB Capaciteit, 4   MB Transfer

|Factor Capaciteit|

Drive 1 (74752) / Drive 2 (256) = Factor 292 Groter

|Factor Transfersnelheid|

Drive 1 (450) / Drive 2 (4) = Factor 122.5 Sneller

|Conclusie|

Drive 1 is groter, maar trager.
Drive 2 is kleiner, maar sneller.

De capaciteitsverhoging van Drive 1 weegt niet op tegen de
snelheidsverhoging van Drive 2.

Klopt het dus dat Flash sneller is dan een HD, klopt het model niet, of zit ik totale onzin te blaten?

En nee, dit is geen huiswerkvraag Heb alleen al tijden geen wiskunde gehad

[ThunderNet]

om een goede vergelijking te maken, moet je de kosten van een HD / Flashdrive ook meerkenen

[JeRa]

Volgens dat model is drive 1 zowel groter als sneller...er klopt dus niks van je resultaat

[ Voor 8% gewijzigd door JeRa op 30-04-2005 22:37 ]

[RSpliet]

Zeurkous, dat is dus alleen het geval als je bij beide schijven elke bit wilt uitlezen. Dat wil je niet, het gaat neem ik aan om een bestand niet groter dan 256MB. Als dat wel zo is, dan heb je sowieso niets aan een flash-disk. Op de HD wordt 256MB in minder dan een halve seconde uitgelezen, van de Flash-disk duurt dit 64 seconden. De schijf is dus gewoon groter en sneller

[Verwijderd]

JeRa schreef op zaterdag 30 april 2005 @ 22:37:
Volgens dat model is drive 1 zowel groter als sneller...er klopt dus niks van je resultaat

Natuurlijk is drive 1 groter en sneller! Het gaat hier erom dat de snelheid minder toeneemt dan de capaciteit, en dat wijst er IMHO op dat drive 2 _relatief_ gezien sneller is.

[Verwijderd]

Seven of Nine schreef op zaterdag 30 april 2005 @ 22:39:
Zeurkous, dat is dus alleen het geval als je bij beide schijven elke bit wilt uitlezen. Dat wil je niet,
het gaat neem ik aan om een bestand niet groter dan 256MB.

Het gaat om data als read-only audio, video, plaatjes en dat soort content, evt. verspreid over meerdere sticks in RAID0/5/10 als een bestand groter is dan 256MB. Door 5 users tegelijk gebruikt, soms in kleine webservers, dus je kunt ervan uitgaan dat elke disk daar wel tegenaanzit.

Als dat wel zo is, dan heb je sowieso niets aan een flash-disk. Op de HD wordt 256MB in minder dan een halve seconde uitgelezen, van de Flash-disk duurt dit 64 seconden.

Dit klinkt misschien dom, maar door bijv. 4MB drives te gebruiken met 4MB snelheid, heb je toch dezelfde capaciteit als snelheid? Dit is natuurlijk wel erg klein (daarom zoek ik wel naar de beste verhouding), maar het gaat om het principe.

EDIT: Dit heb ik voornamelijk bedacht vanwege het volgende probleem: Hoe haalt een xxGB HD een transferrate van xxGB over een xxxMB kanaal?

[ Voor 7% gewijzigd door Verwijderd op 30-04-2005 23:00 . Reden: Additie ]

[lordsnow]

Conclusie:
Drive 1 is groter, maar trager.

Deze conclusie klopt niet. Je berekent zelf al dat Drive1 292x groter is EN 122x sneller is.

"Het gaat hier erom dat de snelheid minder toeneemt dan de capaciteit... "

Het is een feit dat de capaciteit sneller groeit dan de transfersnelheid.

"... en dat wijst er IMHO op dat drive 2 _relatief_ gezien sneller is."

Uhm. Nee. Drive1 is sneller in beide opzichten. Punt.

"Dit klinkt misschien dom, maar door bijv. 4MB drives te gebruiken met 4MB snelheid, heb je toch dezelfde capaciteit als snelheid?"


Que?

[ Voor 18% gewijzigd door lordsnow op 30-04-2005 23:00 ]

[Verwijderd]

lordsnow schreef op zaterdag 30 april 2005 @ 22:58:
Conclusie:
Drive 1 is groter, maar trager.

Deze conclusie klopt niet. Je berekent zelf al dat Drive1 292x groter is EN 122x sneller is.

Relatief gezien wel. Sorry, ben wat onduidelijk geweest.

"Het gaat hier erom dat de snelheid minder toeneemt dan de capaciteit... "

Het is een feit dat de capaciteit sneller groeit dan de transfersnelheid.

Idd.

"... en dat wijst er IMHO op dat drive 2 _relatief_ gezien sneller is."

Uhm. Nee. Drive1 is sneller in beide opzichten. Punt.

Relatief, again.

"Dit klinkt misschien dom, maar door bijv. 4MB drives te gebruiken met 4MB snelheid, heb je toch dezelfde capaciteit als snelheid?"

Op deze maniet kun je IMO dus de volledige capaciteit theoretisch in 1 keer transferren.

[ThunderNet]

Dit heb ik voornamelijk bedacht vanwege het volgende probleem: Hoe haalt een xxGB HD een transferrate van xxGB over een xxxMB kanaal?

simpel, dat haalt ie niet...
als we kijken naar de snelle bus voor "normaal" gebruik: S-ATA, zit op 150mbps
echter, komt de snelste schijf die ik tot nu toe gezien heb (Raptor) op een Transfer rate van 72MB/s dus op ruwweg 50% van de bus...

op hoeveel % busgebruik komt die memorystick van jou?
(oftewel loze vergelijking)
een HD is gewoon sneller dan een memorystick...
als je het echt puur om snelheid gaat, dat je aan data kunt komen... moet je het in het gewone RAM geheugen zetten... _veel_ sneller (3200MB/s +)

[Verwijderd]

ThunderNet schreef op zaterdag 30 april 2005 @ 23:05:
[...]

simpel, dat haalt ie niet...

Daarom juist

als we kijken naar de snelle bus voor "normaal" gebruik: S-ATA, zit op 150mbps
echter, komt de snelste schijf die ik tot nu toe gezien heb (Raptor) op een Transfer rate van 72MB/s dus op ruwweg 50% van de bus...

op hoeveel % busgebruik komt die memorystick van jou?

In mijn originele post 8MB van 60MB, bij het 4MB voorbeeld 4MB van 60MB, oftewel, ruim onder de limiet.

(oftewel loze vergelijking)
een HD is gewoon sneller dan een memorystick...

als je het echt puur om snelheid gaat, dat je aan data kunt komen... moet je het in het gewone RAM geheugen zetten... _veel_ sneller (3200MB/s +)

Ik wil zoveel mogelijk data erop kwijt, beginnende met 2GB. Meteen de hele gemiddelde geheugenconroller vol. En dat kan 'ie bij het opstarten meteen maar even gaan laden, wat de downtime nog meer vergroot... En die downtime heb je niet/nauwelijks met USB

[ Voor 2% gewijzigd door Verwijderd op 30-04-2005 23:16 . Reden: Typo ]

[ThunderNet]

dan blijft het alsnog, goedkoper EN sneller.
om van een Hardeschijf, maar een klein beetje ruimte te gebruiken..
men neme: een 40GB hardeschijf...
wij gebruiken hiervan 1GB..
tada: goedkoper als flashgeheugen, sneller als flashgeheugen.. en mocht het nodig zijn, 39GB aan ruimte extra.

[Verwijderd]

ThunderNet schreef op zaterdag 30 april 2005 @ 23:23:
dan blijft het alsnog, goedkoper EN sneller.
om van een Hardeschijf, maar een klein beetje ruimte te gebruiken..
men neme: een 40GB hardeschijf...
wij gebruiken hiervan 1GB..
tada: goedkoper als flashgeheugen, sneller als flashgeheugen.. en mocht het nodig zijn, 39GB aan ruimte extra.

Op zich heb je gelijk, maar consider this:

-HD's hebruiken veel meer stroom
-HD's hebben veel meer (duur of met veel poorten nog duurder) ATA controllers nodig
-HD's Nemen veel meer plaats in
-ATA HD's zijn niet hotswappable (iig 40 GB drives niet)
-USB en FireWire zitten op bijna ieder mobo
-Extra USB/FireWire lanes zijn spotgoedkoop en hebben een hoge dichtheid (1 slot voor meer dan 10 drives van 1GB), ATA is daarentegen duur en hebben een lage dichtheid (1 slot voor 4 drives).

Dat weegt bij mij op tegen de extra kosten op het vlak van de storage zelf.

[Egg]

Klopt het dus dat Flash sneller is dan een HD, klopt het model niet, of zit ik totale onzin te blaten?

what's the point anyway...
een hd met een flashkaartje vergelijken is netzoiets als de klok van een geheugen module met een cpu

je moet gewoon kijken naar de daadwerkelijke realtime ervaring van snelheid, en ik denk dat een hddtje toch een tikkie sneller werkt...

[Admiral Freebee]

Je wil er misschien rekening mee houden dat flashgeheugen slechts een x aantal keer kan beschreven worden. Hoeveel keer weet ik niet exact maar als het als een soort van cache moet dienen (als er bvb een OS op draait) dan zou ik er wel rekening mee houden

[ThunderNet]

Verwijderd schreef op zaterdag 30 april 2005 @ 23:33:
[...]


Op zich heb je gelijk, maar consider this:

-HD's hebruiken veel meer stroom
-HD's hebben veel meer (duur of met veel poorten nog duurder) ATA controllers nodig
-HD's Nemen veel meer plaats in
-ATA HD's zijn niet hotswappable (iig 40 GB drives niet)
-USB en FireWire zitten op bijna ieder mobo
-Extra USB/FireWire lanes zijn spotgoedkoop en hebben een hoge dichtheid (1 slot voor meer dan 10 drives van 1GB), ATA is daarentegen duur en hebben een lage dichtheid (1 slot voor 4 drives).

Dat weegt bij mij op tegen de extra kosten op het vlak van de storage zelf.

punt 1: je hebt gelijk...
punt 2: USB, heeft een usb controller nodig.
punt 3: HD's kunnen meestal binnen IN de kast, terwijl memorysticks buiten de kast blijven.
punt 4: hebben we SCSI voor
punt 5: ATA zit ook op ieder mobo
Punt 6: Het punt dat je een extra ATA/SCSI controler nodig bent ligt veel hoger.

[Verwijderd]

uberotto2086 schreef op zaterdag 30 april 2005 @ 23:35:
[...]


what's the point anyway...
een hd met een flashkaartje vergelijken is netzoiets als de klok van een geheugen module met een cpu

Het is allebei storage, precies voor hetzelfde doel. Dat kun je van een kristal en een chip niet zeggen...

je moet gewoon kijken naar de daadwerkelijke realtime ervaring van snelheid, en ik denk dat een hddtje toch een tikkie sneller werkt...

Daarom gebruik ik ook zo veel mogelijk info uit de BenchDB, maar dit is een specifieke situatie. Zodra ik benches heb, zal ik die ook zeker toevoegen

[Egg]

Verwijderd schreef op zaterdag 30 april 2005 @ 23:39:
[...]


Het is allebei storage, precies voor hetzelfde doel. Dat kun je van een kristal en een chip niet zeggen...

als jij nou effe een 300 gig hdd in je digicam stopt...dan praten we verder

[Verwijderd]

ThunderNet schreef op zaterdag 30 april 2005 @ 23:37:
[...]


punt 1: je hebt gelijk...
punt 2: USB, heeft een usb controller nodig.

Zit meestal al op het mobo, en is ook zeer goedkoop.

punt 3: HD's kunnen meestal binnen IN de kast, terwijl memorysticks buiten de kast blijven.

10 drives voor 10 GB = minstens E100 meer per goede kast...

punt 4: hebben we SCSI voor

Klopt, maar dat is weer duur...

offtopic:
3 4.3 GB schijfjes voor de SCSI-1 array in AppelSap (2e hands) kostten al E120 per stuk...

punt 5: ATA zit ook op ieder mobo

Ja, maar daar kun je niet snel 10 schijven op kwijt, en dan heb je nog maar 10GB...

Punt 6: Het punt dat je een extra ATA/SCSI controler nodig bent ligt veel hoger.

Vvoor minstens 10 schijfjes is een extra controller meestal wel nodig...

[Verwijderd]

uberotto2086 schreef op zaterdag 30 april 2005 @ 23:42:
[...]


als jij nou effe een 300 gig hdd in je digicam stopt...dan praten we verder

Dat is een loze vergelijking. De vergelijking hier lijkt meer op: kleine CPU, langzamer maar hogere dichtheid en lager kosten vs. grote cpu, sneller maar lagere dichtheid en hogere kosten.

[ThunderNet]

Verwijderd schreef op zaterdag 30 april 2005 @ 23:44:
[...]


Zit meestal al op het mobo, en is ook zeer goedkoop.


[...]


10 drives voor 10 GB = minstens E100 meer per goede kast...


[...]


Klopt, maar dat is weer duur...

offtopic:
3 4.3 GB schijfjes voor de SCSI-1 array in AppelSap (2e hands) kostten al E120 per stuk...

[...]


Ja, maar daar kun je niet snel 10 schijven op kwijt, en dan heb je nog maar 10GB...


[...]


Vvoor minstens 10 schijfjes is een extra controller meestal wel nodig...

voor 10 schijfjes? ja, maar hoeveel sticks ben je kwijt voor 144GB aan storage (Grootste scsi hd die ik zo weet)
daarnaast kunnen op mijn SCSI controller 2 * 7 schijven... dus ruim 2 TB aan storage... hoeveel memorysticks ben je daar voor nodig? hoe duur zijn die memorysticks? hoe duur die scsi controller + schijven VS usb controller + sticks?

[Egg]

Verwijderd schreef op zaterdag 30 april 2005 @ 23:46:
[...]


Dat is een loze vergelijking. De vergelijking hier lijkt meer op: kleine CPU, langzamer maar hogere dichtheid en lager kosten vs. grote cpu, sneller maar lagere dichtheid en hogere kosten.

offtopic:
je maakt je naam waar...

[ Voor 6% gewijzigd door Egg op 30-04-2005 23:59 ]

[Verwijderd]

ThunderNet schreef op zaterdag 30 april 2005 @ 23:49:
[...]


voor 10 schijfjes? ja, maar hoeveel sticks ben je kwijt voor 144GB aan storage (Grootste scsi hd die ik zo weet)

Kun je dan ook even 144 GB in 1 keer overpompen?

daarnaast kunnen op mijn SCSI controller 2 * 7 schijven... dus ruim 2 TB aan storage... hoeveel memorysticks ben je daar voor nodig? hoe duur zijn die memorysticks? hoe duur die scsi controller + schijven VS usb controller + sticks?

Het is geen probleem als de capaciteit geleidelijk groeit. 144 TB is op dit moment overkill. En zoals ik zei, ik kan met USB de complete storage stick in 1 keer benaderen. Bovendien, als de capaciteit gelijk is aan de snelheid, is het voor mij geen probleem om meer te gaan investeren. Ik zwem niet in het geld, maar voor een goede zaak wil ik wel wat meer uitgeven. Een USB kaartje is maar E15 en daar kun je tig memory sticks op aansluiten.

[ThunderNet]

Verwijderd schreef op zondag 01 mei 2005 @ 00:11:
[...]


Kun je dan ook even 144 GB in 1 keer overpompen?


[...]


Het is geen probleem als de capaciteit geleidelijk groeit. 144 TB is op dit moment overkill. En zoals ik zei, ik kan met USB de complete storage stick in 1 keer benaderen. Bovendien, als de capaciteit gelijk is aan de snelheid, is het voor mij geen probleem om meer te gaan investeren. Ik zwem niet in het geld, maar voor een goede zaak wil ik wel wat meer uitgeven. Een USB kaartje is maar E15 en daar kun je tig memory sticks op aansluiten.

typo van jou

maar goed... wat jij wil is een alternatief.. met memorysticks.
voor wat jij met 1 simpele hd ook kunt bereiken... wat goedkoper, sneller, en meer opslagcapiciteit bied... nee, duidelijk

[Verwijderd]

ThunderNet schreef op zondag 01 mei 2005 @ 00:19:
[...]

typo van jou

LOL! Idd

maar goed... wat jij wil is een alternatief.. met memorysticks.
voor wat jij met 1 simpele hd ook kunt berijken... was goedkoper, sneller, en meer opslagcapiciteit bied... nee, duidelijk

Tsja, ik ben nou eenmaal een vreemde Trouwens, niet alle data wordt erop opgeslagen, alleen de meest gebruikte. De rest hangt _wel_ gewoon in mijn fileserver

Maar ik heb mijn antwoord, dus zal ik jullie niet langer vermoeien met mijn vreemde ideen

Bedankt Allemaal!

[ThunderNet]

Verwijderd schreef op zondag 01 mei 2005 @ 00:22:
[...]


LOL! Idd


[...]


Tsja, ik ben nou eenmaal een vreemde Trouwens, niet alle data wordt erop opgeslagen, alleen de meest gebruikte. De rest hangt _wel_ gewoon in mijn fileserver

Maar ik heb mijn antwoord, dus zal ik jullie niet langer vermoeien met mijn vreemde ideen

Bedankt Allemaal!

Maar wat is dan precies jou antwoord.... als je dat verteld, hebben anderen er ook nog wat aan

[Paul]

Wat wil je precies bereiken? Want je kunt wel allemaal getalletjes onderling vergelijken en er dan een vaag verband in aanbrengen, maar wat probeer je te bereiken / bewijzen / uit te zoeken?

Je kunt nu wel bewijzen dat een flashdrive al dan niet sneller is per gb opslagcapaciteit dan een harde schijf, maar om met flashdrives sneller te zijn dan dan harde schijf moet je er al 122 in raid0 oid zetten, waarbij we nog niet hebben gekeken naar kosten en practische uitvoerbaarheid

Als je een buffer wilt hebben om het meest gebruikte in te zetten: neem een fatsoenlijk os en zet er 4gb ram in of zo, je OS chached het wel

[ThunderNet]

Paul Nieuwkamp schreef op zondag 01 mei 2005 @ 00:46:
Wat wil je precies bereiken? Want je kunt wel allemaal getalletjes onderling vergelijken en er dan een vaag verband in aanbrengen, maar wat probeer je te bereiken / bewijzen / uit te zoeken?

Je kunt nu wel bewijzen dat een flashdrive al dan niet sneller is per gb opslagcapaciteit dan een harde schijf, maar om met flashdrives sneller te zijn dan dan harde schijf moet je er al 122 in raid0 oid zetten, waarbij we nog niet hebben gekeken naar kosten en practische uitvoerbaarheid

Als je een buffer wilt hebben om het meest gebruikte in te zetten: neem een fatsoenlijk os en zet er 4gb ram in of zo, je OS chached het wel

precies wat ik bedoel te zeggen. het enige nut wat een flashdrive in deze situatie zou hebben, wordt onkracht doordat een HD sneller, goedkoper, en meer opslagcapiciteit bied..

[Verwijderd]

Hoe meer geheugen ik voor caching van de HD's kan uitsparen, hoe beter. Daarom flash.

De conclusie is: Het model klopt, maar in de praktijk zijn gewone HD's meestal goedkoper, dus is flash alleen aan te raden voor speciale doeleinden, en zeker niet voor massaopslag.

[BalusC]

Verwijderd schreef op zaterdag 30 april 2005 @ 22:36:
Persoonlijk wil ik voor mezelf uitrekenen wat voor mijn intensieve leesoperaties het beste was: Flash of HD.

Je hebt het dan wel over intensieve leesoperaties, maar flash is absoluut ongeschikt voor intensieve schrijfoperaties. De goedkoopste flashsticks zijn slechts ca. 100.000 maal herschrijfbaar. Stel dat je elk minuut slechts 1 schrijfoperatie doet op een bepaald bitje, dan is dit bitje na ongeveer 70 dagen niet meer herschrijfbaar. De mid-end flashkaarten gaan tot ongeveer 5x langer mee. De duurste flashkaarten tot zo'n 10x langer. Wanneer het jou puur om massaopslag gaat, dan kun je de flashkaarten wel gebruiken. Maar dan nog ben je er relatief gezien veel duurder uit, dan voor een simpele HDD (prijs per GB).

[ Voor 21% gewijzigd door BalusC op 01-05-2005 09:08 ]

[Verwijderd]

BalusC schreef op zondag 01 mei 2005 @ 08:58:
[...]
Je hebt het dan wel over intensieve leesoperaties, maar flash is absoluut ongeschikt voor intensieve schrijfoperaties. De goedkoopste flashsticks zijn slechts ca. 100.000 maal herschrijfbaar. Stel dat je elk minuut slechts 1 schrijfoperatie doet op een bepaald bitje, dan is dit bitje na ongeveer 70 dagen niet meer herschrijfbaar. De mid-end flashkaarten gaan tot ongeveer 5x langer mee. De duurste flashkaarten tot zo'n 10x langer. Wanneer het jou puur om massaopslag gaat, dan kun je de flashkaarten wel gebruiken. Maar dan nog ben je er relatief gezien veel duurder uit, dan voor een simpele HDD (prijs per GB).

Idd, daarom ook alleen leesoperaties

Ik zet de definitieve versie van de files erop, remount ro, en klaar. 1 keer schrijven

[Paul]

Verwijderd schreef op zondag 01 mei 2005 @ 08:51:
Hoe meer geheugen ik voor caching van de HD's kan uitsparen, hoe beter. Daarom flash.

En dat wordt niet gecached dacht je?

Je wil dingen die heel vaak opgevraagd worden zo snel mogelijk beschikbaar hebben? Aangezien je het over remount ro hebt neem ik aan dat het om een Linux gaat? Die cached afaik gewoon _alle_ blockdevices..

Nog even afgezien van het feit dat je gelimiteerd wordt door je netwerkverbinding (je had het over een fileserver), je hebt werkelijk niets aan het getalletje (doorvoersnelheid / opslagcapaciteit) als je een beperkt aantal files wilt serveren. Je moet gewoon kijken "hoe kan ik die het snelste serveren?"... De opslagcapaciteit van een device komt pas kijken als je een extreem snelle manier hebt gevonden die misschien te klein is.

Flash en DDR ontlopen elkaar overigens niet zo veel, dus of je er nu 2gb flash in hangt of 2gb ram extra, het kost ongeveer hetzelfde, alleen is die laatste _veel_ sneller. Als het geheel onder de 2 of 3 gb blijft zou ik gewoon 4gb ram in die machine zetten en een ramdrive aanmaken of zo.