Ubuntu server op USB stick, hoe lang blijft dat leven?

[Mexxus]

Beste allemaal,

Ik wil binnenkort een Ubuntu Server 10.10 installeren op een USB-stick. Nu is dat niet zo'n probleem, maar ik vraag me af hoe lang die USB-stick in dat geval blijft leven. Het schijnt namelijk zo te zijn dat USB-sticks maar een beperkt aantal herschreven kunnen worden (zo'n 10.000 tot 100.000 keer).

Als ik m'n Ubuntu server zo optimaliseer dat ie niet heel veel logs schrijft, en die machine dan 24/7 aan staat met een webserver, FTP-server, MySQL en fileserver voor thuisgebruik, hoe lang gaat dat ding dan blijven leven voordat 'ie kuren gaat vertonen. Vat dat te meten in maanden, jaren?

Het gaat om een nieuwe USB-stick, kwalitatief goed, van OCZ.

Iemand hier enig idee?

[remy007]

Mexxus schreef op woensdag 23 februari 2011 @ 14:51:
Beste allemaal,

Ik wil binnenkort een Ubuntu Server 10.10 installeren op een USB-stick. Nu is dat niet zo'n probleem, maar ik vraag me af hoe lang die USB-stick in dat geval blijft leven. Het schijnt namelijk zo te zijn dat USB-sticks maar een beperkt aantal herschreven kunnen worden (zo'n 10.000 tot 100.000 keer).

Als ik m'n Ubuntu server zo optimaliseer dat ie niet heel veel logs schrijft, en die machine dan 24/7 aan staat met een webserver, FTP-server, MySQL en fileserver voor thuisgebruik, hoe lang gaat dat ding dan blijven leven voordat 'ie kuren gaat vertonen. Vat dat te meten in maanden, jaren?

Het gaat om een nieuwe USB-stick, kwalitatief goed, van OCZ.

Iemand hier enig idee?

Dit lijkt me meer iets voor de fora NOS, dan wel gedeeltelijk voor OM.

Ligt er lijkt mij meer aan wat voor data de MySQL server te verwerken krijgt, gezien een database (als deze intensief gebruikt wordt) veel leest/schrijft.

[Mexxus]

In dat geval, kan 'n modje dit topic even een schop geven dan? :-)

[McKaamos]

Sja, misschien kan je dan beter een SSD met USB connector kopen? Daar zit in ieder geval wear levelling op, zodat het langer blijft leven.
In hoeverre TRIM werkt via USB zou ik niet weten, dus in het ergste geval zakt de snelheid naar zo'n 50%. Aan de andere kant, je zit wel via USB dus in hoeverre die performance drop impact heeft is maar de vraag...

Mayb dat je zo'n 40GB Kingston SSD kan nemen, met zo'n overdracht set erbij (effectief gewoon een USB controller, mass storage)

[Cyphax]

Mexxus schreef op woensdag 23 februari 2011 @ 14:51:
Beste allemaal,

Ik wil binnenkort een Ubuntu Server 10.10 installeren op een USB-stick. Nu is dat niet zo'n probleem, maar ik vraag me af hoe lang die USB-stick in dat geval blijft leven. Het schijnt namelijk zo te zijn dat USB-sticks maar een beperkt aantal herschreven kunnen worden (zo'n 10.000 tot 100.000 keer).

Als ik m'n Ubuntu server zo optimaliseer dat ie niet heel veel logs schrijft, en die machine dan 24/7 aan staat met een webserver, FTP-server, MySQL en fileserver voor thuisgebruik, hoe lang gaat dat ding dan blijven leven voordat 'ie kuren gaat vertonen. Vat dat te meten in maanden, jaren?

Het gaat om een nieuwe USB-stick, kwalitatief goed, van OCZ.

Iemand hier enig idee?

Als je /var op een andere schijf zet, en swap (file of partitie) ook, dan denk ik dat ie het wel even uithoudt.
Ik ga er even vanuit dat MySQL z'n databases in /var zet, en anders moet je er even voor zorgen dat ie dat doet.

[Mexxus]

McKaamos schreef op woensdag 23 februari 2011 @ 15:19:
Sja, misschien kan je dan beter een SSD met USB connector kopen? Daar zit in ieder geval wear levelling op, zodat het langer blijft leven.
In hoeverre TRIM werkt via USB zou ik niet weten, dus in het ergste geval zakt de snelheid naar zo'n 50%. Aan de andere kant, je zit wel via USB dus in hoeverre die performance drop impact heeft is maar de vraag...

Mayb dat je zo'n 40GB Kingston SSD kan nemen, met zo'n overdracht set erbij (effectief gewoon een USB controller, mass storage)

Bedoel je die flash-geheugen dingetjes? Die ook in een fototoestel gaan? Een Solid State Disk wordt anders namelijk wel een dure aangelegenheid.

[McKaamos]

Mexxus schreef op woensdag 23 februari 2011 @ 15:26:
[...]


Bedoel je die flash-geheugen dingetjes? Die ook in een fototoestel gaan? Een Solid State Disk wordt anders namelijk wel een dure aangelegenheid.

Nee, niet in een camera. Echt een SSD voor een PC, met een SATA aansluiting.
Een aantal merken heeft die dingen ook in een set zitten met een CD en USB kabel voor het overplaatsen van je oude HDD naar de SSD.
Met die USB kabel is het effectief een USB mass storage device, aka een USB stick.
Je hoeft daar voor echt niet de meest dure te kopen ofzo.

Ik weet alleen niet zeker of die setjes van Kingston nog te krijgen zijn, maar dan is het wel weer te fixen met een USB -> SATA behuizing.

[citruspers]

Ik heb hier zelf een FreeNAS server draaien op een USB stickje (echt een hele slechte), en die gaat toch alweer een half jaartje mee zonder optimalisatie. Okee, er worden niet veel logs geschreven, en ik heb geen SWAP ingesteld, maar hij doet het nog steeds.

Mocht de stick overlijden, heb ik de configuratie opgeslagen, dus met een reinstall kan ik binnen een half uurtje weer up and running zijn.

[Mexxus]

Hmm.. maargoed, is de verwachting dat een USB-stick bij gebruik als thuis-server OS langer dan 1 jaar draait?

[Cyphax]

Ja, mijn verwachting wel ja, als je het goed opzet. Zo veel I/O heb je niet meer als ie is opgestart (behalve dus swap en /var), veel gebeurt ook nog in het geheugen.
Ik heb op mijn eigen server thuis het OS geinstalleerd op een CF-kaartje, die op een converter (naar SATA) zit. En die draait al wat langer dan een jaar. Echt snel is het niet trouwens, maar daar merk je na het opstarten niets meer van.

[Nielson]

Er zijn wel een aantal simpele tweaks om de belasting op de stick wat terug te dringen:

http://wiki.pcprobleemloo...duce_wear_on_flash_memory
http://www.zdnet.com/blog...rives-ssds-and-linux/9190

citruspers schreef op woensdag 23 februari 2011 @ 15:47:
Ik heb hier zelf een FreeNAS server draaien op een USB stickje (echt een hele slechte), en die gaat toch alweer een half jaartje mee zonder optimalisatie.

Afhankelijk van hoe je freenas geinstalleerd hebt wordt er normaal gesproken alleen van stick gelezen tijdens het booten, voor de rest draait deze compleet in het geheugen, dus niet helemaal te verglijken met een normale setup.

[PeterSelie]

Mag ik uit practisch oogpunt vragen waarom je hebt besloten de server op een USB stick te plaatsen?

[MoiZie]

Heb het hier ook, scheelt sata poorten die voor de grote disks gereserveerd zijn. Heb de usb stick als ext2 geformatteerd, geen swap, logs op minimaal. Booten duurt 2,5 minuut, maar daarna draait het prima .

[PeterSelie]

Zou een extern schijfje in 2,5" formaat van een GB of 20 in dat geval niet practischer zijn?

[alt-92]

* alt-92 neemt aanloop

*schop*

[CAPSLOCK2000]

't zou heel lang goed moeten gaan, al zou ik er geen belangrijke data op zetten. Voor de prijs van een USB-stick zou ik me verder ook niet te veel zorgen maken. Maak een paar keer per jaar een volledige backup. Als het ding dan stuk gaat koop je een nieuwe, en ben je zo weer online. Als je dat belangrijk vindt kun je ook nu al een 2e USB-stick kopen en daar de backup op maken.

[Verwijderd]

Ik draai zelf een vergelijkbaar servertje al ruim een jaar van een SD kaart waar dezelfde slijtage van toepassing is. Ik heb helemaal niets getweaked met betrekking tot minder schrijven ofzo, gewoon een out of the box Debian.

Ik had het toentertijd berekend en kwam volgens mij bij een vrij intensief gebruik op iets van 18 jaar uit dat het kreng mee zou gaan.

Even een quote van WCEend:

Will my Corsair USB Flash drive last more than 10 years?

Yes. All Corsair flash drives are built with memory components that can handle AT LEAST 10,000 write cycles; typically they will handle an order of magnitude more than this. So, this means that in order to exhaust the drive in ten years, one would have to write to EVERY BLOCK in the device about 2.7 times per day, every single day. We simply can’t conceive of such a usage scenario; this would mean that on a fairly typical 8 GByte drive, one would need to write over 21 GBytes of data to it every day for ten years! USB flash drives simply are not used in this way.

[ Voor 108% gewijzigd door Verwijderd op 23-02-2011 21:46 ]

[deadinspace]

Verwijderd schreef op woensdag 23 februari 2011 @ 21:37:
Ik had het toentertijd berekend en kwam volgens mij bij een vrij intensief gebruik op iets van 18 jaar uit dat het kreng mee zou gaan.

Even een quote van WCEend:

> So, this means that in order to exhaust the drive in ten
> years, one would have to write to EVERY BLOCK in the
> device about 2.7 times per day, every single day.

Dat soort berekeningen zeggen helemaal niets, want WCEend gaat er van uit dat je alle sectoren van de flash even vaak beschrijft. Maar wat als één sector herhaaldelijk beschreven wordt? Denk dan bijvoorbeeld aan de inode van /var/log/messages, of van een MySQL db file, of aan het filesystem superblock. 10.000 keer is minder dan 30 keer per dag gedurende een jaar, en 30 keer per dag lijkt me makkelijk haalbaar voor bepaalde sectoren.

Als je flash storage wear-leveling heeft wordt het verhaal anders, maar ik vraag me ernstig af of simpele USB-sticks dat hebben.

Ik vermoed overigens dat het in de praktijk allemaal wel meevalt, maar berekeningen zoals die van WCEend zeggen heel erg weinig, zelfs met wear-leveling

[McKaamos]

deadinspace schreef op donderdag 24 februari 2011 @ 11:09:
[...]

Dat soort berekeningen zeggen helemaal niets, want WCEend gaat er van uit dat je alle sectoren van de flash even vaak beschrijft. Maar wat als één sector herhaaldelijk beschreven wordt? Denk dan bijvoorbeeld aan de inode van /var/log/messages, of van een MySQL db file, of aan het filesystem superblock. 10.000 keer is minder dan 30 keer per dag gedurende een jaar, en 30 keer per dag lijkt me makkelijk haalbaar voor bepaalde sectoren.

Als je flash storage wear-leveling heeft wordt het verhaal anders, maar ik vraag me ernstig af of simpele USB-sticks dat hebben.

Ik vermoed overigens dat het in de praktijk allemaal wel meevalt, maar berekeningen zoals die van WCEend zeggen heel erg weinig, zelfs met wear-leveling

En daarom mijn idee: gebruik een SSD, want die heeft wear leveling.

[Verwijderd]

deadinspace schreef op donderdag 24 februari 2011 @ 11:09:
[...]

Dat soort berekeningen zeggen helemaal niets, want WCEend gaat er van uit dat je alle sectoren van de flash even vaak beschrijft. Maar wat als één sector herhaaldelijk beschreven wordt? Denk dan bijvoorbeeld aan de inode van /var/log/messages, of van een MySQL db file, of aan het filesystem superblock. 10.000 keer is minder dan 30 keer per dag gedurende een jaar, en 30 keer per dag lijkt me makkelijk haalbaar voor bepaalde sectoren.

Als je flash storage wear-leveling heeft wordt het verhaal anders, maar ik vraag me ernstig af of simpele USB-sticks dat hebben.

Ik vermoed overigens dat het in de praktijk allemaal wel meevalt, maar berekeningen zoals die van WCEend zeggen heel erg weinig, zelfs met wear-leveling

Volgens mij (maar ik weet er ook niets vanaf dus correct me if I'm wrong) is het in vrijwel alle flash storage devices zo dat er sector mapping plaatsvind om juist dit te voorkomen. Een logische sector heeft dus in principe niets te maken met een fysieke sector. Het keer op keer herschrijven van de logische sector zal dus niet ervoor zorgen dat de fysieke sector keer op keer herschreven wordt.

Misschien dat er uitzonderingen zijn, maar naar mijn weten implementeren zelfs de simpelste flash memory controllers dit.

Voor zo ver ik kan vinden op internet implementeren ook alle grote fabrikanten op al hun flash based producten een of andere vorm van wear leveling (waarschijnlijk de sector mapping techniek omdat de flash controllers dit standaard al ondersteunen).

[ Voor 8% gewijzigd door Verwijderd op 24-02-2011 14:25 ]

[johnkeates]

Je zou dan een FS kunnen gebruiken dat rekening houdt met Flash geheugen, JFFS2 zou kunnen werken.

[deadinspace]

Verwijderd schreef op donderdag 24 februari 2011 @ 14:22:
Volgens mij (maar ik weet er ook niets vanaf dus correct me if I'm wrong) is het in vrijwel alle flash storage devices zo dat er sector mapping plaatsvind om juist dit te voorkomen. Een logische sector heeft dus in principe niets te maken met een fysieke sector. Het keer op keer herschrijven van de logische sector zal dus niet ervoor zorgen dat de fysieke sector keer op keer herschreven wordt.

Misschien dat er uitzonderingen zijn, maar naar mijn weten implementeren zelfs de simpelste flash memory controllers dit.

Ik weet ook niks zeker, maar ik heb er een beetje een hard hoofd in dat USB sticks dit op een fatsoenlijke manier doen. Maar misschien heb je geljik en valt het nogal mee

Als iemand hier hardere informatie over heeft: graag!

johnkeates schreef op donderdag 24 februari 2011 @ 14:30:
Je zou dan een FS kunnen gebruiken dat rekening houdt met Flash geheugen, JFFS2 zou kunnen werken.

JFFS2 is alleen voor MTD devices, oftewel raw flash:

USB sticks, CompactFlash cards and other removable flash media are not MTD devices. They are block devices. They do contain flash chip inside, but they also contain some translation layer above which emulates block device. [...] So, the answer is probably yes, you technically can, but be sure you realize why you do this. In general it is bad idea. It is much better to use any conventional file system like ext2.

[Tim]

Mijn server draait vanaf een SD kaartje. Volgens mij bevat die ook gewoon wear leveling in het kaartje.