Community topic: Bouw een dataopslag van minimaal 10 TB

[Koffie]

Dit is het eerste topic in de vorm van een 'community topic' iets waarvan de definitie eigenlijk nog niet vast staat, en alle kanten op kan en mag gaan
De bedoeling van een dergelijk topic is dat er een (fictief) vraagstuk word neergelegd waar we vervolgens met zijn een oplossing voor kunnen bedenken gebasseerd op real world componenten/technieken.
Een vraagstuk zou kunnen zijn 'bouw een nieuwe printcluster voor 750 printers, met specificaties X,Y en Z en bla en bla'.
Vervolgens kan iedereen daar dan zijn mening over geven en producten, oplossingen en technieken aandragen.
Dit mag heel breed zijn, of heel diep gaan. Je kunt prima een oplossing intsturen waar je zegt dat je een bepaalde server koopt, een bepaald OS met wat extra tooling en nog wat dingetjes, terwijl iemand anders dit allemaal kan laten liggen en volledig ingaat op het oplossen van failover van de printers, compleet met scripts en weet ik wat.
Oftewel: voor elk wat wils.

Wat echter absoluut NIET de bedoeling is, is ongeneerd de pricewatch pakken en het duurste van het duurste opzoeken en dat stoer als boodschappenlijstje posten.
Normale benadering van het vraagstuk dus, en niet even shoppen met een unlimited credit card

Enfin, laten we niet langer beginnen en meteen starten met het eerste vraagstuk.

Bouw een opslag platform met minimaal 10 Tb (netto) opslagruimte

Situatieschets:
Bij een bestaand bedrijf moet opslag gefacaliteerd worden. Deze dient minimaal 10 Tb aan te kunnen, groei in de toekomst is daar niet echt in mee genomen. Toekomstige uitbreiding zal waarschijnlijk inhouden dat hetzelfde truukje opnieuw gedaan zal worden.

Eissen en randvoorwaarden:

- Er is geen specifiek budget, maar het moet wel 'liefst zo goedkoop mogelijk'
- Zelfbouw en betrouwbaar
- Indien geen zelfbouw (maar bij wijze van een goede Dell server met 1 of meerdere Equalogic's) dan graag door middel van prijzen aantonen dat het net zoveel geld kost als zelfbouw
- Opvangen van failure aan hardware is een must (denk aan RAID en clustreing oid)
- Maak (indien mogelijk) zoveel mogelijk gebruik van de Pricewatch voor accuraat het totaalbedrag bij te houden
- De opslag hoeft niet de NASA te bedienen, maar is ook niet voor thuis. Laten we zeggen een uptime garantie van 99,99% per jaar
- De 10Tb bevat alleen data waar de gebruikers mee werken, dus geen roaming profiles oid.
- Er zullen ca. 1000 concurrent gebruikers op de files staan harken, welke de data via Windows clients benaderen.
- Er zal een database server draaien welke zijn DB files op deze opslag plaatst.
- Onderbouw je keuzes
- Schroom niet om opbouwende kritiek naar elkaar te houden, maar houd het netjes en respectvol

Ik ben benieuwd naar all aangedragen oplossingen, totaalprijzen en redenen voor bepaalde keuzes

[ Voor 8% gewijzigd door Koffie op 06-09-2009 20:02 ]

[DukeBox]

Het is echt heel erg moeilijk je in een situatie in te leven als je de achterliggende werkstruktuur niet kent. Zelf bouw is leuk maar als heel snel toch een risico wat ik (in mijn huidige werk) nooit zou nemen.

Als je ernstige problemen met je storage hebt, hoe zit het met bijv. vervanging (van onderdelen), support bij data verlies en natuurlijk de hardware (en software) die aan je storage hangt.

Met jouw sumiere info (er staan bar weinig eisen in je 'storage' lijstje) zou ik zelf voor een equallogic 4000 gaan met 16*750GB in raid 6 (=10500GB netto), single controller 1 jaar NBD voor 17400€. wat neer komt op €1,45 per GB.

Hierbij heb je een enterprise class product dat o.a. zeer geschikt is voor uitbreiding, makkelijk te managenen, gesupport door veel OS software leveranciers.

[Koffie]

Klopt, er staan weinig eissen om het breed te houden
Persoonlijk zou ik ook niet voor zelfbouw gaan, maar het is toch iets wat je vaak als vraag ziet.
Aan de andere kant is dit (zoals al aangegeven) dus ook een mooie gelegenheid om kosten en baten van zelfbouw en 'A-merk oplossingen' naast elkaar te zetten.

Over jou aangedragen oplossing: waar ga je dat op welke manier aan koppelen? Ik ben het met je eens dat je niet aan een SAN ontkomt, maar die zal toch wel met een bepaalde manier aan iets gekoppeld moeten worden. In dit geval zal er nog iets van een fileserver moeten komen die via iSCSI de disken koppelt.
Wat voor fileserver zou je daarvoor neerzetten, met welk OS ?

[Tsurany]

Hoe mission critical is de dataopslag? Er zit verschil tussen een server met flink wat bestanden waar iedereen bij moet kunnen omdat het handig is, of een server waar de data op staat die gewoon elke seconde beschikbaar moet zijn omdat anders niemand kan werken en het duizenden euro's per uur (of zelfs per minuut) zal kosten.

[Aike]

Van mij geen uitgebreide reactie, maar wel een leuk linkje. Backblaze is een aanbieder van online backup en zoals ze zelf zeggen, als een gebruiker er een schijf bij koopt hebben ze ook een extra schijf nodig. En vorige week hebben ze een uitgebreide blogpost gemaakt over hun storage oplossing. In het kort hebben ze serverkasten van 4U met daarin max 45 disks van 1.5TB voor zo'n 7000 dollar per stuk.

http://blog.backblaze.com...p-cloud-storage/#more-150

[DukeBox]

Het hangt er natuurlijk vanaf wat je onder 'opslag platform' en in je TT 'dataopslag' verstaat. theoretisch kan je ook alle op cd branden en en in je kast leggen..
Daarom mijn reactie dat je eisen nogal sumier zijn.. NFS of CIFS ondersteuning kan dan al veel makkelijker zijn als je geen apparte FS er onder wilt hangen.
Aangezien je ook op iedere client een iSCSI initiator zou kunnen zetten (default in vista/7 en linux 2.6+) heb je verder niets nodig dan je bestaande netwerkomgeving.
Maar om even serieus op je vraag in te gaan, ik zou het houden bij server hardware die er nu staat mits daar een support contract op zit, een nieuwe fileserver hoeft niet meer te kosten dan 1000€ die geschikt is om de equallogic volledig leeg te trekken.

[Gomez12]

Koffie schreef op zondag 06 september 2009 @ 18:08:
Persoonlijk zou ik ook niet voor zelfbouw gaan, maar het is toch iets wat je vaak als vraag ziet.
Aan de andere kant is dit (zoals al aangegeven) dus ook een mooie gelegenheid om kosten en baten van zelfbouw en 'A-merk oplossingen' naast elkaar te zetten.

Tja, imho maakt dit het al redelijk onzinnig.

De verschillen tussen zelfbouw / a-merk oplossingen zijn niet enkel in prijs uit te drukken.

Binnen deze specs zou zelfs 25x 1TB usb-schijven ( 10 in gebruik voor echt werken, 10 voor mirroring, 5 als spares op de plank) , 5 8-poorts usb hubs ( 3 in gebruik, 2 spares ) en 1 server ( heeft geen spare nodig, het zooitje is zo over te zetten op een desktop met USB-aansluiting ) die continu loopt te rsyncen passen. Ik gok dat dit het goedkoopste is, performance is 0,0 ( maar stond ook niet in de specs ).
Maar toch hoop ik dat niemand dit serieus neemt...

Het hangt er nogal redelijk vanaf of je 10 clients moet bedienen ( 1 server ) of dat je 15.000 clients moet bedienen.
Vanwege het zo goedkoop mogelijk, wat is de minimale levensduur die het moet kunnen hebben ( bedrijven die het principe zo goedkoop mogelijk hanteren vinden veelal dat als er 8TB opstaat dat er nog geen vervanging hoeft te komen ook al is de hardware 10 jaar oud, maakt redelijk wat uit voor zelfbouw / beschikbare onderdelen etc )
...

Oftewel geef aub eens wat meer eisen want dit is meer een directie eisen plaatje waar nog niemand met enig verstand naar gekeken heeft

[axis]

Leuk initiatief Koffie! Lekker met elkaar filosoferen en met elkaar gedachten uitwisselen..

Sja, wat meer spelregels zouden wel meer houvast geven (zoals CIFS als vereiste, etc), maar ik snap dat je het juist breed wilt houden en wat aan de verbeelding over wilt laten.

Ik zou zelf denk ik erg snel neigen naar een EQL PS4000 ja, omdat ik ondertussen helemaal fan ben geworden van de Equallogic producten (door het gebruikersgemak, features, etc). Alleen heb je dan nog een aparte machine nodig om de content te serveren over CIFS, zoals een R300 van 1500 piek (met DRAC enzo). Wil je ook nog extra redunancy moet je er ook nog een spare machine bij nemen, of als je een nog hogere uptime wilt garanderen, ze active-active draaien met een clustered filesystem (bijv. GFS ofzo).

Trouwens nog wel een gigantisch voordeel aan die Equallogic units, is dat je er zo een naast zet, een paar klikjes doet, en tadaa, je virtuele SAN is opeens 2x zo groot, en 2x zo snel. Letterlijk, ondertussen paar keer gedaan. Da's ook wel wat waard, maar goed.

Vanwege de complexiteit van deze extra front-end machines, zou ik in dit geval eerder gaan voor zo'n hip nieuw doosje van Sun, zoals een Sun Storage 7210, zo te zien staat ie bij Bechtle in de prijslijst voor EUR 20.600 excl met 48x250GB (11.5TB raw). Dan heb je meteen CIFS sharing, en je hebt alle geweldige features van de fishworks suite. Als je die niet kent, moet je echt eens zoeken, of een vmware-image van de software downloaden om mee te spelen, ontzettend vet.

Edit: Ik heb zelf trouwens voor wat projecten als nas een Dell PowerEdge 2900 opgetuigd met een ssd als bootdisk en 10x1TB, gemanaged door ZFS op FreeBSD. Kost volgens mij rond de 5k-6k euro. Alleen haal je bij RAID5 maar 9TB effectief (of 8 als je nog een hotspare wil), da's 0,54-0,65 euro per GB. Volgens mij kun je in die machines ondertussen ook 2TB disks zetten, dan kom je er makkelijker.

Daarnaast moet het spul waarschijnlijk ook nog gebackupped worden, maar daar werd niet naar gevraagd

[ Voor 23% gewijzigd door axis op 06-09-2009 20:11 ]

[Ethirty]

Ah leuk, benieuwd wat hier langs komt. Helemaal whiteboxen zou ik niet doen, maar toevallig vond ik laatst wel een heel mooi artikel met standaard HP server spul. Mooier kan ik het niet verzinnen dus ik wil hiervan niet de credits nemen.

1x HP DL580 G5, P800 controllers, MSA60 cabinets en naar keuze 3.5" 15K SAS of 3.5" 7.5K SATA disks, W2K3 enterprise en SANsymphony software, die dezelfde funtionaliteit geeft als elk ander enterprise SAN: tier-1 performance, storage pooling, thin provisioning, snapshots, etc.

Met 4 cabinets, 48x 300GB 15K SAS disks en fibre channel kom ik op net iets meer dan 14TB bruto voor een prijs van net geen $60K aan hardware (volgens de prijzen in het artikel) wat aanzienlijk duurder is dan DukeBox zijn oplossing, maar wel meer performance biedt. De SATA variant met 16x 750GB schijven doet net iets meer dan $25K.

Maar nu de grote plus: met max 8 cabinets per controller en max 7 controllers én genoeg ruimte voor 10x 4 of 8 Gb fibre aansluitingen én extra ethernet poorten is deze oplossing schaalbaar tot 365TB voor een fractie van de prijs van een enterprise SAN van de grote jongens Heb je wel 2 19" racks nodig

Actuele NL-prijsjes:
pricewatch: HP DL580 G5 X7350 2,93 GHz Quad Core 4P 8 GB (kan stuk goedkoper, maar die staan niet in de PW)
pricewatch unsorted: HP StorageWorks MSA60 Array
pricewatch: HP MSA2 SATA HD, 750GB
pricewatch: HP SAS HD, 300GB

[ Voor 19% gewijzigd door Ethirty op 08-09-2009 13:53 . Reden: wat pricewatch prijzen toegevoegd ]

[Koffie]

Ik heb het eissenpakket wat geprobeerd te verduidelijken.
Let wel: het gaat hier om een fictief vraagstuk dus vandaar dat het ook een redelijk summier lijstje is.
Het eissenpakket mag ook best groeien de komende tijd wanneer daar behoefte aan is.

Axis verwoord heel goed wat ik bedoel: axis in "Community topic: Bouw een dataopslag van..."

Overigens ben ik juist wel benieuwd naar de prijsverschillen tussen zelfbouw en alles A-Merk kant en klaar geleverd - ik zou eerlijk gezegd niet durven zeggen wat de prijsverschillen zijn.

Er is namelijk nogal een verschil tussen 'pak wat USB disken' en zelfbouw op basis van het betere spul.

Je zou namelijk kunnen kijken naar:

Netstore NA322A-R (2U Rack 12xSAS/SATA HDD PCI-E x8) 2x400W (€1.525)
12 x Seagate Barracuda ES.2 ST31000640SS (€170,-)
Areca ARC-1231ML (€650,-)

De Areca zou je dan nog kunnen upgraden qua geheugen, en ook de 1 Tb schijven zijn wat aan de magere kant (maximaal RAID 5 met 1 Hotspare, of RAID6 mogelijk), dus wellicht zou je daar al aan de 1,5 Tb moeten denken.
Je zou ook 2 cases kunnen nemen met wat minder of kleinere disken en dan betere RAID protectie nemen.
Vervolgens zul je hier nog een server omheen moeten bouwen om de files te verstampen en aan de clients aan te bieden.
Maar je zou een dergelijke setup dus kunnen vergelijken met een merk oplossing.

axis schreef op zondag 06 september 2009 @ 20:03:
Daarnaast moet het spul waarschijnlijk ook nog gebackupped worden, maar daar werd niet naar gevraagd

Backup valt inderdaad even buiten dit vraagstuk, het is al duidelijk dat we hier al genoeg kanten mee op kunnen gaan

[ Voor 10% gewijzigd door Koffie op 06-09-2009 20:27 ]

[DukeBox]

axis schreef op zondag 06 september 2009 @ 20:03:
Volgens mij kun je in die machines ondertussen ook 2TB disks zetten, dan kom je er makkelijker.

Kan je vertellen dat het met 2TB het prima werkt.. heb toevallig een aantal PE2900's staan met ESXi bootend van de interne USB, heb er ook een thuis als test gehad met 10x 2TB er in erg leuk systeem (maar jammer van het lawaai).
Overigens waar had jij dan die ene SSD geplaatst ? Op de plek van de floppy (2.5") of cdrom ?

Ethirty schreef op zondag 06 september 2009 @ 20:15:
wat aanzienlijk duurder is dan DukeBox zijn oplossing, maar wel meer performance biedt.

Ik ben dan toch altijd benieuwd naar exacte specs qua performance. Dat je voor dat geld meer performance mag verwachten ok, maar of dat er daadwerkelijk uitkomt (en nog bellangrijker, of dat met file-serving gebruikt gaat worden). Vergeet niet dat zoals eerder axis al aangaf, een equallogic schaalt bijna extreem.. de 4x1Gbit modules eruit, en de 3x10Gbit modules als je meer bandbreedte nodig hebt, 7200rpm SATA eruit, SSD's erin voor IO.. equallogic erbij en je verdubbeld nog eens de bandbreedte en opslag. Dat allemaal zonder licenties (!).
Vooral de komende de-duplicatie is erg gaag welke (gratis) beschikbaar komt met de nieuwe firmware..

Koffie schreef op zondag 06 september 2009 @ 20:24:
Netstore NA322A-R (2U Rack 12xSAS/SATA HDD PCI-E x8) 2x400W (€1.525)
12 x Seagate Barracuda ES.2 ST31000640SS (€170,-)
Areca ARC-1231ML (€650,-)

Dus 0,43€/GB als ik het met een EQL omgeving vergelijk betaal je dus 1€ extra per GB voor support en certificatie.. dat is de enige afweging die je moet maken.

offtopic:
Eh.. sorry dat ik teveel doorratel over de EQL.. ben nogal een fan van dat spul sinds ik 8 jaar geleden mijn eerste EQL aanzette

En dat alles brengt me eigenlijk op de conclusie dat dit topic meer een verdediging van ieders favoriete oplossing gaat worden.
Zonder specifieke eisen (technisch als budget) is er gewoon geen passende oplossing te maken. Als consultant zijn zijn dit altijd de meest 'irritante' opdrachten, klanten die niet weten wat ze willen en achterag gaan klagen als de omgeving niet past bij hun eisen die er opeens achteraf wel zijn.....

[ Voor 25% gewijzigd door DukeBox op 06-09-2009 20:50 ]

[kKaltUu]

Een paar mannen op het FreeBSD forum hebben dit vraagstuk al gekregen, en hebben een behoorlijk mooi beestje inelkaar geflanst.
Leuk leesvoer, maar het artikel gaat voornamelijk hoe ze het in FreeBSD hebben geregeld, de basis ligt er al en zou misschien ook aangepast kunnen worden voor andere doeleinden.

Ik ben zelf zo a-creatief als de pest, dus mijn beste opstelling zou een server met een iSCSI SAN eraan zijn, met een mooie speech erachteraan waarom het verantwoord is om zoveel geld eraan te besteden, en dat in tweevoud.

In ieder geval benieuwd wat er langs zou komen, en of iemand zo dapper genoeg is zijn eigen opstelling ook te realiseren!

[Ethirty]

DukeBox schreef op zondag 06 september 2009 @ 20:35:
Ik ben dan toch altijd benieuwd naar exacte specs qua performance. Dat je voor dat geld meer performance mag verwachten ok, maar of dat er daadwerkelijk uitkomt (en nog bellangrijker, of dat met file-serving gebruikt gaat worden). Vergeet niet dat zoals eerder axis al aangaf, een equallogic schaalt bijna extreem.. de 4x1Gbit modules eruit, en de 3x10Gbit modules als je meer bandbreedte nodig hebt, 7200rpm SATA eruit, SSD's erin voor IO.. equallogic erbij en je verdubbeld nog eens de bandbreedte en opslag. Dat allemaal zonder licenties (!).
Vooral de komende de-duplicatie is erg gaag welke (gratis) beschikbaar komt met de nieuwe firmware..

OK, de-duplication staat niks over in, dat zou ook zomaar in een nieuwe software versie kunnen zitten. Voor de rest is 'mijn' oplossing volgens mij minstens net zo schaalbaar: tot 672 spindles (x 750GB=0,5PB!) , 10 fibre en 4Gbit ethernet poorten, SAS of SATA (en HP heeft ook vast SSD), uitbreidbare storage controller cache (in de vorm van normaal RAM), tot 4 6-core Xeon's (of juist downscalen naar een DL360/380 met 1 dualcore), modulair upgradable en alles 1 totaal licentie voor de SAN functionaliteit.

Echt een mix-and-match DIY SAN naar wens met A-merk kwaliteit zonder de beperkingen van een normale SAN oplossing.

Bottleneck zal de PCIe x8 bus zijn, weet niet precies hoeveel data die kan verstouwen (1 P800 doet al 3.2Gb/s), maar kan me niet voorstellen dat een EQL daarin heel veel meer kan.

[Equator]

Ik heb de topic titel maar even aangepast, want ik neem aan dat het over 10 Tera Byte gaat i.p.v. Tera bit

[axis]

DukeBox schreef op zondag 06 september 2009 @ 20:35:
[...]

Kan je vertellen dat het met 2TB het prima werkt.. heb toevallig een aantal PE2900's staan met ESXi bootend van de interne USB, heb er ook een thuis als test gehad met 10x 2TB er in erg leuk systeem (maar jammer van het lawaai).
Overigens waar had jij dan die ene SSD geplaatst ? Op de plek van de floppy (2.5") of cdrom ?
[...]

Aha, da's leuk, ik wist niet zeker dat dat werkte. Je hebt ze aan de PERC5/i of PERC6/i zitten? Heb je de schijven bij Dell gekocht of zelf ergens anders gehaald?

Die SSD (OCZ Vertex 30GB) plaats ik in een 5,25" slot naast de CD-ROM. Dit zou eigenlijk netter zijn, maar vond ik weer wat overkill: http://www.webconnexxion....?cPath=63&products_id=652

In de meeste dozen die ik heb zit nu 10*750GB in RAID5+HS, maar dan houd je effectief niet veel over:

code:

# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
tank                   5.44T    566G   4.88T    10%  ONLINE     -

[axis]

kKaltUu schreef op zondag 06 september 2009 @ 20:39:
Een paar mannen op het FreeBSD forum hebben dit vraagstuk al gekregen, en hebben een behoorlijk mooi beestje inelkaar geflanst.
Leuk leesvoer, maar het artikel gaat voornamelijk hoe ze het in FreeBSD hebben geregeld, de basis ligt er al en zou misschien ook aangepast kunnen worden voor andere doeleinden.
[..]

Wat die gast in jouw link heeft gedaan, is voor 6,432 EUR het volgende bouwen:

Chenbro 5U rackmount case, with 24 hot-swappable drive bays, and a 4-way redundant PSU
Tyan h2000M motherboard
2x dual-core Opteron 2200-series CPUs at 2.2 GHz
8 GB ECC DDR2-SDRAM
3Ware 9550SXU PCI-X RAID controller in a 64-bit/133 Mhz PCI-X slot
3Ware 9650SE PCIe RAID controller in an 8x PCIe slot
Intel PRO/1000MT 4-port gigabit PCI-X NIC
24x 500 GB SATA harddrives
2x 2 GB CompactFlash cards in CF-to-IDE adapters

Qua software hetzelfde als wat ik doe met die Dell PowerEdge 2900's (FreeBSD+ZFS), alleen dan met 24 disks ipv 10. Leuk, dat wel

[Munnikman]

Dit vindt ik op zich een erg leuke manier van topics maar ik vrees dat de geleverde informatie te beknopt is om een adequaat antwoord te geven.

Er word gesproken over het hosten van een DB. Als DBA zijn wil nu dus eerst dingen weten als datasizes (VLDB of niet), growth rate, IOPS momenteel, IOP samenstelling (read/write heavy, avg IOP size, etc). Daarnaast is het van belang om te weten wat voor een bescherming dat men wilt. 99.99% up-time is een leuk streven maar wat is de gebruikte definitie van up-time, storage up-time, applicatie beschikbaar voor users, server up-time??? Let wel op dat 99.99% up betekend dat er max. 52,6 minuten per jaar downtime max zijn. Afhankelijk van je definitie moet je dus al gaan denken aan zaken als dubbele uitvoering. Vervolgens moet je ook nog kijken naar de soort data die erop staat. Wellicht zijn er wettelijke regels op van toepassing (SOX iod). Dit heeft ook weer een invloed op je design. Wellicht zit er overheids data in het systeem, dan moet je wellicht 100% redundant zijn en een disaster tolerant oplossing neer zetten met een geografische spreiding van x KM. Welke eisen stel je qua recovery time voor bepaalde scenario's? Dit heeft en inpact op je infrastructuur en je selectie van software en hardware. Op welke manieren moet de storage ontsloten worden, DAS, NAS, SAN.? Hoeveel servers moeten erbij kunnen? Hoeveel concurrent users? Wat voor een applicaties gaan er gebruikkt worden? etc etc etc...

Ik kan nog wel even een uurtje doorgaan met afwegingen en zo maar de vraagstelling is op dit moment gewoonweg te beperkt om een echt passende oplossing te beschrijven. Is het mogelijk om een iets meer volledig pakket van eisen op te stellen of moeten we onze fantasie de loop laten gaan en de aannames apart vermelden??

Leuk topic, maar zonder de extra input is het onmogelijk om de beste oplossing te verzinnen.....

[Koffie]

Kijk, en dat is soms ons 'tekort' als techneuten.
Ik weet dat we in PNS zitten, maar soms weet je al dat soort informatie niet en zul je toch echt een systeem neer moeten zetten.
Idem bij het totaal nieuwbouwen van bijv. een database server waarvan simpelweg nog geen informatie is over wat het gaat doen, omdat het een hagelnieuw pakket is.
Zonder al dit soort informatie is er best een aardig systeem neer te zetten.

In het fictieve voorbeeld zal er gewoon 'een database' op het SAN draaien - gebeurt wel vaker dat er een relatief licht databaseje op een server geparkeerd moet worden.

En inderdaad, laat je fantasie de loop gaan en kijk waar je komt. Voor een fictief verhaal is het IMHO redelijk overkill om alles tot op het laatste schroefje te verzinnen.

[Ethirty]

Koffie schreef op maandag 07 september 2009 @ 13:20:
Kijk, en dat is soms ons 'tekort' als techneuten.

Ik denk juist dat het een tekort is als je deze vragen niet eerst stelt voor je een opslag systeem ergens neerzet, het gaat niet altijd om het beste of het goedkoopste. Als er regelgeving als SOX oid van toepassing is of het betreft een defensie-systeem dan gelden hele andere randvoorwarden dan als het voor een MKB'er is die toevallig veel data verstouwd.

Met de beschikbare info (10TB voor data en een DB) wordt de keuze beperkt door het aantal opties van de leveranciers. Van niet werkend tot heavy overkill. Voor alleen data wil ik nog wel een enkele Raid 6 array plaatsen. Moet ik er Exchange/SQL/Oracle op kwijt (of een combi) dan betwijfel ik of ik uberhaupt de performance haal om het pand levend te verlaten na oplevering

Minimale info moet toch op zijn minst de verdeelsleutel zijn tussen data omvang en database omvang en of er vooral gelezen of geschreven wordt in de DB (wat, hoeveel en met welke snelheid laat ik dan nog helemaal achterwege). Dit zijn imo toch essentiële factoren, samen met de interconnectiviteit, die je eerst moet achterhalen als ze niet beschikbaar zijn voordat je een degelijke offerte kan maken. Mijn eerste oplossing kost een veelvoud van een alternatief wat ik ook zo uit mijn mouw kan schudden, maar onderstaande zal voor 1000 users waarschijnlijk niet werken, laatst staan als er nog een DB bij moet.

1x HP DL185 met 12x 1TB in R6, staat nog in de pricewatch ook voor een schamele 8 mille.

Mag jij raden welke offerte goedgekeurd wordt zonder verdere beargumentatie (geen details = geen argumenten waarom), de offerte van 8K of die van 20K+

[ Voor 15% gewijzigd door Ethirty op 08-09-2009 13:54 ]

[Munnikman]

Ik zal vanavond eens nadenken over een oplossing maar ik vrees dat ik net als Ethirty ook altijd deze vragen eerst zou stellen en indien er geen antwoorden komen gewoon keihard nee zeggen. Nee is ook een antwoord en met deze info een klus aannemen waar 1000 mensen vervolgens van afhankelijk kunnen zijn, is te veel risico. Een professional MOET kritisch zijn en nee durfen zeggen in mijn optiek.

Een eerste rondje prijzen checken, waarbij ik van mijn ervaringen uit ga op dit gebied en uit ga van de worse case qua zwaarte van de server en het gebruik, leverde al een eerste ruwe prijs op van rond de 80.000,-- Maar dan neem ik ook support contracten en de servers mee in mijn calculatie en ga ik uit van dedicated server en volledige redundantie. Dus niet alleen de storage oplossing en HBA's voor een aantal servers.

Iets zegt mij dat ik niet met de goedkoopste oplossing aan ga komen... LOL

[DukeBox]

axis schreef op maandag 07 september 2009 @ 08:35:
Aha, da's leuk, ik wist niet zeker dat dat werkte. Je hebt ze aan de PERC5/i of PERC6/i zitten? Heb je de schijven bij Dell gekocht of zelf ergens anders gehaald?

Aan beiden gehad.. en nee niet via dell (ben niet gek , was privé)

Qua software hetzelfde als wat ik doe met die Dell PowerEdge 2900's (FreeBSD+ZFS), alleen dan met 24 disks ipv 10. Leuk, dat wel

En dan heeft die dell wel alles redundant..

[axis]

DukeBox schreef op maandag 07 september 2009 @ 18:17:
En dan heeft die dell wel alles redundant..

Naja, ik kan 1 voeding verliezen en 2 disks (mits niet tegelijkertijd), maar verder heb je een boel SPOFs (mobo, cpu, backplane, raidcontroller, etc.. Raidcontroller zou nog op te vangen zijn, geheugen kun je mirroren, maar het houdt een keer op. En mobo is toch iets dat nog wel eens overlijdt..

Da's wel weer het leuke aan een EQL, nagenoeg alles (behalve de domme backplane geloof ik) is redundant uitgevoerd. Voedingen, controllers, caches, etc.. Dus waar je normaal bij een eis voor hogere beschikbaarheid 2 nassen nodig hebt, heb je aan een EQL genoeg. (En dit zal ongetwijfeld ook gelden voor Netapp, Lefthand en anderen, maar daar heb ik geen ervaring mee).

[DukeBox]

axis schreef op maandag 07 september 2009 @ 19:28:
Da's wel weer het leuke aan een EQL, nagenoeg alles (behalve de domme backplane geloof ik) is redundant uitgevoerd. Voedingen, controllers, caches, etc..

Er zijn zelfs nog meer leuke dingen die een EQL doet wat ik niet bij anderen zie.. (ik ga hier wel heel erg offtopic dus als dit niet gewenst is stuur maar even een PM en ik haal het weer weg).
Doordat een EQL zelf optimaal zijn blokken verdeeld zelfs in variabele grootes van 2MB tot 128MB zorgt hij bij volumes waarbij de IO laag is dat de blokken bij elkaar komen te liggen.
Als je bijv. een volume van 500GB hebt op een EQL met een raid 5 van 16 hdd's van 1GB en er vallen 4 hdd's uit is normaal gesproken al je data weg.. als echter de data van alle volumes zich nog op de resterende hdd's bevind blijft dat volume gewoon online doordat de blockinfo op meerdere lokaties staat (en in cache).
Het is zelfs mogelijk met 1 hdd nog volumes online te hebben, alhouwel de kans wel erg klein is.
Dit heeft als voordeel dat je veel minder hoeft te restoren bij een disaster.

[Ethirty]

Beetje snel stil met ideeën hier.

Aan de minder profi kant van veel storage in weinig ruimte: QNAP TS-809U-RP met 8x 2TB in R6
C2D 2.8 GHz, 2GB intern en iSCSI

#	Product	Prijs	Subtotaal
1	QNAP TS-809U-RP	€ 1.990,-	€ 1.990,-
8	Western Digital Caviar Green WD20EADS, 2TB	€ 163,03	€ 1.304,24
Importeren		Totaal	€ 3.294,24

[ Voor 76% gewijzigd door Ethirty op 10-09-2009 23:24 . Reden: Prijsjes toegevoegd ]

[Guru Evi]

Norco RPC-3116 - vullen met 750G schijfjes - ik weet niet of je deze prijzen ook in de EU kunt krijgen maar in de US ziet het er als volgt uit:

Enclosure: $309.99
Rackmount kit: $39.99
16x 750G disk: $69.99 * 16 = $1119.84
TYAN S5397AG2NRF: $439.99
Intel Xeon L5420 Harpertown 2.5GHz LGA 771 50W Quad-Core Processor: $424.99 * 2 = $849.98
Kingston 4GB (2 x 2GB) 240-Pin DDR2 800: $63.49 * 4 = 253.96
Stroomkabels 1-to-4: $3.99 * 2 = $7.98
1100W Power Supply: $239
Areca ARC-1680IX-16-4G PCI-Express x8 SAS RAID Card: $1299
SFF-8087 to 4 SATA cable: $24.99 * 4 = $99.96

Totaal: $4659.69 - geeft 10.5TB in RAID5 met 1 spare en een heftige 8-core Xeon host met 16GB RAM. Als je 2TB schijven gebruikt ($199.99/schijf of $2080 meer) geeft het je 30TB in RAID5 met 1 spare.

[axis]

Guru Evi schreef op woensdag 09 september 2009 @ 22:22:
Norco RPC-3116 - vullen met 750G schijfjes - ik weet niet of je deze prijzen ook in de EU kunt krijgen maar in de US ziet het er als volgt uit:

Enclosure: $309.99
Rackmount kit: $39.99
16x 750G disk: $69.99 * 16 = $1119.84
TYAN S5397AG2NRF: $439.99
Intel Xeon L5420 Harpertown 2.5GHz LGA 771 50W Quad-Core Processor: $424.99 * 2 = $849.98
Kingston 4GB (2 x 2GB) 240-Pin DDR2 800: $63.49 * 4 = 253.96
Stroomkabels 1-to-4: $3.99 * 2 = $7.98
1100W Power Supply: $239
Areca ARC-1680IX-16-4G PCI-Express x8 SAS RAID Card: $1299
SFF-8087 to 4 SATA cable: $24.99 * 4 = $99.96

Totaal: $4659.69 - geeft 10.5TB in RAID5 met 1 spare en een heftige 8-core Xeon host met 16GB RAM. Als je 2TB schijven gebruikt ($199.99/schijf of $2080 meer) geeft het je 30TB in RAID5 met 1 spare.

Da's niet duur inderdaad.. En als je bijvoorbeeld FreeBSD of Solaris draait, wil je ZFS gebruiken, waarbij je je controllers in JBOD draait.. Dan kun je het af met 2 8-poorts sata controllers zoals het Supermicro kaartje dat hier besproken wordt, dan ben je voor 16 poortjes maar $250 kwijt in plaats van $1299. Of de LSISAS3081E, 8-poort sata controllertje voor $200 per stuk als ik het zo snel zie.

[ Voor 3% gewijzigd door axis op 09-09-2009 22:44 ]

[DukeBox]

Ethirty schreef op woensdag 09 september 2009 @ 21:53:
Aan de minder profi kant van veel storage in weinig ruimte: QNAP TS-809U-RP met 8x 2TB in R6
C2D 2.8 GHz, 2GB intern en iSCSI

^ ik mis prijzen (per GB) maar de qnap is tegen de 2k dus gemiddeld zal het iets duurder zijn dan onderstaand. De specs zijn bijna gelijk aan de thecus, die 2 troefen elkaar iedere maand af .
Voordeel van de qnap op dit moment is dat deze met rsync overweg kan op block level niveau.. thecus heeft een eigen oplossing nsync welke overigens wel erg snel is en vrijwel geen invloed op de overall performance.

1x Thecus N8800 € 1351,96
8x Seagate Barracuda 7200.11 ST31500341AS, 1.5TB 100€/st
Totaal 2151,96 € voor 1200GB bruto.
In raid 5 netto 10500GB voor nog net geen 0,21 € per GB.

Met 2TB hdd's is het zelfs nog interesanter
8x Hitachi Deskstar 7K2000 HDS722020ALA330, 2TB 180€/st
Totaal 2791,96 € voor 16000GB bruto.
In raid 5 netto 14000GB voor nog net geen 0,20 € per GB.

Voor dat geld heb je meteen (licentie vrij !) CIFS / SMB / NFS en iSCSI beschikbaar. Wel een beperking van bandbreedte van 200MB/s per unit (io heb ik nog niet getest maar verwacht er geen equallogic resultaten van). Hij is stackable (helaas verdubbel je niet je bandbreedte, maar kan je deze wel beter verdelen). Daarnaast heb je zelfs thin provisioning, snapshots en kun je ook meerdere raid groepen maken (raid 10 voor performance, raid 5 voor storage) en ben je ook niet verplicht hdd's van dezelfde grote te gebruiken.

In geval van hardware probleem. een reserve thecus active/passive standby (middels de thecus replicatie oplossing) en klaar.

[ Voor 17% gewijzigd door DukeBox op 09-09-2009 23:11 ]

[tHe_BiNk]

Gewoon goedkope Samsung harddisks in RAID6 met 1 hotspare. Zodat als 1 schijf het begeeft niet gelijk je array degraded is, en gelijk kan worden begonnen met herbouwen (RAID5 valt gewoon af bij zoveel schijven vind ik). Simpel en makkelijk te onderhouden. Geen exotisch hardware, dat geeft alleen maar issues. Geschikt voor meerdere gebruikers tegelijk (1080P streams, virtualisatie, large file transfers, etc.) .

1716 euro, ongeveer 15,74 cent per GB.

Ik ga er wel vanuit dat je makkelijk bij de server kunt.

10x1.5TB in RAID6 = 10.9GB beschikbaar
1x Hotspare 1.5TB

#	Product	Prijs	Subtotaal
1	Areca ARC-1680ix-16	€ 775,-	€ 775,-
11	Samsung EcoGreen F2 EG HD154UI, 1.5TB	€ 85,50	€ 940,50
Importeren		Totaal	€ 1.715,50

Rest van de hardware kan je zelf bepalen.

OS kan je zelf bepalen. Voor thuisgebruik gewoon Ubuntu Server, FreeBSD, of oude WindowsXP licentie.

/update .... oeps verkeerde product weggegooid .

[ Voor 12% gewijzigd door tHe_BiNk op 10-09-2009 21:37 ]

[Koffie]

DukeBox schreef op maandag 07 september 2009 @ 20:27:
[...]

Er zijn zelfs nog meer leuke dingen die een EQL doet wat ik niet bij anderen zie.. (ik ga hier wel heel erg offtopic dus als dit niet gewenst is stuur maar even een PM en ik haal het weer weg).

Nee hoor, dergelijk info / discussies zijn nu juist wat ik o.a. wil bereiken met dit soort topics

[Ethirty]

tHe_BiNk: Het gaat er hier juist om dat je aangeeft hoe jij het zou doen, we kunnen hier allemaal wel een systeempje zelf samenstellen. Wat ik vooral mis is de behuizing en hoe je eea beschikbaar wil stellen. De randvoorwaarde was 1000 (zakelijke) gebruikers, dus niet voor thuisgebruik om je filmpjes te bewaren.

Heb nog even prijsjes toegevoegd aan mijn qnap setup, maar de Thecus oplossing van DukeBox is aanzienlijk goedkoper.

[ Voor 16% gewijzigd door Ethirty op 10-09-2009 23:25 ]

[Koffie]

tHe_BiNk schreef op donderdag 10 september 2009 @ 21:14:
Gewoon goedkope Samsung harddisks in RAID6 met 1 hotspare. Zodat als 1 schijf het begeeft niet gelijk je array degraded is, en gelijk kan worden begonnen met herbouwen (RAID5 valt gewoon af bij zoveel schijven vind ik). Simpel en makkelijk te onderhouden. Geen exotisch hardware, dat geeft alleen maar issues. Geschikt voor meerdere gebruikers tegelijk (1080P streams, virtualisatie, large file transfers, etc.) .

1716 euro, ongeveer 15,74 cent per GB.

Ik ga er wel vanuit dat je makkelijk bij de server kunt.

10x1.5TB in RAID6 = 10.9GB beschikbaar
1x Hotspare 1.5TB

#	Product	Prijs	Subtotaal
1	Areca ARC-1680ix-16	€ 775,-	€ 775,-
11	Samsung EcoGreen F2 EG HD154UI, 1.5TB	€ 85,50	€ 940,50
Importeren		Totaal	€ 1.715,50

Rest van de hardware kan je zelf bepalen.

OS kan je zelf bepalen. Voor thuisgebruik gewoon Ubuntu Server, FreeBSD, of oude WindowsXP licentie.

/update .... oeps verkeerde product weggegooid .

Heb jij thuis 1000 gebruikers ? Wil je echt 1000 users op WinXP loslaten? In welke case laat je die 10 schijven (je zult toch minimaal nog een boot-disk nodig hebben (mirror?) en een CD drive om zut te installeren.
Minimaal toch wel 13 3.5" devices en dan nog een 5.25"
Daar heb je toch een aardige case voor nodig, en ook een goede voeding.

Zelfbouw is leuk, maar dit is hobby de bob ...

[Guru Evi]

maar de Thecus oplossing van DukeBox is aanzienlijk goedkoper.

De Thecus heeft echter nog steeds geen server hardware - het is enkel een enclosure met schijfjes. Mijn oplossing is wel iewat duurder (alhoewel het goedkoper kan gedaan worden) maar met 8 Xeon processors en 16GB RAM icm met NFS of SMB kun je toch al wel heel wat zakelijke gebruikers tevreden stellen. Daarom heb ik ook gekozen voor een Areca kaart van $1200 en niet een simpele SATA controller van $250. De RAID (5/6, 1+0) in zichzelf wordt afgeladen van de bus en je weet dat het enkele gigabit links kan vullen.

[Ethirty]

Guru Evi, ik vergeleek de Thecus en de QNAP, die natuurlijk van een heel andere caliber zijn als een normale server of een SAN array. De eerste 2 zijn sowieso waarschijnlijk beter geschikt als online archief ipv een echte storage unit voor 1000 man.

[axis]

Guru Evi schreef op vrijdag 11 september 2009 @ 15:51:
[...]


De Thecus heeft echter nog steeds geen server hardware - het is enkel een enclosure met schijfjes. Mijn oplossing is wel iewat duurder (alhoewel het goedkoper kan gedaan worden) maar met 8 Xeon processors en 16GB RAM icm met NFS of SMB kun je toch al wel heel wat zakelijke gebruikers tevreden stellen. Daarom heb ik ook gekozen voor een Areca kaart van $1200 en niet een simpele SATA controller van $250. De RAID (5/6, 1+0) in zichzelf wordt afgeladen van de bus en je weet dat het enkele gigabit links kan vullen.

Ik snap jouw redenering, maar de consensus is een beetje aan het verschuiven merk ik. In jouw setup, als je kaart overlijdt, moet je allerijl op zoek naar een 1200$ Areca kaart, en ook enkel en alleen maar een Areca kaart. In mijn setup stop ik er een willekeurige 250$ SATA controller in, of dat nu een LSI, 3Ware, Areca is maakt niet uit, ik tik in 'zpool import', en ik ben weer up and running.

Begrijp me niet verkeerd, ik wil niet verzanden in een 'de mijne is beter dan jouwes' verhaal, want beide setups hebben hun eigen voor- en nadelen.. Alleen zijn er wel voordelen aan beide kanten waar je misschien zo niet bij nadenkt op het eerste gezicht.

[Guru Evi]

@Ethirty: In mijn commentaar bedoelde ik dat je geen systeem (een NAS-head) had om de data van de enclosure te lezen (of ik zie iets over het hoofd) en over SMB/NFS te sharen. Ik denk dat de bedoeling was dat je een volledig systeem bouwde zo goedkoop mogelijk, niet gewoon een enclosure vinden waar 10TB aan drives inpassen (momenteel is dit mogelijk met een grote desktop kast en 2GB schijven). Ikzelf zou liever een challenge zien met een iewat geloofwaardig en moeilijk getal: 100TB in een active-active failover setup met een minimum 10 Gbit doorvoer.

@Axis Ik zou ook graag een FibreChannel-to-SATA controller willen vinden om in zo'n doos te stoppen. Dan heb je geen last meer van kaartjes die overlijden en kun je aan de slag met betere SAN software ook. Momenteel als gelijk welk component van je setup in rook opgaat dan zit je enkele dagen zonder je storage.

Alhoewel dit niet zo'n probleem is voor hobby is dit in een bedrijf met 100 en zeker 1000 gebruikers wel het geval (ik spreek uit ervaring - ik beheer momenteel 25TB aan wetenschappelijke data voor 100 gebruikers).

Er is een reden dat die zaakjes van Promise of IBM of EMC zo veel kosten, de helft van zo'n doos kan eruit liggen en de gebruiker merkt er niets van. De samenstelling van de setup hierboven gebruik ik zelf (alhoewel een oudere versie) voor backups (Virtual Tape Library) maar de setup in zichzelf is niet robuust (en waarschijnlijk ook niet snel) genoeg om de data waar mensen mee werken te hosten. Mijn setup kun je waarschijnlijk nog een heel stuk goedkoper doen met goedkopere mobo's en CPU's, minder RAM als je het enkel voor backups gaat gebruiken.

Ik heb zelf ZFS nog niet gebruikt maar ik blijf meestal weg van softwarematige RAID setups. Ik heb al veel gehoord van RAID-Z maar nog enorm weinig voor non-hobby. Een probleem met veel softwarematige RAID is dat als een drive het net niet volledig opgeeft (geen SMART errors) maar gewoon read errors zit te spugen (ik heb momenteel zo'n drive in een van mijn arrays) dan gaat je hele systeem ten onder omdat die ene drive niet meewilt en de kernel kan wel lezen/schrijven (of de data er ook opstaat is een andere vraag) maar enorm traag terwijl een degelijke controller dit wel onder controle kan houden door de schijf af te stoten.

[ Voor 43% gewijzigd door Guru Evi op 11-09-2009 18:59 ]

[Ethirty]

Guru Evi schreef op vrijdag 11 september 2009 @ 18:39:
@Ethirty: In mijn commentaar bedoelde ik dat je geen systeem (een NAS-head) had om de data van de enclosure te lezen (of ik zie iets over het hoofd) en over SMB/NFS te sharen.

Ah, in dat geval: welkom in de wondere wereld van de all-in-one NAS'jes. Te duur voor thuis, te langzaam voor grote bedrijven

Zoals ook te lezen in DukeBox' post bevatten dit soort systemen al alle connectiviteit die je nodig hebt: 1 of 2 Gbit LAN poorten, SMB/CIFS, NFS, iSCSI en vaak ook AD-support voor user-authenticatie. De QNAP biedt ook de mogelijkheid om als iSCSI gateway te fungeren, waardoor je nog 7 van die apparaten kan gebruiken. Dit soort systemen draaien vaak een customized embedded linux variant, vaak uitbreidbaar met eigen packages.

[axis]

Guru Evi schreef op vrijdag 11 september 2009 @ 18:39:
Ik heb zelf ZFS nog niet gebruikt maar ik blijf meestal weg van softwarematige RAID setups. Ik heb al veel gehoord van RAID-Z maar nog enorm weinig voor non-hobby. Een probleem met veel softwarematige RAID is dat als een drive het net niet volledig opgeeft (geen SMART errors) maar gewoon read errors zit te spugen (ik heb momenteel zo'n drive in een van mijn arrays) dan gaat je hele systeem ten onder omdat die ene drive niet meewilt en de kernel kan wel lezen/schrijven (of de data er ook opstaat is een andere vraag) maar enorm traag terwijl een degelijke controller dit wel onder controle kan houden door de schijf af te stoten.

Ik snap je punt. Als je je niet comfortabel voelt bij software RAID, vooral niet doen.

Wat wel leuk is, is dat ZFS herschreven is met de onbetrouwbaarheid van disks en controllers in het achterhoofd. Je hebt ook geen last meer van het RAID5-hole (ben alweer vergeten hoe dat werkte), je hebt checksumming, etc.. Als het goed is zou je dat veiliger moeten zijn dan met hw-raid controllers.. Maar goed, of je daarop vertrouwt is een ander verhaal.

Erg leuk filmpje van een interview met de coders van ZFS: http://blog.hongens.nl/20...stems-with-suns-zfs-team/

[Koffie]

Ik had nog nooit van RAID hole gehoord, en na wat googlen kwam ik erachter dat je een RAID5 write-hole bedoeld.
Is dat niet eenvoudig weg op te lossen met een backup battery op je controller (die je in dergelijke setups toch wel als standaard acht) ?

ah, zo te zien klopt mijn aanname: Wikipedia: Standard RAID levels:

In the event of a system failure while there are active writes, the parity of a stripe may become inconsistent with the data. If this is not detected and repaired before a disk or block fails, data loss may ensue as incorrect parity will be used to reconstruct the missing block in that stripe. This potential vulnerability is sometimes known as the write hole. Battery-backed cache and similar techniques are commonly used to reduce the window of opportunity for this to occur. The same issue occurs for RAID-6.

[Guru Evi]

@Koffie:

De battery backups zijn er ook om zowel read- als write-ahead cache te gebruiken (en dat scheelt ook een hele boel vertraging). De RAID hole wordt meestal opgelost door een parity consistency check (benaming afhankelijk van fabrikant) te draaien en de meeste enclosures hebben dit ofwel automatisch ofwel manueel geimplementeerd. Hier wordt alle data gelezen en de pariteit gecontroleerd en indien nodig herschreven. Linux Software RAID heeft dit denk ik wel geimplementeerd maar sommige (goedkope) firmware controllers echter niet.

[ Voor 4% gewijzigd door Guru Evi op 11-09-2009 22:15 ]

[Guru Evi]

Een andere oplossing: Backblaze Storage Pod. Er passen 45 drives in en de enclosure kost $872. Voor een 67TB (raw) storage unit kost het slechts rond de $8000.

http://blog.backblaze.com...uild-cheap-cloud-storage/

[Li0nHeart]

Interessant topic. Ik heb zelf wel eens hierop lopen googlen.

Ik zou graag een soort uitbreidbaar systeem hebben. Dus server inpluggen, stick met OS erop, en hij meldt zich automatisch aan.

Heb ooit zoiets gezien van een leverancier die CASTOR aanprees. Maar die kan bv nog geen CIFS aan.

Volgens mij is dit het moederbedrijf

Iemand ooit zoiets diy gedaan?

[FireDrunk]

10Tb = 2 TB... Maar ik denk dat er in de Topicstart 10TB bedoeld word...

Volgende onderwerp: Ik heb heel wat fileservers gezien, en Files serveren is nou niet echt een processor intensief proces of uberhaupt een geheugen intensief proces.

Om 100 gebruikers 1MB files te serveren uit een 10TB storage is nogal een verschil om 10000 gebruikers een 100KB file te serveren...

Ik denk dat die situatieschets eerst getackeled moet worden...

In het geval van 100 gebruikers zou ik voor een mid-range NAS gaan met een goed stel harde schijven.
In het 2e geval zou ik voor een zelfbouw cluster gaan waar de data op 2 verschillende servers staat zodat je meer netwerkruimte hebt... 2 servers van elk 6TB met met op elke server een 1TB mirror die de meest gebruikte files herbergt...

Mocht de uptime belangrijk zijn, dan kunnen de server redundant uitgevoerd worden met elk een overhead voor veelgebruikte data...

Voor de overhead bedoel ik een SSD cache om de snelheid te verhogen, met een Backbone oplossing van SATA of SAS disks

[Verwijderd]

"10TB data" en "laten we zeggen een uptime garantie van 99,99% per jaar"

dan zou ik gaan zoeken naar 2 gebruikte EVA5000's in perfecte staat voor grofweg (natte vinger) 5k tot 7k per stuk en fysiek scheiden met glas ertussen. indien nodig firmware updaten naar versie dat de EVA de 300GB schijven aankan (enz), 72GB FC disks in VRAID5 voor de db en dan de 10TB verdelen met VRAID5 over andere schijven naar behoefte. eventueel HA optie.
1 EVA kan 196 schijven max aan dus genoeg groei voor in de toekomst.
virtualisatie om licentiekosten te beperken.

ultra betrouwbaar en dan haal je de 99,9% wel als je het goed opbouwt en ermee om kunt gaan.

FC disks zijn niet echt goedkoop maar samen met de EVA's (switches, redundant controllers, enz) en fysiek gescheiden met glas ertussen heb je naar mijn mening voor ver onder de 100k een bulletproof oplossing.

verdere betrouwbaarheid is ook weer te garanderen met deftige SLA door een onderhoudscontract tegen een bijbehorend kostenplaatje (~40k per jaar (beetje natte vinger)).

cheap and fast is not reliable
cheap and reliable is not fast
fast and reliable is not cheap.

gelukkig niets over 'groen'e onzin want dan valt deze optie af.

[ Voor 3% gewijzigd door Verwijderd op 27-10-2009 23:43 ]

[axis]

Voor 20.000 euro heb je een Equallogic PS4000E met 16TB RAW storage (en redundante controllers/caches/voedingen), met een door EQL gegarandeerde uptime van 99,999% en 4hr gold support voor 3 jaar.. Alle licenties inclusief (replicatie, snapshots, etc).

En da's dan ook nog lineair scalable tot 768TB (16 PS6500E's a 48GB), alhoewel die units wel wat duurder zijn.


Voor jouw $100k heb je 3 PS6000E units (en 2 Cisco C3750G switches), dus 48TB storage met 12Gbit bandbreedte, en ik denk (door de vele spindles en de striping over de meerdere units) een betere performance dan jouw EVA's.. Zou er echter mijn hand niet voor in het vuur steken, ik heb alleen maar ervaring met EQL units..

[Ethirty]

@IBMFD3S: Waarom zou je onderhoud van 40k per jaar afsluiten op 2e hands apparatuur ter waarde van 5-7k (zoals je omschrijft) Koop er dan nog gewoon 3 of 4 voor spare parts

[DukeBox]

Ethirty schreef op vrijdag 30 oktober 2009 @ 21:01:
@IBMFD3S: Waarom zou je onderhoud van 40k per jaar afsluiten op 2e hands apparatuur ter waarde van 5-7k (zoals je omschrijft) Koop er dan nog gewoon 3 of 4 voor spare parts

Onderhoud koop je niet alleen voor hardware problemen..

[Ethirty]

Dat snap ik, maar op een SAN van die prijs categorie? Koop dan wat Axis omschrijft... Is het nog nieuw ook en zit je voorlopig niet in extended support.

[DukeBox]

Ja, sterker nog, dat schreef ik ook in mijn eerste post.

DukeBox schreef op zondag 06 september 2009 @ 17:59:
... een equallogic 4000 gaan met 16*750GB in raid 6 (=10500GB netto), single controller 1 jaar NBD voor 17400€. wat neer komt op €1,45 per GB.

[PcDealer]

Hoe groot is de db?

Ik zou het zo doen als de aanvraag niet verder gespecificeerd bij mij zou komen.

Storage:
Langzame opslag (gewoon file/print)
1x StoneFly ISC-1602 met 8x1TB sata
Snelle opslag (voor de db)
1x StoneFly ISC-1602 Expansion met 8x300GB sas uitbreiding mogelijk met 8 schijven.
Overigens kun je met StoneFly mix&match doen met sata, sas en ssd. Schijven per 4 stuks te plaatsen.
StoneFly is Supermicro barebone met Areca controller.

Storage netwerk:
2x Cisco 3750G 24x10/100/1000
of voor performance 2x Arista 24x 10GB SFP+ met benodigde 10GB modules (dit voorbeeld met 12 stuks).

Kostenplaatje:
hardware
1x 29.000,00 16,0TB SATA
1x 16.000,00 2,4TB SAS
2x 3.800,00
of
2x 10.000,00
12x 175,00
Support 3 jaar 24x7x4uur onsite
1x 4.200.00
1x 4.200,00
2x 2.950,00
of
2x 4.200,00
Totaal
66.900,00
of
82.700,00

Onder voorbehoud van controle van de prijzen en exclusief 19% btw.

DB server kan een DL380 G6 zijn met dual quadcore E5400 series of indien brute power benodigd is een DL380 G6 Performance Model met 2x X5550 (EUR 4.980,00) of X5560 (standaard met 6x2GB ram, EUR 5.380,00). Hebben standaard 4xGb aan boord. Meer performance? DL580 G5 tot 4x Intel Xeon 6-cores vanaf EUR 5.785,00. DL585 G6 met 4x Opteron 6-core vanaf EUR 10.760,00. nog meer db performance? DL785 G5 met maximaal 8x Opteron 6-core vanaf EUR 7.399,00.

[ Voor 115% gewijzigd door PcDealer op 31-10-2009 11:47 ]

[Q]

Voor ongeveer 3500 euro bouw je het systeem uit mijn signature. Heb je zelfs 18 TB ipv 10.

code:

Filesystem            Size  Used Avail Use% Mounted on
/dev/md5               17T  5.2T   12T  32% /storage

Maar je moet wel geschift zijn om dat gezien de condities neer te zetten. Performance zal qua io niet zo best zijn. Ik heb zelf geen professionele ervaring met dit soort vraagstukken, maar boeiend is het wel.

Normaal ga je de situatie echt uitwerken voordat je met een advies komt. Maar dit is meer om een beetje over te fantaseren en dat is ook leuk.

Als eerste trap ik de database van het platform af. Gezien de case is het primair een fileserver en we gaan daar bovenop geen databases opslaan, ben je nou betoeterd? In een omgeving met 1000 concurrent users kan er wel een aparte storrage zooi voor de database af.

Mooi, dan blijft de file storage over. Leuk.

Met zo'n grote user base is downtime veel kostbaarder dan in de inleiding wordt geschetst (ik geef er een draai aan) dus beschikbaarheid is een issue.

We gaan dus N+1 neerzetten, clusteren.
Ik zou gewoon twee dozen neerzetten die individueel de gevraagde capaciteit hebben. Iets met windows DFS?

IO lijkt me belangrijk, maar de vraag is of je dan persee zo'n zware disk set nodig hebt op basis van 15K SAS zooi of meer van dat soort meuk. Ik zeg RAM RAM RAM zodat zoveel mogelijk gecached wordt. Volgens mij kun je dan prima uit met een eenvoudigere array op basis van reguliere SATA disks en de boel niet te duur maken.

Zou RAID 50 niet een idee zijn dan, om toch nog wat performance te hebben? Kom je per systeem op 12 disks van 1 TB per stuk.

Je kunt een enkel heel duur systeem neerzetten dat volledig redundant is, dus ook qua controller, processor en geheugen, of je zet twee losse systemen neer die vrijwel het zelfde effect weten te bereiken maar dan tegen lagere individuele kosten, gok ik zo.

In productie kun je misschien zelfs nog wel load-balancen tussen de twee?

[ Voor 3% gewijzigd door Q op 02-11-2009 22:54 ]

[Gomez12]

@Q: Met 1000 concurrent users en wat grotere bestanden ga je er met enkel meer ram al heel snel niet meer komen, daar moet je snelle disken onderzetten.
Nog even daargelaten hoeveel ram met battery backed write-caching kost ( of is het niet erg als je een stroom hickup hebt en je data corrupt is, ups is niet het ultieme eindmiddel )

[Q]

Misschien ben ik te simpel, maar je zult altijd zien dat van al die data mensen dagelijks maar met een kleine subset frequient werken. Of je nu 4 of 40 GB aan data in RAM cached, dat maakt qua corruptie risico lijkt me niet uitmaken.

Niet gehinderd door enige ervaring zou ik zelf benieuwd zijn of bijv 64 GB ram in zo'n doos en dan een RAID 50 op basis van grote SATA disks niet knap zou presteren, ook met concurrentie.

Wat corruptie betreft hoop ik dat clustering dit zou op moeten vangen, dus 2 losse apparaten. Ik ga er vanuit dat niet beide machines er uit klappen. En dan nog: wat maakt het uit of je 4 of 64 GB dan cached?

Alleen als er met forse bestanden wordt gewerkt gaan er problemen ontstaan. Maar dat is vaak specifiek werk, dat wat mij betreft dan wel zijn eigen storage zou kunnen verantwoorden.

Moet je een storage oplossing dimentioneren op wat misschien (veronderstelling) een paar % van de gebruikers nodig heeft? Allemaal fantasie een aannamen natuurlijk. Maar vandaar mijn idee.

Mijn stelling is namelijk dat dit scenario lijkt op iets van KA en dan verwacht ik geen 100+ mb bestanden. De intro rept daar ook niet over.

[ Voor 28% gewijzigd door Q op 03-11-2009 12:46 ]

[Gomez12]

Q schreef op dinsdag 03 november 2009 @ 12:41:
Mijn stelling is namelijk dat dit scenario lijkt op iets van KA en dan verwacht ik geen 100+ mb bestanden. De intro rept daar ook niet over.

Heel simpel voorbeeldje zijn archief pst-bestanden. Gaan bijna nooit onder de 100mb uitkomen

[PeterPan]

Als je van Windows uitgaat dan heb je voor een machine met 64GB wel een dure licentie nodig.
De meer betaalbare Windows 2008 server standard heeft een limiet van 32GB (64bit versie natuurlijk).

[dutch_warrior]

Nou in mijn ogen pak je voor een dergelijke oplossing geen standaard windows server os, misschien nog windows storage server, maar de ontwikkeling daar van loopt naar mijn mening ook iets achter.

Je komt toch al snel aan een *nix oplossing een punt waarop windows wellicht sterker zou kunnen zijn is nic teaming, maar als je toch vanaf 0 iets bouwt dan kan je rekening houden met de hardware support.
Misschien is de storage ook wel helemaal niet via koper aangesloten op het netwerk.

[ Voor 9% gewijzigd door dutch_warrior op 05-11-2009 10:30 ]