hoe slaan grote bedrijven veel gegevens op?

[Verwijderd]

Ik vroeg me dit af. ik kan me voorstellen dat grote bedrijven enorm veel data hebben. tientallen terabytes. Hoe worden al deze gegevens opgeslagen??? naar mijn weten is de grootste harde schijf 100 mb. Gebruiken ze soms speciale schijfen met capaciteiten rond de 1 terabyte of iets dergelijks? en hoe worden al deze harde schijven dan met elkaar verbonden? via netwerk of iets dergelijks???? help

[_-= Erikje =-_]

100 Gbyte is meer in de richting.

In veel fileservers worden HDD's gekoppeld door een raid contoller en dan vaak met HDD array's (dus 2-15 HDD's in 1 rack)

[axis]

19" rackserver,
daarbovenop (of onder natuurlijk) een storage rack, met een x aantal schijven in raid, en indien nodig nog een storage rack daarbovenop, etc, etc..

[Verwijderd]

en magneetband natuurlijk

[Abbadon]

Wij gebruiken hier veel enorme EMC²diskkabinetten (propvol leuke RAID combinaties en ram voor het cache) en ook optische disken, zeg maar enorme glazen CD's die in een grote jukebox zitten (dit laatste i.v.m. non-manipuleerbaarheid v.d. documenten). 't Spul wordt allemaal met elkaar verbonden door o.a. glasvezel, maar in oudere gevallen gewoon met een normale netwerkkabel of SCSI kabels.

[Verwijderd]

Bij ons op het werk staat 1.2 Tb verdeeld over 2 machines in een 19" rackserver met Raid (5 meen ik).

(als ik het goed vertel )

[Verwijderd]

Op woensdag 12 september 2001 20:26 schreef _-= Erikje =-_ het volgende:
100 Gbyte is meer in de richting.

In veel fileservers worden HDD's gekoppeld door een raid contoller en dan vaak met HDD array's (dus 2-15 HDD's in 1 rack)

zo weinig? mijn harddisken bij elkaar zijn dat ook en staan propvol. ok als je alleen maar data opslaat maar toch.. hoeveel is volgens andere?

[axis]

3.4TB genoeg??

http://www.storage.ibm.com/hardsoft/products/7133/7133-spec.htm

[Verwijderd]

Op woensdag 12 september 2001 20:32 schreef ItSnows het volgende:
Bij ons op het werk staat 1.2 Tb verdeeld over 2 machines in een 19" rackserver met Raid (5 meen ik).

(als ik het goed vertel )

heb je ook een plaatje van een 19"rackserver? ik kan me er weinig van voorstellen

[Verwijderd]

Op woensdag 12 september 2001 20:34 schreef Kareltje het volgende:

[..]

heb je ook een plaatje van een 19"rackserver? ik kan me er weinig van voorstellen

laa maar zie het 2 hierboven

[Verwijderd]

Op woensdag 12 september 2001 20:34 schreef axis het volgende:
[afbeelding]

3.4TB genoeg??

http://www.storage.ibm.com/hardsoft/products/7133/7133-spec.htm

hoe duur is dit grapje? 100,000 ofzo?

[Verwijderd]

Op woensdag 12 september 2001 20:35 schreef Kareltje het volgende:

[..]

laa maar zie het 2 hierboven

En ik maar zoeken


Zijn supermooie dingen. Wij hebben der 1 van Minkels Products

[Verwijderd]

Op woensdag 12 september 2001 20:38 schreef ItSnows het volgende:

[..]

En ik maar zoeken


Zijn supermooie dingen. Wij hebben der 1 van Minkels Products

hoe duur?

[Abbadon]

Op woensdag 12 september 2001 20:34 schreef axis het volgende:
[afbeelding]

3.4TB genoeg??

http://www.storage.ibm.com/hardsoft/products/7133/7133-spec.htm

Wat dacht je van 70TB EMC² Symmetrix 8000 serie

[Verwijderd]

Tapes

[Wimmel]

Beetje slechte foto maar dit zijn een paar van de 19" racks op mijn werk.
Helemaal links zijn allemaal schijven 18,2Gb 7200 Scsi 3.

[DeBolle]

Wij gebruiken verschillende methoden, van kleine RAID arrays tot aan belachelijk grote Hitachi boxen.
Deze werken allemaal met "gewone" harde schijven. De meest gebruikte momenteel zijn 36Gb/10K SCSI en Fiber channel disken.
Om grote volumes te maken van 36Gb disken wordt altijd een RAID methode gebruikt, varierend van 72Gb (3 disken in RAID 5) tot ruim 2Tb (72 disken).
RAID wordt altijd in hardware gebruikt, door op de normale controller in de host (SCSI of FC) de controller van de array aan te sluiten. Dit array heeft dan een normale SCSI "ingang", maar de disken hangen zelf aan interne controllers.
Als voorbeeld neem ik de bekende HSZ controller, een doos met ruimte voor maximaal 72 disks.
De disken zijn verdeeld in zes strings van 12 disks, elke string heeft een eigen SCSI controller.
Voor maximale performance gebruik ik dan alle SCSI kanalen gelijktijdig - dus ik vertel de controller dat 'ie zes disks moet samenvoegen tot een RAIDset en dat aan de host moet laten zien als 1 physieke disk van (in dit geval) 180Gb. Die "disk" van 180Gb is dan verdeeld over zes spindels en kan worden volgeprutst door de host (zes maal 80MB/sec) 480MB/sec te laten blazen - bandbreedte zat
Natuurlijk kan ik grotere sets maken, die dan over nog meer spindels zijn verdeeld om de performance hoog te houden.
Arrays van bijvoorbeeld EMC halen meer bandbreedte, maar dan hebben we het ook over dozen ter waarde van een leuke middenklasse familieauto - per maand. Ook deze gebruiken normale 36 en 72Gb SCSI disken.

Overigens is bandbreedte minder belangrijk dan responsetijd met deze hoeveelheden data. De mainframe jongens halen hun schouders op wanneer ik aan kom zetten met 5 ms - zij werken met 1,5ms gegarandeerde response voor elk blokje data dat kan worden benaderd.

Gretverdemme - d'is mijn vrije tijd, I'm supposed to forget about work

[Verwijderd]

om u prijsidee te geven over een kleine array
288 Gb.fibre channel,9 seagates van 32 Gb. =15.000$
+ raidcontroller adaptec/DPT PM3575 = 1720 $
+fiber kabels = totaal +-17.000 $ alleen de componenten

[Verwijderd]

sorry 8 schiven van 36 Gb.

[axis]

lol... ik mag hopen dat we boven de 100GB komen

[Abbadon]

Hiero een foto die ik al een hele poos terug eens heb geschoten van een kleine (en wat oudere) Symmetrix doos:



Zitten 32 SCSI disken in van 18GB. Daarnaast kan er 8GB aan fysiek geheugen in, deze heeft 1.5GB. Er zit een eigen computer in die alle caching regelt en de nieuwere modellen die tot 70TB gaan zitten zelfs boordevol met PowerPC cpu's (ja, die ook in de Mac's zitten) om alle IO te regelen. De mogelijkheden zijn legio; Hypers, BCV's, alle RAID opties, met SRDF twee van deze dozen mirroren etc. Deze dingen zijn stervensduur, maar bieden dankzij hun uitgekiende caching de snelste oplossing die je kunt krijgen. Daarnaast zijn ze extreem bedrijfszeker door de enorme redundancy.

[Korn21]

Maken grote bedrijven gebruik van mirror servers voro backup? Of doen ze dan gewoon op tapes of andere media?

[Tags NL]

Wij gebruiken op werk servers Open Storage met een capaciteit van meer dan 3 terabyte! Alles wordt gebackupped naar 2 taperobots met een werkruimte van 200x70 Gb DLT Tapes

[Abbadon]

Op woensdag 12 september 2001 21:12 schreef Korn21 het volgende:
Maken grote bedrijven gebruik van mirror servers voro backup? Of doen ze dan gewoon op tapes of andere media?

We gebruiken o.a. hot back-up's en DLT. We trekken een kopie van een gemirrorde diskset naar een andere gemirrorde diskset (een Business Continuance Volume) welke we vervolgens loskoppelen en naar een heel stel DLT's dumpen. De disksets zijn intern in de boxen gemirrored en de boxen zelf zijn extern ook weer gemirrored met een andere box (op andere locatie). Zodoende hebben we twee tape-backup set's, twee hot back-ups en twee gemirrorde productie disksets. Murphy maakt zo nagenoeg geen kans Binnenkort dumpen we ook alles naar zo'n DLT tape robot.

[Verwijderd]

Op woensdag 12 september 2001 21:07 schreef abbadon het volgende:
Hiero een foto die ik al een hele poos terug eens heb geschoten van een kleine (en wat oudere) Symmetrix doos:

[afbeelding]

Zitten 32 SCSI disken in van 18GB. Daarnaast kan er 8GB aan fysiek geheugen in, deze heeft 1.5GB. Er zit een eigen computer in die alle caching regelt en de nieuwere modellen die tot 70TB gaan zitten zelfs boordevol met PowerPC cpu's (ja, die ook in de Mac's zitten) om alle IO te regelen. De mogelijkheden zijn legio; Hypers, BCV's, alle RAID opties, met SRDF twee van deze dozen mirroren etc. Deze dingen zijn stervensduur, maar bieden dankzij hun uitgekiende caching de snelste oplossing die je kunt krijgen. Daarnaast zijn ze extreem bedrijfszeker door de enorme redundancy.

ziet er onwijs vet uit! maar hoe duur is stervensduur???

[Padje]

[quote]Op woensdag 12 september 2001 22:01 schreef Kareltje het volgende:

[..]

ziet er onwijs vet uit! maar hoe duur is stervensduur???

Zitten 32 SCSI disken in van 18GB. Daarnaast kan er 8GB aan fysiek geheugen in, deze heeft 1.5GB. Er zit een eigen computer in die alle caching regelt en de nieuwere modellen

Reken maar mee 32 scsi schijven van 18GB zijn duur en dan minimaal keer 8 of zo iets dan kom je wel in de richting

[Verwijderd]

[quote]
Op woensdag 12 september 2001 22:37 schreef Padje het volgende:

Op woensdag 12 september 2001 22:01 schreef Kareltje het volgende:

[..]

ziet er onwijs vet uit! maar hoe duur is stervensduur???

Zitten 32 SCSI disken in van 18GB. Daarnaast kan er 8GB aan fysiek geheugen in, deze heeft 1.5GB. Er zit een eigen computer in die alle caching regelt en de nieuwere modellen

Reken maar mee 32 scsi schijven van 18GB zijn duur en dan minimaal keer 8 of zo iets dan kom je wel in de richting

ja maar zijn dat dan niet speciale extra dure harde schijven? hehe ik wil gewoon een prijs horen haha snap dat dan! is 100.000 een normale prijs voor zoiets?

[Verwijderd]

Op woensdag 12 september 2001 21:06 schreef axis het volgende:
lol... ik mag hopen dat we boven de 100GB komen


[afbeelding]

Mycom kassies!

[axis]

Op woensdag 12 september 2001 22:46 schreef Schum1 het volgende:

[..]

Mycom kassies!

Yep, en nog van 5 andere winkels ernaast...

Internetbedrijfje van 10 man.. Mailserver, Router, en de rest zijn ontwikkelservers... Dus niet echt gericht op storage

[Padje]

Op woensdag 12 september 2001 22:43 schreef Kareltje het volgende:

[..]

ja maar zijn dat dan niet speciale extra dure harde schijven? hehe ik wil gewoon een prijs horen haha snap dat dan! is 100.000 een normale prijs voor zoiets?

Ik denk dat het wel meer is al 100.000 piekies ik denk dat jij hem niet kan kopen... Ik anders ook niet :-)
Gewoon een hoop heb je zo'n ding nodig dan ik denk de meeste mensen niet weten wat zo'n ding kost.
Maar ik weet het ook niet maar 100.000 in ieder geval niet... stuur eens een mailtje voor een offerte aan een bedrijf die die dingen levert, misschien www.hardware.nl op bestelling ????

[Verwijderd]

Om een indruk te geven van de kosten:

- zo'n EMC^2 kassie kost minimaal $ 1.000.000,-
- de backup oplossing van EMC (EDM) die geweldig mooi dat allemaal naar zo'n DLT taperobot stuurt kost al $ 2 mln ! Ok, dan krijg je er wel een Sun machine bij om de boel aan te sturen .

Overigens, er gaat max. 70 Gb op DLT-4...

Pim

[mvdejong]

De schijven in de meeste RAID-arrays (in ieder geval die ik langs heb gehad) zijn standaard schijven van een van de grote merken (Seagate is de meest voorkomende), maar vaak wel met een custom-made BIOS omdat de default-instellingen niet optimaal zijn voor gespecialiseerde RAID-arrays.

Je zult ook nooit een serieuze leverancier van RAID-hardware de nieuwste schijven zien gebruiken :
- de betrouwbaarheid staat nog niet voldoende vast;
- de optimalisatie van de BIOS moet nog worden bepaald;
- de BIOS van het operating-system van het array moet nog worden aangepast op de nieuwe schijven.
Het gevolg is wel dat voor een nog goed functionerend array de oorspronkelijke capaciteit schijven niet meer beschikbaar is. Dan wordt vaak een volgende maat geleverd, maar dan met een BIOS die pretendeert een veel lagere capaciteit te hebben. Zo hebben we onlangs als vervanging van een gecrashede 9 GByte schijf een 18 GByte schijf ingebouwd gekregen die dacht dat-ie maar 9 GByte was. Lijkt zonde van de capaciteit, maar de kast zelf zou niets snappen van 18 GByte.

Overigens gaat op een DLT-IV tape maximaal 35 GByte (in een DLT7000-drive) of 40 GByte (in een DLT8000-drive) aan fysieke data. Dat zo'n ding als 70 GByte wordt geadverteerd is ook niets meer dan een gewoonte van de meeste fabrikanten om uit te gaan van een 2x compressie. HP flikte het ooit om van 4x compressie uit te gaan (kon er volgens hun 16 GByte op een DDS2-DATje), terwijl mijn mix van bestanden niet verder dan 1.8x kwam. ExaByte gaat tegenwoordig bij de claims voor de Mammoth-2 uit van een 2.5x compressie, op de (wankele) basis van een superieur compressie-algoritme.

Je moet voor een serieuze inschatting van de benodigde tape-opslag altijd uitgaan van de fysieke capaciteit van de tape&drive-combinatie, en de mate waarin de specifieke data waar het om gaat kunnen worden geplet.
Als je een NAW-database hebt, dan is bijna alles tekst, lekker te comprimeren, dus een factor 4 is dan makkelijk haalbaar.
Als je een database hebt die als opslag van plaatjes dient (bijv. een documentatie-databases met ingescande formulieren) die zoals gebruikelijk met JPG- of TIFF-compressie zijn opgeslagen, dan valt er weinig te comprimeren en is de benodigde tape-capaciteit gelijk aan de gebruikte disk-capaciteit.
De enige goede methode is het gewoonweg uitproberen.

[LauPro]

Misschien een beetje gekke vraag, maar welk bestandssysteem gebruiken die bedrijven? Ik heb gezien dat NTFS 'maar' tot de 2 TB ging en Fat32 tot de 180 TB.

[Verwijderd]

Op donderdag 13 september 2001 07:56 schreef laupro het volgende:
Misschien een beetje gekke vraag, maar welk bestandssysteem gebruiken die bedrijven? Ik heb gezien dat NTFS 'maar' tot de 2 TB ging en Fat32 tot de 180 TB.

waarom zit er eigenlijk een grend om bv fat32 van 180 tb?

[Abbadon]

Op woensdag 12 september 2001 23:35 schreef bliekp het volgende:
....
- zo'n EMC^2 kassie kost minimaal $ 1.000.000,-
....

Yup, over dat soort bedragen praat je dan.

Op donderdag 13 september 2001 07:56 schreef laupro het volgende:
Misschien een beetje gekke vraag, maar welk bestandssysteem gebruiken die bedrijven? Ik heb gezien dat NTFS 'maar' tot de 2 TB ging en Fat32 tot de 180 TB.

We (behoorlijk groot telecombedrijf met de kleur van m'n icon )gebruiken o.a. UNIX en raw filesystemen op dit soort dozen, daar kun je vrij ver mee gaan (hoe ver weet ik niet eens precies). Een andere factor is natuurlijk de database; Oracle bijvoorbeeld is ook beperkt (de niet meest recente versies zeer zeker) in de omvang van tablespaces. Moet je ook rekening mee houden.

[Weppel]

Mja allemaal vet enzo, maar ik wil foto's

[Verwijderd]

Ik zou zeggen ga eens op deze site kijken, deze jongens zijn er in gespecialiseerd :

www.dothill.com

En als ik mij niet vergis wordt er ook enige uitleg gegeven hoe alles aan elkaar wordt gerijgd, want op een gegeven moment voldoet een SCSI flatcable met coperen adertjes niet meer en wordt deze vervangen door glasvezel kabeltjes

In April zaten ze op een max. van 11,6 TB ... wat snel groeiende was/is ... met een Raid cache Capacity van 256 MB tot 1GB en ondersteuning voor Raid 0, 1, 3, 5, 10, 30, en 50 ... heel leuk speelgoed dus ...