Toon posts:

Methodiek gezocht voor opslagcapciteit van 64 Tb.

Pagina: 1
Acties:
  • 329 views sinds 30-01-2008
  • Reageer

Verwijderd

Topicstarter
Het bedrijf waar ik voor werk is op zoek naar een lowbudget
methode die het mogelijk maakt om op 2 lokaties, elk 64 Terrabyte aan data op te slaan. Nu zijn er wel $$$$$$$-oplossingen, maar die zijn gebouwd op snelheid met scsi.
Wij willen graag werken met e-ide schijven. niet snelheid maar opslagcapiteit is hier de issue. Helaas kijg je te kampen met de limiten van de diversie filesystems. zo gaat novell t/m 8 Tb en dos tot 2 Tb. |:( Daarnaast is het zo,
stel dat je gebruik maakt van een groot aantal geclusterde machines; de lokatie van de bestanden logisch worden opgeslagen en niet de fysieke locatie van de bestanden.

Dus wie heeft ideeën over hoe dit kan worden aangepakt? :?

Doelstelling: een lowbudget oplossing voor een opslagcapaciteit van tenminstens 64 Tb met diskscrubbing. voor diskscrubbing is inmiddels al een oplossing.
Namens m'n collega's alvast many thanks :)

  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
DOS haalt de 2 TB niet volgens mij hoor. En zou je de data makkelijk kunnen verdelen over bijvoorbeeld 8 onafhankelijke filesystems of moet het echt een uniform filesystem zijn?

  • picobyte
  • Registratie: Juli 2000
  • Laatst online: 14-05-2025

picobyte

MhIHIHI!

Als het niet snel hoeft te zijn issuh DLT-TAPE een goede oplossing :)
En anders een aantal PC's met externe SCSI behuizingen gevuld met IDE disken waar dan weer per SCSI channel een stuk of zeven van aangesloten kunnen worden.
Je hebt dan dus wel een SCSI kaart en een aantal van die SCSI kastjes nodig maar je disken bljven goedkoop :)

Ennuh de Software... neem Linux dan kan je voorlopig nog wel een paar Petabyte voort >:)

Powered bij meergranenbrood.


  • borgdaville
  • Registratie: December 2000
  • Laatst online: 19:38
wat ik me nu afvraag; Wat wil je daar op gaan zetten?

Familieman, nerd, mooi weer fietser, buitenmens en levensgenieter...


  • smvs
  • Registratie: September 2000
  • Niet online
64 TB komt neer op ongeveer 800 80 GB IDE schijven. of 400 160 GB schijven, maar die zijn relatief duurder, als ze al goed leverbaar zijn.

  • jvhaarst
  • Registratie: Maart 2000
  • Laatst online: 23-03 18:18

jvhaarst

Eendracht maakt macht

Bedoel je zoiets als dit ?
Dat is wel iets waar je de professionals bij moet gaan halen, dit bouw je niet even in een achternamiddag.
Is een netapp ofzo niet handiger ?

If you don’t have enough time, stop watching TV.


Verwijderd

Topicstarter
Het moet uiteindlijke gewoon onder dezelfde 'root' komen te hangen.
Ennuh de Software... neem Linux dan kan je voorlopig nog wel een paar Petabyte voort
We hebben hiero een linux goero rondhuppelen. als het kon had ie het allang gedaan.
wat ik me nu afvraag; Wat wil je daar op gaan zetten?
Hier moeten de backup gegevens opkomen te staan van diverse bedrijven waaraan wij deze ruimte verhuren als een remote san. dus backups buitenhuis.
64 TB komt neer op ongeveer 800 80 GB IDE schijven. of 400 160 GB schijven, maar die zijn relatief duurder, als ze al goed leverbaar zijn.
Ja, maar hoe 'rijg' je het zaakje aan elkaar?? :? Ik weet het niet. :)

  • jvhaarst
  • Registratie: Maart 2000
  • Laatst online: 23-03 18:18

jvhaarst

Eendracht maakt macht

Nog een link . Dit is van de nasa die natuurlijk ook dit soort geintjes nodig hebben. Ik vraag me nu even af hoe ze dat voor films als de Matrix, LOTR enzo doen.

If you don’t have enough time, stop watching TV.


Verwijderd

Topicstarter
Op woensdag 19 december 2001 17:20 schreef jvhaarst het volgende:
Bedoel je zoiets als dit ?
Dat is wel iets waar je de professionals bij moet gaan halen, dit bouw je niet even in een achternamiddag.
Is een netapp ofzo niet handiger ?
JA, zoiets zoeken we. Helaas maakt dit systeempje gebruik van het eXtended FileSystem (XFS) in combinatie met het os Irix. Én xfs heeft helaas een limiet van 2 Tb. sorry...

  • jvhaarst
  • Registratie: Maart 2000
  • Laatst online: 23-03 18:18

jvhaarst

Eendracht maakt macht

Volgens de FAQ komen ze niet verder dan 1TB, was een limiet in Linux.
Maar was daar laatst niet iets over ?

If you don’t have enough time, stop watching TV.


  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Moet snel zijn?

Anders kun je beter werken met een tape-library, een server met een x aantal high-cap. tapes erin..

Ik zou gewoon een offerte aanvragen bij Dell,
Die maken je systeem gewoon op maat, al met al zul je wel 8 (!) volledige server racks volkrijgen :) dat is een lekkere serverruimte, airco erbij, en je zit al gauw over de 5 ton..
zou best een kleine miljoen pieken kunnen worden..

ach jah, minder als een half miljoen euro's >:)

Verwijderd

Topicstarter
Op woensdag 19 december 2001 17:30 schreef jvhaarst het volgende:
Nog een link . Dit is van de nasa die natuurlijk ook dit soort geintjes nodig hebben. Ik vraag me nu even af hoe ze dat voor films als de Matrix, LOTR enzo doen.
Dank je, ik heb de pdf naar het projectteampje doorgegeven... :) Hebbe ze er mischien wat aan.
update: Ze vonden het een intressant document omt e lezen. thx!

  • jvhaarst
  • Registratie: Maart 2000
  • Laatst online: 23-03 18:18

jvhaarst

Eendracht maakt macht

Op woensdag 19 december 2001 17:20 schreef Snailer het volgende:
Hier moeten de backup gegevens opkomen te staan van diverse bedrijven waaraan wij deze ruimte verhuren als een remote san. dus backups buitenhuis.
Backup hoeft niet snel, dan kun je inderdaad beter gaan kijken naar taperobots ipv. HDD's.
Scheelt nogal in ruimte, en nog meer in stroom.

If you don’t have enough time, stop watching TV.


  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Hier stond een mogelijke oplossing om met kleine servertjes tot een grotehoeveelheid dataopslag te komen..

Resultaat -> Veels te duur, veels te groot, veels te onbetrouwbaar, veels te warm, veels te moelijk, veels te instabiel, veels te *alles wat je kunt bedenken*

Taperobot dan maar !

[edit: :+ ]

  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Op woensdag 19 december 2001 17:50 schreef Snailer het volgende:

Hier moeten de backup gegevens opkomen te staan van diverse bedrijven waaraan wij deze ruimte verhuren als een remote san. dus backups buitenhuis.
Dan is inderdaad een tape-robot voldoende, deze neemt minder ruimte in, is relatief een stuk goedkoper, genereerd niet zoveel warmte in serverruimtes en is makkelijker schaalbaar, en makkelijker te beheersen..

  • jvhaarst
  • Registratie: Maart 2000
  • Laatst online: 23-03 18:18

jvhaarst

Eendracht maakt macht

Ook nog interessant :
hier staat dat JFS met 4KiB blocksize een filesystem van 4048 Tbyte aan zou moeten kunnen. :9~
Lijkt me voorlopig genoeg :)

If you don’t have enough time, stop watching TV.


Verwijderd

Topicstarter
Urnie:
Kan het goedkoper. Wij willen pas een pc neerzetten als voor 160 harde schijven, in plaats van 1 pc voor 8 schijven. Scheelt gelijk heel veel dure (r/m)eisjes. ;)
Daarnaast is performance echt geen issue hier.
Sorry... :)

  • P5ycho
  • Registratie: Januari 2000
  • Laatst online: 21:29
backups hoven niet snel te zijn, dus taperobots lijken me de oplossing. HDs is velteveel werk, wat als een HD het begeeft? IDE is minder betrouwbaar dan SCSI en je moet toch op een of andere manier een raid1 of raid5 oplossing maken,wa t de boel nog mielijker maakt. overigens zijn 3ware IDE raid kaarten een beter plan dan supertraks. maar toch zou ik voor een taperobot gaan :)

12x 280Wp ZW, 12x 280Wp ZO, Zubadan SHW80YAA 8kW, Zehnder Q450 ERV


  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Op woensdag 19 december 2001 17:58 schreef Snailer het volgende:
Urnie:
Kan het goedkoper. Wij willen pas een pc neerzetten als voor 160 harde schijven, in plaats van 1 pc voor 8 schijven. Scheelt gelijk heel veel dure (r/m)eisjes. ;)
Daarnaast is performance echt geen issue hier.
Sorry... :)
:P ik bekijk het denk ik vanuit een andere context :)
the MKB-context...

Know what I mean?

Maar nu is mijn menig -> taperobot!...

  • borgdaville
  • Registratie: December 2000
  • Laatst online: 19:38
wat ik me nu afvraag; Wat wil je daar op gaan zetten?
Hier moeten de backup gegevens opkomen te staan van diverse bedrijven waaraan wij deze ruimte verhuren als een remote san. dus backups buitenhuis.
weet je wel zeker dat je deze ruimte wil gaan verhuiren als backup aan bedrijven. Je dient dan zowiezo rekening te houden met redundancy(?). Als er een schijfje naar de klote gaat, mogen er natuurlijk never te nooit backup gegevens verloren gaan. Ik vraag me af of je dit wel moet gaan doen, als je niet eens weet hoe je het gaat aanpakken. Zeker als je ook nog een een goedkope oplossing zoekt. [/edit]

Ik zou het in ieder geval zo doen: koop een grote brandveilig kluis zoals ze die bij de Bank hebben. Zorg voor een goede klimaatbeheersing in deze kluis en bewaar alle backups dubbel op tape. Dit is de veiligste, en daar gaat het toch om als je backups wilt gaan saven.

[edit]Natuurlijk kun je dit goedje automatiseren met een Tape robot. Maar lijkt me niet onverstandig om ook nog een 2e backup ergens te bewaren. Backup gegevens zijn enorm belangrijk, je kunt zelfs op grote schadevergoedingen verwachten als het mis zou gaan. En denk niet dat bedrijven het pikken als je in de voorwaarden vermeld dat je niet verantwoordelijk bent voor de gegevens ofzo. |:(

Familieman, nerd, mooi weer fietser, buitenmens en levensgenieter...


Verwijderd

Topicstarter
Op woensdag 19 december 2001 17:54 schreef jvhaarst het volgende:
Ook nog interessant :
hier staat dat JFS met 4KiB blocksize een filesystem van 4048 Tbyte aan zou moeten kunnen. :9~
Lijkt me voorlopig genoeg :)
Jan, Ik moet je bedanken voor je goeie tips. Ze vonden het een intressante link. Ik kreeg net te horen dat ze (voorlopig) gaan voor ReiserFS. Dit omdat hoewel LFS misschien beter is nog nooit is getest. :)

En de rest die geholpen heeft ook dank :)
(als ik thuis zit zal ik nog 's kijken op deze topic)

  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Op woensdag 19 december 2001 18:13 schreef Snailer het volgende:

[..]

Jan, Ik moet je bedanken voor je goeie tips. Ze vonden het een intressante link. Ik kreeg net te horen dat ze (voorlopig) gaan voor ReiserFS. Dit omdat hoewel LFS misschien beter is nog nooit is getest. :)
LFS is geen filesystem (IIRC)
En de rest die geholpen heeft ook dank :)
(als ik thuis zit zal ik nog 's kijken op deze topic)
Nemen ze dan toch geen tape robot?

  • Copycat
  • Registratie: Februari 2001
  • Laatst online: 30-12-2025

Copycat

Stamgast @ HGGCT

Op woensdag 19 december 2001 18:01 schreef borgdavile het volgende:

[..]

Ik zou het in ieder geval zo doen: koop een grote brandveilig kluis zoals ze die bij de Bank hebben. Zorg voor een goede klimaatbeheersing in deze kluis en bewaar alle backups dubbel op tape. Dit is de veiligste, en daar gaat het toch om als je backups wilt gaan saven.
En houd er dan rekening mee dat dit natuurlijk ook niet brandveilig is.Na een poosje smelten je tapes waarschijlijk gewoon weg :'(

P4 2,53 512MB PC3200, GF4 Ti4200


  • Spais
  • Registratie: Oktober 2000
  • Laatst online: 08-01 20:27

Spais

The Spais Melange

Ik denk dat je de harddisks methode idd kan vergeten.. Je hebt daar teveel schijven voor nodig (en dus teveel controllers e.d. die de prijs flink opschroeven)..

Hoe moeten de backups werken trouwens? Zoals:
Zijn het remote-sites die willen backuppen?
Hoe vaak moet er gebackupped worden?
Hoelang moet een backup bewaard blijven? (Wil je bv. ook een backup van 4 maanden geleden met oude files hebben?)


offtopic:
Het lijkt me dat als je 64Tb aan data heb:
- het gaat om veel bedrijven
- het gaat om hele grote bedrijven

Dan snap ik niet waarom het goedkoop moet.. Backups zijn belangrijk en moeten niet 'goedkoop' worden opgelost..
1Mb aan data kan al tienduizenden guldens waar zijn..

  • Dragon_Lee
  • Registratie: April 2000
  • Laatst online: 21-03 22:37

Dragon_Lee

Beware the quiet dragon

Pfft, volgens mij niet veel denkwerk hieraan besteed...

Dit op HDs willen realiseren is gekkenwerk...
Het idee zelf al is volgens mij niet 100% doordacht, zie hieronder..

Gegarandeerd dat je uitkomt op taperobots of zo'n NASA advanced-storage-shed geval, maar die kosten zoveel dat je nooit uit de rode cijfers zult komen met wat "verhuur" voor gewone bedrijven...

NASA heeft echt prima oplossingen hiervoor maar ja, alles in eigen beheer en op eigen kosten...en zo zie ik alle bedrijven het wel doen die zelf enorme data opslag nodig hebben...

Komt verder nog bij...wat gaat er verder met die data gebeuren?

Klant komt backups brengen/halen elke wat...7 dagen?
Of dmv. directe net verbinding een downloadje regelen?
Hoe word de data dan aangeleverd??

Ik weet me nog goed te herrinneren in de begin jaren van het internet hoe de nasa kampte met het probleem en de belofte om bepaalde instanties in europa van hun dagelijkse terabit-datastream te voorzien...(en dit probleem is nog steeds bestaand...)

Trouwens, hierboven werd Lords of the Rings genoemd, deel 1 van deze films werd op 2 hoofdlocaties in een gezet zeg maar...een ervan was In de UK, de andere in Australie...en via een dedicated sattelliet verbinding werden ruwe test renders heen en weer gegooid, maar de uiteindelijke filmdata werd op tape met de hand afgeleverd op het moment dat de boel "af" was en in productie moest..

Maar goed, komt er gewoon op neer dat je heus niet "even" wat opslag voor 64TB in elkaar flanst en neergooit om maar te verhuren aan wat bedrijfjes...

En qua file-system adressering waar je het over hebt, hebt je 't ook nergens over...het lijkt of je geheugen adressering van een OS verward met opslag-adressering van een filesystem...NTFS bijvoorbeeld is 64bits intern tegenwoordig...en kan in theorie ergens in de exabyte regionen aan OPSLAG aanspreken...dus daar hoef je je helemaal niet druk om te maken...

Sterker nog, geavanceerde backup systemen werken zo helemaal niet...werkt allemaal op de manier van tape-robots...in de zin van "dat en dat staat op tape x, block zoveel van minuut zoveel tot zoveel" en daar word dan RUWE data vanaf gelezen, CRC checks op uitgevoerd en voila...

Kortom...dit geniale idee om backup space te verhuren dient eers nog maar eens grondig doordacht te worden als je het mij vraagt.....

Silence can bring peace
Silence can bring fear
Silence can bring anger
It can even bring ecstacy
Silence......is life


Verwijderd

Topicstarter
Het gaat hier om een jonge .com bedrijf.
de data wordt per kabel/glasvezel etc aangeleverd.
ik weet niet het precisce ervan, maar idd een tapecarosel lijkt mezelf al een mooi apparaat om te zien. :P
Maare ik neem dus aan dat het per direct simulatane toegang moet zijn tot de media. enkele zeggen dat er niet voldoende overna is gedacht: mogelijk. bedenk aan de andere kant dat je een x-bedrag bedrijfsmatig moet investeren wil je misschien eindelijk winst maken. dientegevolge dat er wordt gezegd "hoe minder, hoe beter". Ik zal ze morgen s informeren of over z'n apparaat is gedacht. -hoeveel kost zo'n kreng eigenlijk? :? -
Ik denk dat er gemiddeld op dagelijkse basis moet worden gedraaid en enkele maanden (max 4 ofzo) terug kan worden gegaan. wat er verder met de data gebeurd? niets. gewoon wachten tot het niet meer nodig is. backup u know?..
Sterker nog, geavanceerde backup systemen werken zo helemaal niet...werkt allemaal op de manier van tape-robots...in de zin van "dat en dat staat op tape x, block zoveel van minuut zoveel tot zoveel" en daar word dan RUWE data vanaf gelezen, CRC checks op uitgevoerd en voila...

Kortom...dit geniale idee om backup space te verhuren dient eers nog maar eens grondig doordacht te worden als je het mij vraagt.....
Ik zal ze morgen je stukje onder ogen douwen... :)

  • DiedX
  • Registratie: December 2000
  • Laatst online: 26-03 07:01
Even tussendoor. Ik las laatst in de Linux Magazine dat de laatste kernel tot xxx PETA-Byte kwam. BeOS kon dat ook al aanspreken. Voorlopig met Tux geen problemen qua HD-opslag dus :)

DiedX supports the Roland™, Sound Blaster™ and Ad Lib™ sound cards


  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Op woensdag 19 december 2001 19:45 schreef Dragon_Lee het volgende:
Kortom...dit geniale idee om backup space te verhuren dient eers nog maar eens grondig doordacht te worden als je het mij vraagt.....
Nou, je twijfelt aan de haalbaarheid, maar ik vind het een goed idee.. als je eens kijkt wat bedrijven kwijt zijn aan het backuppen, niet alleen aan geld, maar ook aan tijd.
Dan is het gemakkelijk dat er een bedrijf is dat dat overkan nemen.

Remember: Uitbesteden is tha word!

Of je het rendabel kan maken hangt af van de strategie die je gebruikt..

suc6 ermee

  • Spais
  • Registratie: Oktober 2000
  • Laatst online: 08-01 20:27

Spais

The Spais Melange

Op woensdag 19 december 2001 22:27 schreef Snailer het volgende:
Het gaat hier om een jonge .com bedrijf.
de data wordt per kabel/glasvezel etc aangeleverd.
...
enkele zeggen dat er niet voldoende overna is gedacht
Hmm.. 64Tb via inet backuppen :?
Leuke provider mag je dan nemen.. kDenk niet dat ze blij gaan zijn met je dataverkeer (duur).. En da duurt errug lang ook al heb je 100Mbit..

  • Cereal
  • Registratie: Maart 2001
  • Laatst online: 24-03 22:14
Op woensdag 19 december 2001 22:53 schreef Spais het volgende:

[..]

Hmm.. 64Tb via inet backuppen :?
Leuke provider mag je dan nemen.. kDenk niet dat ze blij gaan zijn met je dataverkeer (duur).. En da duurt errug lang ook al heb je 100Mbit..
Zal heus niet in een keer gaan :)
Gaat gewoon geleidelijk.. en 64 Tbyte is neem ik aan een capaciteit met oog op de toekomst..

  • Spais
  • Registratie: Oktober 2000
  • Laatst online: 08-01 20:27

Spais

The Spais Melange

Op woensdag 19 december 2001 22:55 schreef Urnie het volgende:

[..]

Zal heus niet in een keer gaan :)
Gaat gewoon geleidelijk.. en 64 Tbyte is neem ik aan een capaciteit met oog op de toekomst..
Dan nog steeds is het heel erg veel..
En als bedrijven bv. databases backuppen dan zullen die meestal elke keer helemaal gedaan worden.. Je kan niet altijd incremental backuppen.. Dat kan alleen als je veel losse bestandjes backupped, want dan doe je alleen wat er veranderd is.. Ik blijf er toch bij dat ik denk dat er niet goed nagedacht is over wat dit project zoal met zich meebrengt..

  • roelio
  • Registratie: Februari 2001
  • Niet online

roelio

fruitig, en fris.

64TB is inderdaad wel een beetje heel erg veel voor een nieuw (nederlands?) initiatief(je)... En inderdaad, als er nog niet eens een duidelijk beeld is over hoe het systeem zelf gerealiseerd moet worden, is er dan wel goed nagedacht over de juridische zaken (schadeclaims), de huurprijs, de bandbreedte, de locatie, mogelijke failures van het nieuwe systeem etc.etc. ???

Het zal vast een fantastisch plan zijn maar als ik zo dit topic lees lijkt het me een fantastisch technologisch hoogstaand idee waar eigenlijk nog helemaal *niet* goed over nagedacht is :)

AMD Phenom II X4 // 8 GB DDR2 // SAMSUNG 830 SSD // 840 EVO SSD // Daar is Sinterklaas alweer!!


  • Bezulba
  • Registratie: November 2000
  • Laatst online: 15:24

Bezulba

Formerly known as Eendje

zo'n idee waarmee je 2 jaar geleden naar de bank had kunnen stappen en waar je dan wagens met geld mee had gekregen.... maar die ballon is gelukkig geknapt...

denk niet dat het echt een serieus iets is

blup


  • Coen Rosdorff
  • Registratie: Januari 2000
  • Niet online
Met HD's is dit zoals eerder gezegd niet te doen.
Je kan wel een buffer-pool van een paar TB maken, met daarachter dan een Tape-robot. Zodra het op tape staat kan het van HD gewist worden.

Wil je toch iets met HD's ga dan niet met losse pc's klooien, maar neem een echt storage system:

Koop 5 netapp F880c 's (12TB storage elk) en zet daar een distributed file-system overheen. Dat is iig nog fatsoenlijk onderhoudbaar, en redelijk te huisvesten. Network Appliance kan je vast wel een leuke offerte leveren. (Ik wil niet weten wat dat gaat kosten :) )

De eis dat het goedkoop moet is bij zo'n omvang gewoon niet redelijk. Ben bang dat je de miljoen ver voorbij gaat.

Verwijderd

Topicstarter
Op woensdag 19 december 2001 22:53 schreef Spais het volgende: [..]Hmm.. 64Tb via inet backuppen :?
Leuke provider mag je dan nemen.. kDenk niet dat ze blij gaan zijn met je dataverkeer (duur).. En da duurt errug lang ook al heb je 100Mbit..
Wijzelf zijn een klein providertje dus bandbreedte is geen probleem. Vergeet verder niet dat er een totaal van 64 Tb wordt gepompt. het kan dus ook maar slechts een paar mb zijn per klant. dus dan is het goed te doen...

Verwijderd

Topicstarter
Op woensdag 19 december 2001 23:28 schreef Werkeend het volgende:denk niet dat het echt een serieus iets is
:) Toch wel

Verwijderd

Topicstarter
Op donderdag 20 december 2001 02:18 schreef little_soundman het volgende:
Met HD's is dit zoals eerder gezegd niet te doen.
Je kan wel een buffer-pool van een paar TB maken, met daarachter dan een Tape-robot. Zodra het op tape staat kan het van HD gewist worden.
Intresant ideetje: kun je wat specifieker zijn?
Dat concept heeft ook nog een naampje (term), weet het helaas niet meer...
Misschien ook een domme vraag, hoe stel je het terugzetten voor. 'just the same way backward'?

  • Marc H
  • Registratie: Juni 1999
  • Laatst online: 22:45

Marc H

- - Is wakker - -

Op donderdag 20 december 2001 02:18 schreef little_soundman het volgende:
Met HD's is dit zoals eerder gezegd niet te doen.
Je kan wel een buffer-pool van een paar TB maken, met daarachter dan een Tape-robot. Zodra het op tape staat kan het van HD gewist worden.

Wil je toch iets met HD's ga dan niet met losse pc's klooien, maar neem een echt storage system:

Koop 5 netapp F880c 's (12TB storage elk) en zet daar een distributed file-system overheen. Dat is iig nog fatsoenlijk onderhoudbaar, en redelijk te huisvesten. Network Appliance kan je vast wel een leuke offerte leveren. (Ik wil niet weten wat dat gaat kosten :) )

De eis dat het goedkoop moet is bij zo'n omvang gewoon niet redelijk. Ben bang dat je de miljoen ver voorbij gaat.
Idee daarvoor is aardig, maar je krijgt nog heel veel problemen.

Denk maar eens aan beveiliging, versie beheer, verschillende backup strategieen, enz.

De ene klant wil vijf versies bewaren voor dertig dagen, de ander wil een jaar terug kunnen.

Veel bedrijven zullen het backuppen nooit uitbesteden, zeker niet als er gewerkt wordt met een "zo goedkoop mogelijke oplossing".

Je zou eens moeten kijken naar een tool als Tivoli Storage Management.
Neen een paar RS/6000 servers met een paarhonderd GB in een raid array, en definieer per server 2 taperobots op verschillende locaties als backuppool en copy pool. Als je het goed opzet heb je er geen omkijken naar. En het is schaalbaar, je kan gewoon meer servers plaatsen naargelang de vraag toeneemt.

Ik maak geen fouten, ik creëer leer momenten.


  • Spais
  • Registratie: Oktober 2000
  • Laatst online: 08-01 20:27

Spais

The Spais Melange

Op donderdag 20 december 2001 09:58 schreef Snailer het volgende:

[..]

Wijzelf zijn een klein providertje dus bandbreedte is geen probleem.
Wat voor verbinding heb je trouwens? En hoeveel traffic mag je genereren?
Vergeet verder niet dat er een totaal van 64 Tb wordt gepompt. het kan dus ook maar slechts een paar mb zijn per klant. dus dan is het goed te doen...
Heel veel dingen KAN je niet incremental backuppen dus die gaan wel met Gb's tegelijk.. Corporate databases zijn errug groot..

Misschien dat alles wat duidelijker wordt voor de gotters als je aangeeft wat voor soort bedrijven gaan backuppen en om wat voor gegevens het gaat..

Hoe zit het trouwens met die 2 locaties? Zijn dat copies van elkaar of beide losse backupcentres?

  • Marc H
  • Registratie: Juni 1999
  • Laatst online: 22:45

Marc H

- - Is wakker - -

Die twee locaties zijn kopieen van elkaar.

Want een backup op 1 locatie is te weinig, denk aan stroom uitval, brand, vliegtuig crash op het gebouw enz. Dus moeten fysiek gescheiden lokaties zijn.

Ik maak geen fouten, ik creëer leer momenten.


  • GarBaGe
  • Registratie: December 1999
  • Laatst online: 14:39
Mooie 3Ware Escalade 7800 nemen. Kan 8 IDE schijven aan hangen.
IBM heeft al 120 GB schijven, dan heb je 960 GB per kaart.
67 van deze kaarten en klaar :)

Ryzen9 5900X; 16GB DDR4-3200 ; RTX-4080S ; 7TB SSD


  • Coen Rosdorff
  • Registratie: Januari 2000
  • Niet online
Op donderdag 20 december 2001 10:04 schreef Snailer het volgende:

[..]

Intresant ideetje: kun je wat specifieker zijn?
Dat concept heeft ook nog een naampje (term), weet het helaas niet meer...
Backup komt binnen via het netwerk, en wordt tijdelijk op disk gezet. Zodra de hele backup binnen is, en er een tape-robot vrij is, wordt hij op tape gezet en gewist van de disk.
Misschien ook een domme vraag, hoe stel je het terugzetten voor. 'just the same way backward'?
Als een bedrijf een backup nodig heeft, dan kun je gewoon met de goede tape in binnenzak langs gaan om de boel terug te zetten.

Verwijderd

Op donderdag 20 december 2001 14:54 schreef little_soundman het volgende:

[..]

Backup komt binnen via het netwerk, en wordt tijdelijk op disk gezet. Zodra de hele backup binnen is, en er een tape-robot vrij is, wordt hij op tape gezet en gewist van de disk.
[..]

Als een bedrijf een backup nodig heeft, dan kun je gewoon met de goede tape in binnenzak langs gaan om de boel terug te zetten.
Uhm ja dat dacht jij. Moeten ze dezelfde hi-capacity streamer hebben. En die kans is vrij denk ik als je't over 64TB hebt.
Daarnaast: als het bedrijf zelf zo'n streamer heeft, zullen ze ook zelf wel die gegevens kunnen backup'en.

Aan de andere kant is verantwoordelijkheid afschuiven een ERG populair iets. Durf je die verantwoordelijkheid wel aan? Je kan niet eens zelf bellen met een leverancier om te vragen hoe duur zo'n taperobot is!

Ik denk ook dat je nog problemen gaat krijgen met verzekeringen afsluiten..

Op zich een interessant idee, alleen je moet het wel HEEL goed naar de klant kunnen brengen.
Ik denk dat de meeste mensen wel eens goede ideeen hebben maar het niet durven uitvoeren.
Ik wens je het beste, alleen ben ik zelf zo iemand die altijd de problemen erbij zoekt. En dan zelfs nog niet eens 50% bedenkt van wat 1 gesprek met iemand anders nog eens extra oplevert. En dan heb ik't nog niet eens over de techniek ergens achter!
Anyway, het beste!

Verwijderd

Topicstarter
Op donderdag 20 december 2001 13:36 schreef Spais het volgende:Wat voor verbinding heb je trouwens? En hoeveel traffic mag je genereren?
Wel, wat denk je van 'een kleine' :9~ 155 Mbit?
eentje naar ix-ams en eentje naar ix van belgië.
stukje tekst van onze site
Onze redundante glasvezelverbinding van 155Mbit en het beproefde Intrusion Detection System (IDS) staan hiervoor garant.
Trouwens, ik vind het wat pijnlijk om dit te zeggen, maare ik kreeg net te horen dat het juist niet in 1e instantie om backup doeleinden bedoelt is. gewoon data van 64 Tb die random on-demand toegankelijk moet zijn. Zeg maar bijvoorbeeld web-, ftp- en database- content...
Hoe dan ook de vraag blijft hiermee praktisch hetzelfde.

  • Marc H
  • Registratie: Juni 1999
  • Laatst online: 22:45

Marc H

- - Is wakker - -

Op donderdag 20 december 2001 14:54 schreef little_soundman het volgende:

[..]

Backup komt binnen via het netwerk, en wordt tijdelijk op disk gezet. Zodra de hele backup binnen is, en er een tape-robot vrij is, wordt hij op tape gezet en gewist van de disk.
[..]

Als een bedrijf een backup nodig heeft, dan kun je gewoon met de goede tape in binnenzak langs gaan om de boel terug te zetten.
Tuurlijk ga je niet voor elke restore bij de klant langs, is geen doen....
Gewoon via een webclient de file(s)/folder(s)/drive(s) aanwijzen en terugzetten, via het netwerk.

Ik maak geen fouten, ik creëer leer momenten.


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Op donderdag 20 december 2001 15:34 schreef Snailer het volgende:
Trouwens, ik vind het wat pijnlijk om dit te zeggen, maare ik kreeg net te horen dat het juist niet in 1e instantie om backup doeleinden bedoelt is. gewoon data van 64 Tb die random on-demand toegankelijk moet zijn. Zeg maar bijvoorbeeld web-, ftp- en database- content...
Hoe dan ook de vraag blijft hiermee praktisch hetzelfde.
De vraag wel, de oplossing niet. Maar met zoiets kun je het al makkelijker scheiden. Je zet losse web-, ftp- en database servers neer. Die hoeven toch niet bij elkaars data.

  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Op donderdag 20 december 2001 15:35 schreef Marc H het volgende:

[..]

Tuurlijk ga je niet voor elke restore bij de klant langs, is geen doen....
Gewoon via een webclient de file(s)/folder(s)/drive(s) aanwijzen en terugzetten, via het netwerk.
Gewoon? Denk jij dat elke klant gigabit links heeft?

Verwijderd

Topicstarter
Op donderdag 20 december 2001 15:41 schreef OlafvdSpek het volgende:
Je zet losse web-, ftp- en database servers neer. Die hoeven toch niet bij elkaars data.
Beste Olaf, het was maar een voorbeeld :). Zo slim zouden ze hier ook wel zijn denk je niet? :? :)
De oplossing veranderd idd wel iets wat, maar ze willen graag 'iets' met een opslagcappaciteit van +/- 64 Tb.

  • Zoppie
  • Registratie: December 2000
  • Niet online
Trouwens, ik vind het wat pijnlijk om dit te zeggen, maare ik kreeg net te horen dat het juist niet in 1e instantie om backup doeleinden bedoelt is. gewoon data van 64 Tb die random on-demand toegankelijk moet zijn. Zeg maar bijvoorbeeld web-, ftp- en database- content...
Hoe dan ook de vraag blijft hiermee praktisch hetzelfde.
Gewoon uit nieuwsgierigheid.
Maar hoever in de toekomst kijken jullie als 'kleine provider' met 64 TB. En wat wordt dan de content?

  • Femme
  • Registratie: Juni 1999
  • Laatst online: 17:29

Femme

Hardwareconnaisseur

Official Jony Ive fan

Moet die 64TB op één groot filesystem beschikbaar of mogen het ook meerdere zijn (aangezien er meerdere bedrijven gebruik van maken kun je ook opdelen - zou het al een stuk simpeler maken). Er zijn SCSI-to-IDE oplossingen van o.a. Arena waarmee 6 IDE schijven in een extrene SCSI kast gestopt kunnen worden. Je zou een stuk of 4 van dat soort apparaten aan een pc kunnen hangen zodat je al op 4x6x120GB komt.

Ga bijv. eens bij Maxcom.nl vragen of zij een betaalbare oplossing weten :) . Je hebt hier sowieso een storage specialist voor nodig.

Verwijderd

Mag ik hier dan nog ff de fibrechannel optie aan toevoegen?

  • Coen Rosdorff
  • Registratie: Januari 2000
  • Niet online
Op donderdag 20 december 2001 15:34 schreef Snailer het volgende:

Trouwens, ik vind het wat pijnlijk om dit te zeggen, maare ik kreeg net te horen dat het juist niet in 1e instantie om backup doeleinden bedoelt is. gewoon data van 64 Tb die random on-demand toegankelijk moet zijn. Zeg maar bijvoorbeeld web-, ftp- en database- content...
Hoe dan ook de vraag blijft hiermee praktisch hetzelfde.
Tja, dan kom je toch weer bij die netapp's terecht. (Misschien zijn er wel meer bedrijven die dit soort apparaten maken)

Het zou voor de prijs en de beheersbaarheid een stuk makkelijker zijn om er twee systemen van 32TB (of 4x 16TB) van te maken.)

Maar zolang je zelf niet eens weet waarvoor het gebruikt gaat worden is het een beetje onzinnig om oplossingen aan te dragen. De oplossing is nogal erg afhankelijk van de toepassing....

Verwijderd

Opzich kan het wel in een systeem alleen ga je dan naar een gigantische storage array en een andere OS unix(linux) kan tot ver over die 64 TB persoonlijk zou ik een Storage cluster bouwen of aan schaffen is stabieler en makkelijker te onderhouden als er dan een gedeelte uitvalt door bijvoorbeeld een headcrash dan kan je op de rest door blijven werken. maar waarom IDE en geen SCSI op korte termijn is IDE goedkoper maar op lange termijn is het duurder SCSI is er voor gebouwd om constant te draaien en IDE eigenlijk niet, dus ja aan jullie de keus. ;)

Verwijderd

Op donderdag 20 december 2001 17:29 schreef BigRed het volgende:
Opzich kan het wel in een systeem alleen ga je dan naar een gigantische storage array en een andere OS unix(linux) kan tot ver over die 64 TB persoonlijk zou ik een Storage cluster bouwen of aan schaffen is stabieler en makkelijker te onderhouden als er dan een gedeelte uitvalt door bijvoorbeeld een headcrash dan kan je op de rest door blijven werken. maar waarom IDE en geen SCSI op korte termijn is IDE goedkoper maar op lange termijn is het duurder SCSI is er voor gebouwd om constant te draaien en IDE eigenlijk niet, dus ja aan jullie de keus. ;)
offtopic:
Leestekens ???


Dat SCSI verhaal is zo waar als het maar kan. Het "probleem" is dat je je ook nog eens suf moet gaan betalen aan SCSI controllers. Op het moment dat je besluit een Fibrechannel systeem op te zetten kun je tot 127 devices op 1 controller zetten. De schijven zijn verder gelijk aan SCSI schijven.
Op het moment dat je aan dit soort config's gaat denken komt dat trouwend wel aardig overeen met de verder naar boven aangedragen Netapps systemen.

  • jadjong
  • Registratie: Juli 2001
  • Niet online
ibm:

020 - 513 51 51

deze kunnen je waarschijnlijk wat meer vertellen.
http://ssddom02.storage.ibm.com/techsup/webnav.nsf/support/home

  • jadjong
  • Registratie: Juli 2001
  • Niet online
Op vrijdag 21 december 2001 12:55 schreef Dirk_Hendrik het volgende:
Oh, op die fiets
www.emc.com
www.netapp.com
www.xyratex.com
precies,


de meeste mensen hebben hier geen ervaring met 500 GIG of meer

op een paar uitzonderingen na

  • Jrz
  • Registratie: Mei 2000
  • Laatst online: 17:45

Jrz

––––––––––––

Uw antwoord: Het inmiddels 10 jaar oude, en verkochte (voor veeeeeeeeeeeeel te weinig) BeOS.
Het BFS filesystem kan een max size van een file aan van 18000 petabytes (18 miljoen terabytes)

Ennnnnnnnnn laat losssssssss.... https://github.com/jrz/container-shell (instant container met chroot op current directory)


  • Jrz
  • Registratie: Mei 2000
  • Laatst online: 17:45

Jrz

––––––––––––

btw, netapp is gewoon een FreeBSD bakkie

Ennnnnnnnnn laat losssssssss.... https://github.com/jrz/container-shell (instant container met chroot op current directory)


Verwijderd

Op vrijdag 21 december 2001 13:05 schreef Jrz het volgende:
Uw antwoord: Het inmiddels 10 jaar oude, en verkochte (voor veeeeeeeeeeeeel te weinig) BeOS.
Het BFS filesystem kan een max size van een file aan van 18000 petabytes (18 miljoen terabytes)
Alléén is dat niet helemaal het probleem. Uiteindelijk zullen al die bytes ook nog als hardware moeten werken. Netapps mag dan gewoon een FreeBsd bakkie zijn, de hardware is ook opgezet. Met IDE schijven is dat bijna niet te doen, met SCSI gaat het wat beter en met FC weer wat beter.

  • Coen Rosdorff
  • Registratie: Januari 2000
  • Niet online
Op vrijdag 21 december 2001 13:09 schreef Jrz het volgende:
btw, netapp is gewoon een FreeBSD bakkie
Kan best wezen, maar wel een die geheel (hard- en software) is ontworpen voor dit soort taken.

Een natapp ophangen is een heel stuk makkelijker dan zelf een machine vol met scsi-controllers bouwen en configen.

Nog afgezien van garantie en support die je bij netapp wat beter kan regelen dan bij zelfbouw.
Pagina: 1