12 terabyte

[Dethroned]

Ja je leest het goed. Volgens de ICT mannen bij mij op het bedrijf hebben we een probleem met SAP R3.

In ons klantensysteem word een dergelijke hoeveelheid data verwerkt dat na 1 jaar we al aan 12 terabyte data zitten.
De grens van de software werd aangegeven op 16 terabyte.

Gaat om een database waarin dus een klantensysteem + administratie + technische gegevens zijn gekoppeld. Nota's en dergelijke zijn dus ingescant, technische zaken zijn ook ingescant en klanten bellen dagelijks, dus elk contact word ook opgeslagen.
Tevens zijn alle betalingsverwerkingen eraan gekoppeld.

Nou vraag ik me sterk af of de afdeling ICT ons zit voor te liegen (ze hebben namelijk geen geld meer, vanwege de strakke budgetering) en dat 12 terabyte absoluut onzin is, of hebben ze gelijk en is dit wel realistisch ?

12 teraybyte is dus ook incl. backup servers en dergelijken

[dominic]

12 Terabyte inc. alle backups over de laatste 10 jaar wil ik nog wel geloven, maar 12 Terabyte voor het systeem alleen? Nee, dat gaat er bij mij niet in..

[Dethroned]

dominic schreef op 18 april 2003 @ 18:11:
12 Terabyte inc. alle backups over de laatste 10 jaar wil ik nog wel geloven, maar 12 Terabyte voor het systeem alleen? Nee, dat gaat er bij mij niet in..

Nee, niet helemaal. Het is 12 terabyte dus voor:
-Sap
-Data
- Technische gegevens
- Klantgegevens
- Correspondentie
- Financiele stukken
-Backup(servers)
-periode (zegge 1,5 jaar om het ietsje uit te rekken)

[Verwijderd]

Haha, humor op de werkplek is dus nog steeds niet verdwenen

[grimson]

Als je documentjes inscanned op 2400 DPI 32bits kleur TIFF formaat dan loop je snel vol ja !
12 terabyte ?! welk bedrijf is dat in hemelsnaam ?! BV Earth ??

[Verwijderd]

Kdenk dat jullie daar de resultaten van Earth Sim opslaan ofzo

[Verwijderd]

Hopelijk gebruiken ze dan efficiente querys, en geen select * from *

[avon]

Dat lijkt me toch wel zelf te checken!...

misschien rekenen ze alle tapejes er ook bij ?

[Rhapsody]

12 terabyte??? Allemaal films gedownload zeker.

Dat kan nooit volgens mij.

[M@rijn]

Hogeschool netwerkje ofzo daar

[Verwijderd]

hmm.. kan makkelijk.. werk dagelijks met 70TB aan opslag capaciteit (alleen disken )
zijn 2 FC raid systemen ...

[Verwijderd]

waarschijnlijk zijn het dubbele files . En als dat niet het geval is kan het meer zijn misschien elke file 16x loolz

[D-Three]

12 Terrabyte op ongeveer 1,5 jaar tijd?
Dat is meer dan 22 Gigabyte per dag! Inclusief weekend...
_{of maak ik hier een rekenfout?}

[ Voor 8% gewijzigd door D-Three op 18-04-2003 18:26 ]

[Dethroned]

grimson schreef op 18 april 2003 @ 18:16:
Als je documentjes inscanned op 2400 DPI 32bits kleur TIFF formaat dan loop je snel vol ja !
12 terabyte ?! welk bedrijf is dat in hemelsnaam ?! BV Earth ??

Is toch niet noodzakelijk om te weten welk bedrijf ? Niet dat je het echt niet mag weten hoor......
Documenten worden opgelsagen @ 600 DPI, standaard printkwaliteit. Maar je kan er wel vanuitgaan dat het zeker gaat om meer dan 4 miljoen documenten.

Ik heb geen toegang / inzicht in wat er allemaal instaat daar ik geen bevoegdheid heb.

[GambitRS]

Verwijderd schreef op 18 april 2003 @ 18:19:
Hopelijk gebruiken ze dan efficiente querys, en geen select * from *

hoe wil je het anders doen?

[cool0]

Je zou kunnen navragen bij de mensen van tweakers.net hoe groot hun database is. Daarin worden dagelijks honderden toevoegingen bij gedaan dus dan kan je een indicatie hebben van hoe groot zo database is. Maar ik werk zelf ook met databases en 12TB in 1 jaar is me toch echt iets teveel

[Redlihcs]

Het zou heel goed kunnen. SAP is pakket wat in meerdere bedrijfstakken kan worden ingezet. Ze hebben dus heel wat verschillende bestanden en velden die gevuld kunnen worden. Afhankelijk van hoe het systeem wordt ingericht worden bepaalde velden en/of bestanden wel of niet gebruikt. Dit geeft dus veel overhead!

Hoeveel klanten zitten er in dat systeem?
Hoeveel histrory wordt er bijgehouden?

[danslo]

Rhapsody schreef op 18 April 2003 @ 18:22:
12 terabyte??? Allemaal films gedownload zeker.

Dat kan nooit volgens mij.

Wel eens gehoord van het programmatje DirectConnect. Daar zitten gasten met echt gigantisch veel TB

[PipoDeClown]

wil je zeggen dat je scans allemaal objects zijn _in_ de database zelf en niet een extern file?
wat kun je nog meer zeggen over de backups? die staan niet op dezelfde storage toch?
en over welk systeem heb je het waarbij de limiet 16 TB is? is dat SAP R3 zelf?

[Fidai]

12 TB zou dan best kunnen als je 4 miljoen documenten zou moeten opslaan (3MB per document) is trouwens niet erg efficient om alles zo op te staan, ze kunnen beter met ocr software alles omzetten naar normale text

[Dethroned]

Verwijderd schreef op 18 April 2003 @ 18:25:
hmm.. kan makkelijk.. werk dagelijks met 70TB aan opslag capaciteit (alleen disken )
zijn 2 FC raid systemen ...

En is de inhoud van die data ?
Wat word er mee gedaan ?

[zimbab]

FairFox schreef op 18 April 2003 @ 18:32:
[...]

Wel eens gehoord van het programmatje DirectConnect. Daar zitten gasten met echt gigantisch veel TB

Alle gebuikers van een hub bij elkaar opgeteld ja.

[Dethroned]

PipoDeClown schreef op 18 april 2003 @ 18:33:
wil je zeggen dat je scans allemaal objects zijn _in_ de database zelf en niet een extern file?
wat kun je nog meer zeggen over de backups? die staan niet op dezelfde storage toch?
en over welk systeem heb je het waarbij de limiet 16 TB is? is dat SAP R3 zelf?

Die scans zijn via intranet op te pikken, echter worden ze geimplementeerd ook direcht in SAP. Men zei idd dat SAP R3 niet overweg kon met meer data dan 16 TB,
We werken met workstations op NT4.

[Verwijderd]

50% is data (files , databases, exchange, logs) ong. 40% is snap/clone space 10% is nog vrij

[Verwijderd]

12TB is idd excessief, maar niet irrieeel. Adminstratie van een grote klantenbase kost veel ruimte. Als je idd alle ingescande docs in de db opslaat, is er iemand zwaar dom bezig geweest, zo houd je geen performance over, no mather what the hardware is. 12Tb lijkt me een wat vreemde grens....16Tb lijkt realistischer (x^2)....
(overigens heeft B-Top laatst een rondleiding gehad in een bedrijf met 7Tb aan klant-db, en dat gaat om rond de 800.000 / 1.200.000 klanten) dus het moet wel een huge bedrijf zijn

[Verwijderd]

Ruikt erg naar een Energie Bedrijf die FC Twente sponsorde maaruh ik geloof niet dat 12 TB echt mogelijk is..

Ik zelf werk dus met SAP R3 op een Energie Bedrijf (jah die bovenste) en denk niet dat hun database 12 TB is, de documenten zijn PDFjes en zijn ongv 100-300Kb p/s en aan klanten contacten schrijven ze echt geen 22gb per week weg (bv) dat zal ongv een 100mb zijn ofzo... maximaal dan he of ze moeten het echt DOM opslaan

[Jorick]

FairFox schreef op 18 April 2003 @ 18:32:
[...]

Wel eens gehoord van het programmatje DirectConnect. Daar zitten gasten met echt gigantisch veel TB

Goh, zit momenteel in 3 hubs, bij elkaar zo'n slordige 200 terabyte. er zitten lui tussen die individueel al 2 terabyte gedeeld hebben

Die 200 terabyte wordt gevormd door zo'n 3500 man.
Ik snap niet waarom het op daar op het werk niet kan, 12 terabyte zoveel is dat toch niet

[Dethroned]

Ik werk bij het grootste energiebedrijf van Nederland en ja dan kan je nagaan dat we zeker 4 miljoen records hebben. Uiteraard wil je ook zo efficient omgaan en performance gericht.
Ik moet zeggen dat het redelijk soepel werkt, uiteraard niet heel erg snel maar das logisch. Het meeste tijd kost het nalopen van ingekomen betalingen. Dat duurt soms wel 45 minuten. Dit met goede sorteer criteria zoals banknummer, datum en bedrag.
Verder is het wel nodig dat we een officiele nota uit kunnen printen en hoewel het vast goedkoper omdat in briefformat te doen hebben ze daar niet voor gekozen.

[kamerplant]

cool0 schreef op 18 April 2003 @ 18:31:
Je zou kunnen navragen bij de mensen van tweakers.net hoe groot hun database is. Daarin worden dagelijks honderden toevoegingen bij gedaan dus dan kan je een indicatie hebben van hoe groot zo database is. Maar ik werk zelf ook met databases en 12TB in 1 jaar is me toch echt iets teveel

Ik meen gelezen te hebben dat de Gathering of Tweakers database zo'n 4GB is. Maar dat is dan gewoon text-only.

[Dethroned]

Verwijderd schreef op 18 april 2003 @ 18:44:
Ruikt erg naar een Energie Bedrijf die FC Twente sponsorde maaruh ik geloof niet dat 12 TB echt mogelijk is..

Ik zelf werk dus met SAP R3 op een Energie Bedrijf (jah die bovenste) en denk niet dat hun database 12 TB is, de documenten zijn PDFjes en zijn ongv 100-300Kb p/s en aan klanten contacten schrijven ze echt geen 22gb per week weg (bv) dat zal ongv een 100mb zijn ofzo... maximaal dan he of ze moeten het echt DOM opslaan

Ben dan toch echt concurrent want mijn bedrijfje sponsorde vitesse

[Verwijderd]

iedereen maakt fouten stond de schaduw boekhouding van vitesse er ook bij ?

[Verwijderd]

Dethroned schreef op 18 April 2003 @ 18:52:
Ik werk bij het grootste energiebedrijf van Nederland en ja dan kan je nagaan dat we zeker 4 miljoen records hebben. Uiteraard wil je ook zo efficient omgaan en performance gericht.
Ik moet zeggen dat het redelijk soepel werkt, uiteraard niet heel erg snel maar das logisch. Het meeste tijd kost het nalopen van ingekomen betalingen. Dat duurt

Grin, ik denk niet dat je bij de grootste werkt want dan kom je met 4 miljoen mischien op 100 klanten? iedere klant genereert bij dit bedrijf namelijk al reeds 18000 records als alleen al profiel en dergelijke opties (netwerk componenten ed.)

Met een beetje bedrijf (energie) met laten ze zeggen 500.000 klanten die een database van een jaar heeft zou toch al gauw een terrabyte aan data bevatten..

[Verwijderd]

Dethroned schreef op 18 april 2003 @ 19:10:

Ben dan toch echt concurrent want mijn bedrijfje sponsorde vitesse

Boeie, ik vind die sponsoring zo ie zo een schaamte

[SilentSimon]

lol @ scsi-freak
--
/offtopic

[Dethroned]

Verwijderd schreef op 18 April 2003 @ 19:19:
[...]


Grin, ik denk niet dat je bij de grootste werkt want dan kom je met 4 miljoen mischien op 100 klanten? iedere klant genereert bij dit bedrijf namelijk al reeds 18000 records als alleen al profiel en dergelijke opties (netwerk componenten ed.)

Met een beetje bedrijf (energie) met laten ze zeggen 500.000 klanten die een database van een jaar heeft zou toch al gauw een terrabyte aan data bevatten..

Ik bedoelde een database met 4 miljoen klanten. Records was niet een handige benaming. maar goed 4.000.000x18.000=72.000.000.000 records.
Nou bellen ze niet allemaal elke dag voor een kopie nota hoor

[Verwijderd]

Dethroned schreef op 18 April 2003 @ 19:29:
Ik bedoelde een database met 4 miljoen klanten. Records was niet een handige benaming. maar goed 4.000.000x18.000=72.000.000.000 records.
Nou bellen ze niet allemaal elke dag voor een kopie nota hoor

Die van mij wel SAP is toch niet zo gemakkelijk als ze dachten

[Hakker]

Het zal wel aan mij liggen maar waarom in godsnaam alle documenten inscannen op 600 dpi? zoiets doe je in een gewone database van tekstformaat. Misschien maar eens OCR ofzo gaan gebruiken daar. Dit is zo ongeveer wel de meest inefficiente manier om de boel op te slaan.

[Dethroned]

Zou niet weten waarom ze het niet in text format doen, tis nou eenmaal zo

@ xtentic, ik neem aan dat je bij Essent zit. Hoelang zijn jullie nou al bezig met SAP trainingen ?

[Verwijderd]

ff kijken. Ik zit in de SAP beheer hoek van DSM. Wij hebben 13 business groepen op ongeveer 20 SAP R3 implementaties. De gemiddelde business groep heeft een omzet van ongeveer 600 - 900 miljoen euro en heel veel SAP transacties. De servers waarop de SAP versies draaien hebben volgens mij bij elkaar nog geen 12 TBytes en DSM is een zeer grote SAP gebruiker...

Lijkt me wat aan de grote kant...

[Verwijderd]

OCR gebruiken op scans is wel leuk, maar de scan zelf is het meest nauwkeurig...

[Verwijderd]

Verwijderd schreef op 18 April 2003 @ 21:16:
OCR gebruiken op scans is wel leuk, maar de scan zelf is het meest nauwkeurig...

Dan nog is 600 dpi voor de meeste documenten een behoorlijke overkil...300 dpi is voor de meeste documenten al meer dan genoeg. Als er alleen tekst en evt. handschrift wordt gebruikt kom je zelfs al weg met 150 dpi.

Tenzij je ook smurfen in je klanten kring hebt zitten met een héél klein handschrift.

12T incluis backups vindt ik een beetje vaag. Iin dat geval zul ja al snel 7TB aan backups hebben liggen maar wat moet SAP met die backups. Ik hoop dat die IT-afdeling hun backups buiten het systeem om maken dmv tape of een mirror SAN...

[RocketKoen]

tijd voor functioneringsgesprekken binnen de afdeling ICT?
degene die dit systeem heeft ontworpen/ingevoerd is erg inefficient bezig...
of iemand is je aan het oplichten voor meer geld

wat de rest al zegt, 600dpi voor het inscannen van docjes......
dat kan veel kleiner, comprimeren misschien (ik neem aan dat je die docs misschien 1x per jaar opvraagt..)

[CrashOne]

Jorick schreef op 18 April 2003 @ 18:46:
[...]
12 terabyte zoveel is dat toch niet

±12.000 Gig, nuh, valt wel mee........

Wanneer de data inefficient is op geslagen lijkt het me nog erg veel. Maar goed, het zou eventueel wel kunnen.

[Redlihcs]

Waarschijnlijk heb ik meegewerkt om een groot deel van die 12GB te vullen.


<< Edit: Inderdaad 12TB. Oeps.. >>

[ Voor 32% gewijzigd door Redlihcs op 19-04-2003 16:12 ]

[Verwijderd]

Redlihcs schreef op 18 April 2003 @ 23:11:
Waarschijnlijk heb ik meegewerkt om een groot deel van die 12GB te vullen.

12gig? nee nee 12 tb

[Postman]

12TB voor een bedrijf met 4 miljoen klantgegevens is niet echt veel hoor. Zeker niet als je telt dat ze scan's gebruiken. En omdat een energie maatschappij elke maand een rekening stuurt, genereer je dus elke maand minstens 4 miljoen nota's. De call-center notities zijn vergeleken met die scan data verwaarloosbaar (hooguit een maar honderd MB, het is immers alleen maar tekst).
Bij een heftruck fabrikant in Nijmegen plaatsen ze binnenkort een nieuwe IBM SAN van 'maar' 1,2TB. Deze zal over anderhalf jaar worden opgeschaald naar 3TB meen ik. En dat is dus voor een bedrijf met hooguit een duizend medewerkers. En bij mijn weten gaat het hier grotendeels om tekst data.
Geloof me, 12TB is niet veel meer (over 10 jaar hebben we zulke opslagcapaciteit in onze laptops zitten, jullie reageren net zoals de mensen 15 jaar geleden toen ze over 10MB praten alsof je nooit meer nodig had).

[Postman]

Verwijderd schreef op 18 April 2003 @ 23:20:
[...]

12gig? nee nee 12 tb

tb? tinybit?

[Resistor]

Verwijderd schreef op 18 April 2003 @ 21:16:
OCR gebruiken op scans is wel leuk, maar de scan zelf is het meest nauwkeurig...

Daar zat ik ook aan te denken, OCR met goede foutcorrectie, en dan als PDF opslaan.

Als nota's uitgeprint zijn zullen ze ook nog wel in de computer staan, evt. met als extra veld 'voldaan' er bij.

Dit zal al een hoop ruimte besparen denk ik.

---

Ik weet niet hoe dat systeem bij jullie werkt, maar als jullie de backups nou apart opslaan in zo'n ding als in megagroot harddisc cabinet besproken is hoeft er alleen maar een verwijzing te staan in de database: Bestand A van grootte A staat op disk 123.

Dan staat er alleen maar een verwijzing, en niet het bestand zelf in de database.

[pretorian_nl]

ik snap niet dat jullie 12 TB veel vinden, is alleen een beetje slecht mee omgegaan in dit geval moet ik wel zeggen. Ik zou zeggen laat die lui de boel eens nalopen en als jij die beslissing moet nemen, laat ze dan ook melden waar al die oplslagruimte mee vol staat. Zo kun je, je beslissing beter afwegen, misschien is er 1 afdeling die 20% voor zijn rekening neemt, laat die dan de boel ordenen bijvoorbeeld is goedkoper dan meteen maar weer meer geld richting de ICT mannen te sturen.

[Postman]

@ Resistor: zoiets noem je dus een SAN of NAS. En volgens mij bedoeld de TS hier een limiet van 16TB over het hele systeem, dus inclusief back-ups (raar, want back-ups worden altijd op een andere locatie opgeslagen en kun je dus eigenlijk niet bij het totaal tellen).

[MacDokie]

Pfeeeuw dat lijkt me wel erg veel idd

[SkyStreaker]

Ik denk dat het grootste probleem nog wordt het daadwerkelijk "fysiek" oplossen van het probleem. Hier en daar kan ook wel compressie gebruikt worden en scans kun je gemakkelijk opslaan als JPG o.a.

Je "lost" niet zo makkelijk even een 12TB probleempje op. En dan begin ik nog niet eens over de uiteindelijke defragmentatiefactor (die er al volop aanwezig is, waarschijnlijk...) als men een oplossing uitvoert.

[Verwijderd]

FlamerX schreef op 18 april 2003 @ 23:26:
[...]

tb? tinybit?

Terra byte's

[Captain Pervert]

Muhhaha

Als je van iedere Nederlander zijn leven, CV, rekening- en telefoonnummers etc etctot en met zijn schoenmaat zou opslaan, zou je nog steeds LANG niet aan de 12 TB zitten


Laten we eens uitgaan van een lekkere uitgebreide record van 5000 woorden (geen enkel bedrijf heeft zoveel gegevens over wie dan ook, laat staan een klant). 5000 woorden x 10 tekens gemiddeld (lekker ruim ) is 50 kb per klant

50 x 16 miljoen Nederlanders = 800 GB

Dus. Gooi daar 200 GB rotzooi bij op (programmatuur) en een backup van het geheel en je zit op 2 TB

Ik zou niet weten waar je de rest mee zou moeten vullen.

/edit

Alhoewel, over een periode van 1.5 jaar, gecombineerd met een ineffectieve opslagmethode (bijv. .docjes eraan hangen ipv plain text) zou het wel eens tot 12 TB op (lees: uit de klauwen) kunnen lopen

[ Voor 15% gewijzigd door Captain Pervert op 18-04-2003 23:56 ]

[Verwijderd]

FairFox schreef op 18 April 2003 @ 18:32:
[...]

Wel eens gehoord van het programmatje DirectConnect. Daar zitten gasten met echt gigantisch veel TB

sharehack?

ja die bestaat kheb em zelf hiero en nee ik gebruik hem niet

[ Voor 13% gewijzigd door Verwijderd op 19-04-2003 01:06 ]

[tweakerbee]

Wellicht dat het niet om backups gaat, maar om redundancy. Die worden geloof ik wel tot het systeem gerekend.

[Verwijderd]

Dethroned schreef op 18 April 2003 @ 19:40:
Zou niet weten waarom ze het niet in text format doen, tis nou eenmaal zo

@ xtentic, ik neem aan dat je bij Essent zit. Hoelang zijn jullie nou al bezig met SAP trainingen ?

Trainingen al vanaf het begin; laten we zeggen nu ruim een jaar en steeds weer cursusen om up 2 date te blijven, want volgens mij zitten we nu al met de 7e SAP upgrade te werken

[Verwijderd]

wij hebben op de zaak ook Sap r/3 draaien, maar die is geen 12 Tb groot Die is pak hem beet 300 Gb groot, en daar wordt ook alles in gestopt van het bedrijf. Dus 12 Tb lijkt me iet wat overdreven

[Verwijderd]

ter indicatie : ik heb thuis 500GB (0.5TB ) aan data. wil ik dat redelijk backuppen en een history bewaren heb ik iig 2TB aan taperuimte nodig. (4wk 1 full backup). een groot bedrijf doet dat minimaal 1x per week, met 6 incr of diff jobs, of zelfs meer.