[database] enorme aantallen records, welke DB

[Stefke]

Ik heb mogelijk een internationaal project in de planning, waarbij wekelijks ongeveer, schrik niet, ongeveer 100 miljard records verwerkt moeten worden.

Nu zoek ik dus een database die geschikt is voor enorme aantallen records. Indien er geen database is die zoveel records aan kan zijn er wel oplossingen te bedenken, maar dat zullen altijd lapmiddelen/omwegen worden.

Dus, welke database kan ongeveer 100 miljard records aan.... of anders, welke database kan echt grote aantallen records aan?

(misschien komt bijv. MSSQL al een heel eind, heb alleen wat moeite om daar de precieze specs m.b.t. aantallen van te vinden)

[ Voor 12% gewijzigd door Stefke op 08-11-2004 13:04 ]

[sig69]

Ik denk dat het niet een kwestie van DBMS is, maar dat de hardware eerder de bottleneck gaat zijn. Maar goed: Sql Server Enterprise edition ondersteund tot 32 processors, 64 Gb geheugen en een DB grootte van 1,048,516 terabytes. Daar kom je wel een eind mee denk ik.

Edit: de 64 bit Enterprise edition ondersteund zelfs tot 64 processors en 512 Gb geheugen

[ Voor 15% gewijzigd door sig69 op 08-11-2004 13:10 ]

[mkleinman]

Persoonlijk zou ik, gezien de hoeveelheid data die je per week moet verstouwen, heel serieus gaan kijken naar een Oracle database. http://www.oracle.com .

Oracle biedt uitstekende ondersteuning aan grid computing/ clustering / load balancing / table partitioning en zeer goede performance etc.

Hou er rekening mee dat met zulke hoeveelheid data je ook een behoorlijk serverpark moet hebben om dit te verwerken.

Ik heb zelf gewerkt aan projecten waarbij we tot 50 a 60 miljoen records moesten verwerken. Hier hadden we absoluut geen moeite mee. Zelfs de hardware waar dit op draaide was relatief licht ( 1 machine, dual Xeon ).

[ Voor 27% gewijzigd door mkleinman op 08-11-2004 13:13 ]

[Kees]

MSSQL zou ik hier niet voor nemen, ik zou IBM, Sybase en Oracle om een totaaloplossing vragen als ik jou was. (inclusief servers, ik hoop dat je budget wel minimaal 7 cijfers heeft)

100 miljard is heel veel, wat voor data is het?

[ Voor 22% gewijzigd door Kees op 08-11-2004 13:13 ]

[ACM]

Naast SQL Server zijn er nog wel een paar anderen het overwegen waard. Oracle, Sybase, IBM's DB2. Alledrie spelers in de markt voor zeer grote databases (de belastingdienst werkt bijv met Sybase). En er zijn er vast wel meer, sommige beter geschikt voor het aan de lopende band verwerken van records dan andere.

Ik gok echter dat sig69 wel de spijker op de kop slaat, met te melden dat de hardware eerder problemen oplevert. Daarbij is vooral het gebruikspatroon belangrijk, maar daar zijn supportafdelingen van de bovenstaande bedrijven waarschijnlijk veel beter in om je adviezen te geven dan wij op dit forum.

[djluc]

100 miljard records is al heel veel maar wat eigenlijk nog belangrijker is: Hoe groot zijn die records?

[mkleinman]

djluc schreef op 08 november 2004 @ 13:13:
100 miljard records is al heel veel maar wat eigenlijk nog belangrijker is: Hoe groot zijn die records?

Dat is inderdaad een goeie, zijn het simpele tekst records? Of zouden er al wat grotere kolommen in zitten. Zelfs een paar bytes verschil per record gaat met zulke extreme aantallen records heel snel in de papieren lopen.

[Stefke]

Nee, de records zijn niet zo ingewikkeld. Het gaat om getallen van ongeveer 15 cijfers, ik schat nu 5 velden per record.
Daarnaast een paar extra kleine tabellen met ondersteunende records (landen, tijdzones).

Op de records moeten statistische berekeningen uitgevoerd worden.

[TheLunatic]

Voor het uitvoeren van statistische berekeningen op grote hoeveelheden data is SAS een hele goede speler ... Vrij onbekend maar ongenadig krachtig als het gaat om rekenwerk.

http://www.sas.com/nl ... wordt gebruik bij grote bedrijven als KPN en NS, maar ook Air France en Maxtor

[ Voor 25% gewijzigd door TheLunatic op 08-11-2004 13:28 ]

[Verwijderd]

Als het om statische gegevens gaat, zonder veel gebruik te maken van de eigenschappen die DBMS aanbieden (sp's,views',uitgebreide user rights, export/import) dan zul je niet met standaard database producten gaan werken. Waarschijnlijk als je met Microsoft SQL Server, Oracle en andere database aanbieders die zulke grote datbase's aankunnen gaat praten, dat zij met een maatwerkoplossingen komen die geoptimaliseerd is voor jouw vraagstuk.

[Kees]

15 cijfers passen niet in een 32 bits int, dus moet je al overstappen op 64 bits serverhardware om het een beetje soepel te laten werken.
64 bits = 8 bytes -> 100 miljard rows -> 800 gbyte data per week.. hoe lang wil je een backlog hebben?

Als het enkel statistische gegevens zijn dan zou je het ook anders kunnen doen (direct berekenen e.d. niet opslaan)

[The Eagle]

Kees schreef op 08 november 2004 @ 13:12:
MSSQL zou ik hier niet voor nemen, ik zou IBM, Sybase en Oracle om een totaaloplossing vragen als ik jou was. (inclusief servers, ik hoop dat je budget wel minimaal 7 cijfers heeft)

100 miljard is heel veel, wat voor data is het?

^^^ Eensch
Daarnaast: je zegt dat er niet zoveel velden in de records zitten. Als je dan toch zoveel records hebt, is er m.i. het e.e.a. niet (goed) genormaliseerd. Wat moet de DB precies ondersteunen? Want ik zie dit soort zaken eigenlijk alleen maar terug binnen de ERP-wereld en de e-commerce (waar vaak ook gewoon ERP als backend draait), en dan nog gaat het niet om zulke grote getallen.
Klinkt mij een beetje in de oren als een worldwide multi-site implementatie van een stageprojectje zoals je het nu zegt Maar ik mag toch aannemen dat het dat niet is

[P_de_B]

The_Eagle schreef op 08 november 2004 @ 13:35:
[...]


^^^ Eensch
Daarnaast: je zegt dat er niet zoveel velden in de records zitten. Als je dan toch zoveel records hebt, is er m.i. het e.e.a. niet (goed) genormaliseerd.

Wat heeft dit met elkaar te maken?

[Maasluip]

Kees schreef op 08 november 2004 @ 13:27:

64 bits = 8 bytes -> 100 miljard rows -> 800 gbyte data per week.. hoe lang wil je een backlog hebben?

Maal 5 velden per record, maakt 4TB per week. Zal een lekkere DB worden.
Om nog niet te spreken van de procestijden. Moet er eens per week op al die data wat berekend worden? Dan ben je denk ik een week aan het rekenen.

Maar mijn advies ook: Oracle, samen met wat serieuze hardware (Sun Enterprise server of zo).

[ Voor 3% gewijzigd door Maasluip op 08-11-2004 13:38 ]

[leuk_he]

stefijn schreef op 08 november 2004 @ 13:02:
Ik heb mogelijk een internationaal project in de planning, waarbij wekelijks ongeveer, schrik niet, ongeveer 100 miljard records verwerkt moeten worden.

Met de juiste hardware (en dan hebben we het niet over een stevige pc) is het inlezen van die data in een oracle db niet echt een probleem. Maar wat wil je er precies mee(hoef ik niet te weten, ik bedoel plan dit) . Een indexje meer/minder, een sommatie, of een gemiddelde "even" berekenen is er niet bij, dat worden allemaal major operaties bij dit soort hoeveelheden records. Hoe lang moet het online staan? Juist op dit soort details valt of staat de hardware configuratie.