Database storage

[voodooless]

We zijn nu aan het kijken voor nieuwe database servers, en goede storage vinden is best lastig. We zitten met een database van 220GB, die tot eind 2012 zal groeien naar zo'n 1.2TB. Lees/schrijf verhouding is ongeveer 3:1, en die verhouding zal waarschijnlijk groeien naar 4:1 of 5:1. Een sloot CPU's en een bak memory is redelijk triviaal. Goede IO echter niet. We willen in ieder geval zorgen dat we die 1.2TB vol kunnen schrijven, met optie om later volgend jaar bij te plaatsen.

Eerst dachten we te kijken naar een oplossing met enkel SSD. Gezien het aantal writes zijn echter de goedkopere SSD's (Intel 320) niet interessant. Met Intel 710 explodeert het budget flink.

We willen dus kijken naar alternatieve oplossingen. Enkel SAS disks is helaas niet snel genoeg (zit ook in de huidige server). Een van de oplossingen is het gebruik van SSD caching via de RAID controller, zoals Adaptec maxCache, of LSI CacheCade. Adaptec rommel hoef ik niet meer, dus dan zou LSI overblijven. Ik kan hier echter geen serieuze ervaringen van vinden i.c.m databases. Er is eigenlijk maar een serieuze review te vinden van het ding, en die laat veelbelovende dingen zien. twee of vier Intel X25-E's (die we nog hebben) met 4x600GB SAS in RAID10 zou ons dan voorlopig voldoende storage geven.

Ander alternatief is het gebruik van ZFS i.c.m BSD of Solaris. Dit kennen we al omdat we er ooit al een keer een database server mee gedraaid hebben. Configuratie en management zijn zeer prettig, maar ook hier geldt weer: bijna 0 ervaringen te vinden over een dergelijke setup i.c.m een serieuze PostgreSQL database.

In basis doet ZFS met CLOG en L2ARC hetzelfde als CacheCade, maar ZFS doet natuurlijk nog wel wat meer (checksums bv). Verder is er een voordeel dat zowel RAM als disk cache beiden zoor ZFS gemanaged worden. Hierdoor wordt er minder data dubbel bijgehouden, waardoor de efficiëntie omhoog zou moeten zijn.

Hoe dat in de praktijk uitpakt weet ik dus niet... Aan jullie de vraag wat voor ervaringen of ideeën jullie hebben? We hadden zelf in ieder geval het plan om een Chassis te kopen waarmee we e.a kunnen testen (CacheCade kun je als trail testen), ZFS kan prima via de zelfde LSI controller.

[Verwijderd]

Je zoekt nu performance in de diepte. Om je even op het andere been te zetten: heb je ook gekeken naar performance in de breedte? Ik bedoel dan een PostgreSQL cluster. Dan kun je het eventueel bewust uitsluiten.

[WPN]

aan wat voor servermachine denken jullie.
De machine moet genoeg disksloten hebben om uit te breiden. Je zit mogelijk dan met uitbreidbaarheid aan de beperkingen van de machine met het aantal sloten voor disken.
je hebt nu sowieso 6 disken in gebruik (want een database van dat formaat zet je niet op een 2 disk mirror)

kan je gelijk kijken naar wat backlash zegt, cluster van meerdere machines.

is een SAN geen optie vanwege het budget?
>>> Hoe critisch is de database dat deze en in de lucht blijft en goede performance biedt?

[pven]

Bij de klant waar ik momenteel gedetacheerd ben hebben ze voor de Unix-servers ZFS in gebruik, daar draaien een hoop Oracle-databases op (uit mijn hoofd: vijf M5000's met ongeveer 300TB aan storage). Dat draait al een jaar of drie zo-goed-als probleemloos. In het begin hadden we last van wat bugs omdat ZFS toen eigenlijk nog net te nieuw was, maar nadat de ergste bugs waren verholpen werkt het allemaal prima. De performance van de IO is prima, zowel lezen als schrijven gaat snel genoeg. We hebben overwogen om ASM (eigen filesysteem van Oracle) op de Unix-servers te installeren, maar dat liep mbt beheer tegen issues aan.

Ons grootste probleem is eigenlijk dat we diverse 'schijven' hebben die voor meer dan 90% vol zitten. ZFS is daar erg gevoelig voor, als je 'te vaak' weg schrijft dan merk je dat de performance inkakt op de schijven die boven de 90% vulling zitten.

Wat bedoel je met de opmerking dat goede IO niet triviaal is? Je hebt een hoop CPU's en geheugen, dan wil je toch ook dat het presteert?

[SpamLame]

Ik weet niet welk merk servers je koopt, maar HP bied bv PCIe IO Accelerators die soortgelijk werken aan aan het principe SSD als Cache.
Waarschijnlijk hebben andere vendors soortgelijke produkten (voor hun servers)

WPN schreef op woensdag 23 november 2011 @ 19:36:
is een SAN geen optie vanwege het budget?
>>> Hoe critisch is de database dat deze en in de lucht blijft en goede performance biedt?

SAN met storage array lost niet alles op.
Ook daar moet je nadenken over hoeveel spindels wel of geen SSD, wel of geen automatische storage tiering, meer minder cache, welk medium voor de interconnect (CU of optisch), welk(e) protocol(len), FC(oE) IB iSCSI etc enzovoort.

Door alleen maar SAN te roepen verplaats je het probleem alleen maar.
Sterker nog EMC maakt de move om SSD en software in een server te laten samenwerken om de storage array in het SAN te ontlasten.

Mijn mening, probeer het eerst eens in de server op te lossen, als dat niet lukt ga dan naar de grote jongens kijken

[ Voor 58% gewijzigd door SpamLame op 23-11-2011 20:19 ]

[voodooless]

Verwijderd schreef op woensdag 23 november 2011 @ 19:27:
Je zoekt nu performance in de diepte. Om je even op het andere been te zetten: heb je ook gekeken naar performance in de breedte? Ik bedoel dan een PostgreSQL cluster. Dan kun je het eventueel bewust uitsluiten.

Dat is uiteindelijk ook de bedoeling (of een andere soort database, bv noSQL hype zooi). Feit blijft dat de IO demands er niet minder op worden, je dus met het zelfde probleem blijft zitten. Je verdeelt het enkel over meer machines. 't is een illusie dat dat alle problemen zou oplossen.

Verder vergt dat nog al ingrijpende aanpassingen in de applicatie, die we op dit moment niet willen doen.

WPN schreef op woensdag 23 november 2011 @ 19:36:
aan wat voor servermachine denken jullie.
De machine moet genoeg disksloten hebben om uit te breiden. Je zit mogelijk dan met uitbreidbaarheid aan de beperkingen van de machine met het aantal sloten voor disken.
je hebt nu sowieso 6 disken in gebruik (want een database van dat formaat zet je niet op een 2 disk mirror)

We kijken naar een chassis met 24 2.5" disks. Daar kun je nog wel redelijk mee groeien de komende tijd.

is een SAN geen optie vanwege het budget?
>>> Hoe critisch is de database dat deze en in de lucht blijft en goede performance biedt?

Een SAN die serieuze performance geeft kost je zeker een ton. Daar kan ik heel veel "gewone" machines voor kopen, of heel veel SSD's. Bovendien hebben we al een SAN, die nu ook al een van de twee databases draait (de minst kritieke kwa performance), en dat trekt het ding gewoon niet lekker, zeker niet omdat er ook nog een berg VMzooi op zit. Nee, een SAN is geen oplossing..

pven schreef op woensdag 23 november 2011 @ 19:37:
Wat bedoel je met de opmerking dat goede IO niet triviaal is? Je hebt een hoop CPU's en geheugen, dan wil je toch ook dat het presteert?

CPU's en geheugen is redelijk triviaal. 't gaat juist om de storage! Daar gaat nu net het topic over

[Verwijderd]

Je hebt in je topicstart eigenlijk al een goede opsomming gemaakt. ZFS is zeker een optie, mits je de tijd hebt om het een en ander te testen. Bedenk wel dat je je SSDs bij voorkeur op de chipset AHCI poorten gebruikt, terwijl je HBA controllers gebruikt voor de hardeschijven. IBM M1015 bijvoorbeeld en dan flashen naar IT-firmware, is momenteel een populaire keuze voor ZFS.

Je X25-E SSDs zijn bij uitstek voor jou geschikt, omdat je veel writes gaat doen en write endurance dus een heikel punt is. Daar zijn deze SSDs supergoed in. Denk wel aan die secure erase (geen TRIM support) en het gebruiken van overprovisioning. 50% zou ideaal zijn. Een SLOG had je niet nodig zei je, dus dan komt het neer op héél veel L2ARC en héél veel RAM. ZFS houdt ook van lekker veel cores, maar voor de I/O is dat niet zo cruciaal. Qua performance zouden 6 SSDs in RAID0 je toch een uitstekende random read performance moeten kunnen brengen, maar ik verwacht dat je voor dit soort builds wel enige tijd in tuning en testing moet steken.

Nog iets waar ik je mee kan helpen?

[rippiedoos]

Welke database-software is het eigenlijk? Oracle, PostgreSQL, MySQL, SQL Server, DB2? Vaak hebben de database-software-leveranciers ook veel optimalistaties voor I/O. Bijvoorbeeld heeft Oracle 11gR2 DB-Smart-flash-cache, wat een stuk I/O offload naar een FusionIO-kaartje (zie de opmerking van SpamLame over HP I/O Accelerators).

[voodooless]

We gebruiken postgres, staat al in de TS.

HP IO Accelerator is misschien leuk, maar is behoorlijk prijzig. Voor dat geld heb ik ook een complete server... En of het werkt.. geen idee.. is echt helemaal niks over te vinden.

[ Voor 17% gewijzigd door voodooless op 24-11-2011 17:29 ]

[voodooless]

Zo, we hebben afgelopen donderdag onze database server opnieuw ingericht. Key speler hierin is een nieuwe LSI controller met CacheCade 2 pro met 4x Intel 25-E als read en write cache.

De vooruitgang in IO-performance is verbazingwekkend goed en grofweg factor 10 beter dan de oude setup (met de zelfde SAS disks in het zelfde enclosure)

[Q]

Dus de oplossing is een nieuwe RAID controller met ondersteuning van SSD's als een soort cache. een soort van ZFS achtige oplossing maar dan zonder ZFS

Goed nieuws dat dit zo goed presteert en tof dat je dit deelt.