Virtuele HD in PCI Express slot?

[Onbekend]

De achtergrond van het verhaal:
Op een server met een normale Windows Server 2008 besturingssysteem (ook al is het 64bit) heeft een limiet aan het RAM-geheugen gesteld: http://technet.microsoft.com/en-us/windowsserver/bb414778
Voor de standaardversie is deze limiet 32GB, maar als je iets meer betaalt voor de Enterprise of Datacenterversie is de limiet opgehoogd naar 1TB.

Bij ons op het werk ontwikkelen wij software die van databases gebruik maakt, en om elke versie te testen op de data van de klanten, hebben wij vele instances draaien waardoor die 32GB al direct vol zit. Om binnen die 32GB te blijven knijpen we ze af (waardoor de databases trager worden), en starten die 's nachts opnieuw op om de tijdelijke tabellen te legen om zo ook weer geheugen uit te sparen.
We gebruiken ze vaak maar onregelmatig, dus steeds starten en stoppen op de momenten wanneer ze nodig zijn is voor ons geen optie.
Om alleen voor de RAM-beperking een Enterprise of Datacenterversie van Windows Server 2008 aan te schaffen vinden wij te duur, dus zocht ik naar een goedkopere oplossing.

De vraag:
Sinds kort worden er ook SSD's aangeboden die in het PCI Express slot gezet moeten worden om zo een grote bandbreedte te kunnen behalen.
Nu vraag ik mij af of dat ook met RAM-geheugen kan, en of dat al bestaat. Mijn idee is dan om dit als virtuele harde schijf te gebruiken die alleen de page-file opslaat. Dat hij bij een restart leeg is maakt niets uit.

De page-file zou je ook op zo'n SSD neer kunnen zetten, maar die heeft limieten van bijvoorbeeld 40.000 keer overschrijven voordat het geheugencel defect raakt. RAM-geheugen heeft natuurlijk niet zo'n limiet.

De volgende gegevens heb ik gevonden op Wikipedia: List of device bit rates
De snelheid van het snelste SLOT is PCI Express 3.0 (x32 link) met 252.06 Gbit/s
De snelheid van snelste RAM is PC3-19200 DDR3 SDRAM DDR3-2400 met 153.6 Gbit/s

De snelheid van PCI Express zou voldoende moeten zijn om ongeveer de snelheid van de RAM-modules te behalen. Het lijkt mij dat de latency aan de gebruikte chips ligt en niet aan de kwaliteit van de PCI-bus.
Zjin er nog meer limieten voor de PCI-bus t.o. de RAM-bus?
Bestaat er al RAM-geheugen in een PCI Express slot?
Zo nee, waarom nog niet? En zo ja, waar zijn ze verkrijgbaar en heeft iemand hier ervaringen mee?

[The Lord]

Op zich geen gekke gedachte gang. Alleen ben je waarschijnlijk beter af met het aanschaffen van een datacenter licentie. En hier virtualisatie mee toe te passen; dit kan heel gunstig uitpakken qua licentie overeenkomst.

PCI-Express of Infiniband zijn eigenlijk de 2 bussen die je kan gebruiken voor low latency, high bandwidth toegang tot geheugen.

Ik denk echter dat zowel 'disk' gebaseerde (bijvoorbeeld FusionIO) als RAM gebaseerde oplossingen (bijvoorbeeld Texas Memory Systems) véél duurder uitpakken dan een zware machine met 2TB en de juiste licenties.

[ Voor 3% gewijzigd door The Lord op 14-01-2012 12:55 ]

[Tens]

ze waren er wel, met ddr en ddr2, denk dat ze eigenlijk verdrongen zijn door ssd's

http://www.engadget.com/2...sed-ssd-is-snappy-costly/

gigabyte had er ook een.

[Fordox]

laatst waren er nog dat soort dingen uitgekomen, ssd's die werken met ramchips.

volgens mij stond dat deze week in het nieuws van tweakers.net of hardware.info.

was een nieuw concept dat was getoond op het CES

[The Lord]

Uit interesse even gaan rekenen:

Ik ga uit van een 4 CPU 10 core HP ProLiant DL980 G7 en list prices voor zowel hardware als software. Met het juiste contract is er zeker aan de software licenties een hoop te doen.

Windows 2008 R2 Enterprise Open License + SA 2yr:	2,4k€
32GB RAM:	612€
HP 1,2TB PCIe Accelerator:	20k€
Totaal:	23k€

Windows 2008 R2 Datacenter OpenLicense + SA 2yr:	3,5k€/CPU
1TB RAM:	20k€
Totaal:	34k€

Een FusionIO oplossing (die HP Accelator) is dus 10k€ goedkoper. Er zitten alleen wel een paar maren aan:

• Het geheugen wordt enkel aangesproken als het geheugen nodig is en dan levert dit heel erg veel overhead op (paging).
• Infrastructuur is niet vergelijkbaar met klant. Prestaties zijn dus niet meetbaar, vergelijkbaar of representatief.
• Het is niet zeker dat de oplossing werkt.

Bij de DC versie heb je ook nog de mogelijkheid met Hyper-V VM's te werken. Deze VM heeft dan max 32GB, maar je kan er wel grofweg 31 simultaan draaien met elk 1 SQL instance die de volle 32GB tot zijn beschikking heeft.

Of je draait instances direct op de DC versie. Dan heb je tot 1TB tot je beschikking voor een intance; dan zullen de andere instances natuurlijk wel gestopt moeten worden.

Zo dit bekeken zou ik zeker voor de DC icentie optie gaan.

[3dfx]

Tens schreef op zaterdag 14 januari 2012 @ 12:57:

gigabyte had er ook een.

De Gigabyte i-RAM was juist andersom, namelijk RAM op een PCI-kaart met een SATA-aansluiting.
Soort voorloper van de SSD dus.

nieuws: Gigabyte brengt SATA ramdisk PCI-kaart uit
Wikipedia: i-RAM

[ Voor 7% gewijzigd door 3dfx op 14-01-2012 21:45 . Reden: linkjes ]

[downtime]

Onbekend schreef op zaterdag 14 januari 2012 @ 12:44:
De achtergrond van het verhaal:
Bij ons op het werk ontwikkelen wij software die van databases gebruik maakt [...]
Om alleen voor de RAM-beperking een Enterprise of Datacenterversie van Windows Server 2008 aan te schaffen vinden wij te duur, dus zocht ik naar een goedkopere oplossing.

Ik kan er naast zitten, ben geen licentiespecialist, maar als het alleen voor ontwikkeling & test is dan kun je toch ook gebruik maken van MSDN/Technet licenties voor Windows Enterprise en SQL Server? Dan kost het alleen nog maar de hardware.

[catfish]

voor het snel bewerken van zeer grote bestanden heb ik vroeger nog ramdisks gebruikt
bv VSuite (Romex Software) kan namelijk geheugen aanspreken die Windows niet kan zien "OS Invisible Memory support")
als je 8GB in je pc hebt met Windows 32bit, kan VSuite een ramdisk maken van bv GB 5 tot 8
(daarna kopieerde ik daar het bestand op, editeren, en terug kopieren op de HD)

nu heb ik wel geen ervaring met 2008R2, maar stel dat je 64GB in de server steekt, Windows ziet er maar 32GB (door de limiet) en vervolgens maak je een pagefile van 32 GB in het ongebruikte deel
als je de hardware hebt, test het gewoon eens met de trial
de pagefile geeft wel veel overhead, maar een pagefile op een ramdrive moet nog steeds vrij snel zijn denk ik

als dit zou werken, lijkt het mij veel sneller dan via Sata of PCIe aangezien de memorycontroller toch een stuk sneller is
ik heb wel geen idee hoe stabiel dit is

[ Voor 4% gewijzigd door catfish op 14-01-2012 22:06 ]

[Onbekend]

Tens schreef op zaterdag 14 januari 2012 @ 12:57:
ze waren er wel, met ddr en ddr2, denk dat ze eigenlijk verdrongen zijn door ssd's

http://www.engadget.com/2...sed-ssd-is-snappy-costly/

gigabyte had er ook een.

Ruim € 1000,-- voor 4GB is erg veel. Daarnaast is een uitbreiding van 32GB naar 36GB niet echt om naar huis te schrijven.

Fordox schreef op zaterdag 14 januari 2012 @ 14:18:
laatst waren er nog dat soort dingen uitgekomen, ssd's die werken met ramchips.

volgens mij stond dat deze week in het nieuws van tweakers.net of hardware.info.

was een nieuw concept dat was getoond op het CES

Ik heb op beide sites gezocht, maar in de nieuwsberichten van 2012 niets gevonden wat daar op lijkt.

The Lord schreef op zaterdag 14 januari 2012 @ 21:31:
Uit interesse even gaan rekenen:

[knip]

Een FusionIO oplossing (die HP Accelator) is dus 10k€ goedkoper. Er zitten alleen wel een paar maren aan:

• Het geheugen wordt enkel aangesproken als het geheugen nodig is en dan levert dit heel erg veel overhead op (paging).
• Infrastructuur is niet vergelijkbaar met klant. Prestaties zijn dus niet meetbaar, vergelijkbaar of representatief.
• Het is niet zeker dat de oplossing werkt.

De prestaties zijn inderdaad onbekend, maar ik neem aan dat dat sneller is dan swappen op een 10k of 15k schijf. De prestaties zijn bij ons sowieso niet vergelijkbaar met wat er bij een klant staat. De data van de klant staat bij ons alleen maar om potentiële problemen te ontdekken en op te lossen vóórdat de software wordt uitgeleverd.

Bij de DC versie heb je ook nog de mogelijkheid met Hyper-V VM's te werken. Deze VM heeft dan max 32GB, maar je kan er wel grofweg 31 simultaan draaien met elk 1 SQL instance die de volle 32GB tot zijn beschikking heeft.

Of je draait instances direct op de DC versie. Dan heb je tot 1TB tot je beschikking voor een intance; dan zullen de andere instances natuurlijk wel gestopt moeten worden.

Zo dit bekeken zou ik zeker voor de DC licentie optie gaan.

Ik, als systeembeheerder, zou ook graag meteen voor de Datacenter editie gaan, maar het management is met het prijskaartje niet zo heel erg blij. (Wij hebben nu 6 servers staan, en 16 mensen die van de databases die daarop staan gebruikmaken. Een investering in een server is dus relatief hoog t.o. het aantal mensen die er gebruik van maken.
)

Iva_Bigone schreef op zaterdag 14 januari 2012 @ 21:43:
De Gigabyte i-RAM was juist andersom, namelijk RAM op een PCI-kaart met een SATA-aansluiting.
Soort voorloper van de SSD dus.

nieuws: Gigabyte brengt SATA ramdisk PCI-kaart uit
Wikipedia: i-RAM

Die heeft ook maar 4GB als maximum, maar komt uit 2005. Verder zoeken levert helaas niets op.

downtime schreef op zaterdag 14 januari 2012 @ 21:48:
Ik kan er naast zitten, ben geen licentiespecialist, maar als het alleen voor ontwikkeling & test is dan kun je toch ook gebruik maken van MSDN/Technet licenties voor Windows Enterprise en SQL Server? Dan kost het alleen nog maar de hardware.

Wij hebben alleen de SQL development editie, en die is relatief goedkoop. Van een Windows Server 2008 Development editie heb ik nog niet gehoord. Wel een trialversie, maar na 240 dagen is er toch een licentie nodig.
Heb je misschien een link naar een goedkope Windows Server 2008 Development editie?

catfish schreef op zaterdag 14 januari 2012 @ 22:04:
voor het snel bewerken van zeer grote bestanden heb ik vroeger nog ramdisks gebruikt
bv VSuite (Romex Software) kan namelijk geheugen aanspreken die Windows niet kan zien "OS Invisible Memory support")
als je 8GB in je pc hebt met Windows 32bit, kan VSuite een ramdisk maken van bv GB 5 tot 8
(daarna kopieerde ik daar het bestand op, editeren, en terug kopieren op de HD)

nu heb ik wel geen ervaring met 2008R2, maar stel dat je 64GB in de server steekt, Windows ziet er maar 32GB (door de limiet) en vervolgens maak je een pagefile van 32 GB in het ongebruikte deel
als je de hardware hebt, test het gewoon eens met de trial
de pagefile geeft wel veel overhead, maar een pagefile op een ramdrive moet nog steeds vrij snel zijn denk ik

als dit zou werken, lijkt het mij veel sneller dan via Sata of PCIe aangezien de memorycontroller toch een stuk sneller is
ik heb wel geen idee hoe stabiel dit is

VSuite Ramdisk ga ik eens nader onderzoeken. De website geeft aan dat hij door de limieten van Windows heen kijkt en ook 2008R2 ondersteund. Als dit werkt zoals ze op die website beloven, kan ik gewoon méér RAM erin proppen zonder een PCI Expresskaart te gebruiken of een Datacenter editie aan te schaffen. Dit zal wel aardig wat testwerk kosten.

[downtime]

Onbekend schreef op zondag 15 januari 2012 @ 12:35:
Wij hebben alleen de SQL development editie, en die is relatief goedkoop. Van een Windows Server 2008 Development editie heb ik nog niet gehoord. Wel een trialversie, maar na 240 dagen is er toch een licentie nodig.
Heb je misschien een link naar een goedkope Windows Server 2008 Development editie?

Er is geen aparte Development Edition. Met een MSDN of Technet subscription kun je de reguliere Enterprise en Datacenter edities van Windows Server 2008 gratis downloaden en onbeperkt (het zijn dus geen tijdgelimiteerde trialversies) gebruiken mits alleen voor ontwikkel- en testdoeleinden.

Zo'n subscription kun je zowel prive maar ook als bedrijf afsluiten. Het verschil tussen MSDN en Technet is voornamelijk de doelgroep. MSDN licenties zijn duurder maar bevatten o.m. Windows Server en SQL Server plus Visual Studio. Ze zijn dus geschikt voor ontwikkelaars. Technet licenties zijn goedkoper maar dan krijg je vrijwel alle zakelijke Microsoft producten behalve Visual Studio. Deze zijn interessanter voor beheerders.

Gewoon Googelen op MSDN subscription of Technet subscription en dan vind je alles wat je nodig hebt op de Microsoft site. Er is hier op GoT ook een Technet topic. Wellicht dat er ook wel een MSDN topic is.