Business Intelligence amateur testserver

Pagina: 1
Acties:

  • WouterMertens
  • Registratie: November 2012
  • Laatst online: 17-09-2024
De bedoeling is om een betaalbaar business intelligence testsysteem te bouwen. Het budget is beperkt dus met consumentenhardware. Ik heb zelf al redelijk wat opzoekwerk gedaan (voor mijn kennisniveau dan toch) en je vind veel info voor gaming of grafisch gerichte systemen, maar relatief weinig voor het soort toepassing waar ik een oplossing voor zoek.

(Dit is mijn eerste post, dus laat weten als dit beter ergens anders staat, of als ik iets anders mis doe)

Voorbeelden van installatie setups:
* IBM Cognos BI + MS Server 2008 + SQL Server
* IBM Cognos TM1 + MS Server 2008
* Pentaho BI Suite + PostgreSQL + Ubuntu Server
* Pentaho BI Suite + Hadoop + Ubuntu Server

Redelijk verschillende dingen dus waarbij de volgende zaken wel belangrijk zijn:
* 32GB geheugen is een minimum voor wat ik van plan ben
* data disks moeten snel kunnen volgen, gelijktijdig lezen en schrijven is minder belangrijk dan lees en schrijfsnelheid apart, 4*1TB zou voldoende moeten zijn (2 toepassingen, 1 bron, 1 doel)
* een SSD voor OS en de software zelf
* de CPU zal redelijk wat processing moeten aankunnen, idealiter dual socket omdat je dan toch weer realistischer kan spelen/testen, maar dat krijg ik niet in het budget

Het is een single server opstelling dus het is steeds een samenspel van storage, database engine, etl processing, webserver, front-end tools en rendering, etc.

Typische HW problemen in professionele systemen:
* Disken die niet kunnen volgen bij toepassingen die heel veel data in en uit memory swappen.
* Data die niet snel genoeg van/naar disk geraakt in ETL processen.
* Te weinig geheugen waardoor disk spillage begint te ontstaan.
* ...

Het belangrijkste:
* zoveel mogelijk snelheid doorheen de keten (CPU, MB, geheugen, schijven) voor het budget
* maximaal 2000 euro (voor MB, CPU, geheugen, storage, koeling, kast)

Wat is nog belangrijk:
* een kast die tegen een stootje kan
* koeling in de zin dat het systeem meerdere uren op 100% kan draaien zonder problemen bij woonkamertemperatuur
* relatief betrouwbaar ( voor zover mogelijk)

Wat is er niet belangrijk:
* geluidsniveau
* stroomverbruik
* videokaart
* overklokken (geen ervaring)


Volgende systemen heb ik zelf samengsteld:

Optie I: 2011 based:

#ProductPrijsSubtotaal
1Intel Core i7-5820K Boxed€ 364,85€ 364,85
1Asus X99-A€ 233,-€ 233,-
1Asus HD5450-SL-HM1GD3-L-V2€ 23,87€ 23,87
4WD Black SATA 6 Gb/s WD1003FZEX, 1TB€ 69,50€ 278,-
1Corsair Obsidian 550D€ 118,50€ 118,50
1Corsair Hydro H110€ 109,90€ 109,90
1Corsair Vengeance LPX CMK32GX4M4A2666C16€ 506,25€ 506,25
1Asus DRW-24F1ST Zwart€ 14,95€ 14,95
1Corsair AX860i€ 178,-€ 178,-
1Samsung 840 EVO 250GB€ 111,80€ 111,80
Bekijk collectie
Importeer producten
Totaal€ 1.939,12


Optie II: 1150 Based:
#ProductPrijsSubtotaal
1Intel Core i7-4790 Boxed€ 279,90€ 279,90
1Asus Z97-K€ 107,50€ 107,50
4WD Black SATA 6 Gb/s WD1003FZEX, 1TB€ 69,50€ 278,-
1Corsair Obsidian 550D€ 118,50€ 118,50
1Corsair Hydro Series H60€ 74,-€ 74,-
1Corsair Vengeance Pro Series CMY32GX3M4A1866C9€ 331,30€ 331,30
1Asus DRW-24F1ST Zwart€ 14,95€ 14,95
1Corsair AX860i€ 178,-€ 178,-
1Samsung 840 EVO 250GB€ 111,80€ 111,80
Bekijk collectie
Importeer producten
Totaal€ 1.493,95


Waar zit ik nu nog mee?
- Zie ik mogelijkheden of combinaties over het hoofd die mss. beter zijn?
- Ga ik in de praktijk een groot verschil merken tussen de 1150 en de 2011 setup (toch bijna 500 euro verschil)
- Mis ik ergens cruciale punten die bottlenecks gaan vormen (en die kunnen vermeden worden)

Alvast bedankt voor elke feedback.

  • Mr_gadget
  • Registratie: Juni 2004
  • Laatst online: 15:12

Mr_gadget

C8H10N4O2 powered

Veel CPU power schijnt wel belangrijk te zijn voor Hadoop:
http://docs.hortonworks.c...e/content/conclusion.html

  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 11:01

The Eagle

I wear my sunglasses at night

Mijn vraag aan jou: wil je simpelweg wat ervaring met BI tooling op doen, of wil je er echt meer mee?
Als je simpelweg wat ervaring op wilt doen doet snelheid er niet echt zo toe.
Ik heb zelf een aantal VM's met BI spul draaien en die draaien allemaal met 4GB ram en wat beperkte (dynamische) diskspace. Voor Big Data oplossingen (Hadoop en co) wil je mogelijk wat meer opslag, maar om er mee te prutsen heb je ect niet zoveel nodig :)

Wat ik je iig aan kan raden is eens te kijken naar de VM's die aangeboden worden voor Oracle OBIEE de zgn SampleApp omgeving) en naar Cloudera's sandbox VM. Beiden kun je in Virtualbox draaien. Heb je echt niet zoveel power voor nodig :)
Draai je ze van een SSD dan profiteren de VM's daar flink van, dus als ik het zou moeten zeggen is het simpelweg een i7 of Xeon E5 met een SSD en 32 GB RAM.

Sidenote: veel van dit soort oplossingen zijn voor weinig ook kant en klaar als cloudoplossing te krijgen. Scheelt je een flinke aanschaf :)

[ Voor 7% gewijzigd door The Eagle op 15-12-2014 22:59 ]

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)