IPMI? Console Server? KVM/IP?

[bartvb]

We hebben een rack in Amsterdam staan met een stuk of 10 servers, allemaal Linux/FreeBSD machines. Op dit moment zijn die machines alleen te managen via SSH en via een APC Remote Power Switch. Da's op zich voldoende voor de meeste problemen maar met b.v. grote stroomstoringen of vreemde hardware problemen is het erg handig om een remote console te hebben, o.a. om de kernel panic te kunnen bekijken, bios settings aan te kunnen passen (een server had de 'on after power off' niet aan staan :\) en de server door fsck achtige problemen heen te helpen.

Er lijken drie opties te zijn;

• KVM over IP
• Console Server (serial consoles)
• IPMI (lights-out management, SMSC, etc)

De vraag is nu; wat is wijsheid?

De belangrijkste requirements zijn:

• Kosten, 3000 euro voor een oplossing is echt te gortig
• History. Als een server plat gaat terwijl je niet remote ingelogd bent is het prettig om te zien hoe de kernel panic er uit zag.
• Rechten. Je wilt niet dat iedereen op alle servers kan komen, rechten structuur is vrij eenvoudig, wij toegang tot alles en een paar grote klanten met toegang tot hun server.
• Te gebruiken zonder rare software op de client, liefst ook via PDA e.d.

KVM/IP lijkt eigenlijk al meteen af te vallen. We hebben ook alleen maar unix bakken hangen dus tekst is meer dan voldoende (en ook beter). Meeste KVM oplossingen hebben geen history mogelijkheid, hoog bandbreedte gebruik (niet handig met PDA over GPRS/UMTS) en KVM/IP is over het algemeen duur en je krijgt er ook nog een enorme kabel wirwar door

Blijven over Console Server en IPMI. IPMI klinkt interessant, ik ben er alleen nog niet achter gekomen of je daar een soort vorm van history ondersteuning hebt? Remote power on functionaliteit is handig als iemand weer vergeet dat 'power on' ding in het BIOS vergeet aan te zetten Remote hardware/software beheer is voor ons niet zo nodig. Als dat werkt werkt SSH ook. Kosten lijken zo tussen de 70 en 150 euro per server te zitten. Grootste nadeel is dat niet alles machines IPMI-baar zijn. Vooral de goedkope webservertjes doen niet aan IPMI maar dit zijn ook meteen de minst kritieke machines. Als daar iets echt mee fout gaat kunnen we die ook redelijk snel uitzetten en de IPs over pakken op een andere machine.

Console Server, op zich een behoorlijk universele oplossing, goed geschikt voor onze (unix only) setting, wel behoorlijke 1970 technologie Grootste nadeel is dat je geen remote power on hebt (maar dat is op te vangen met Wake-up On Lan) en dat je op de goedkope machines niet via serieel bij je BIOS kan komen. Komt op iets van 700 euro voor een 16 poorts oplossing als http://www.aten.com/produ...0725007&layerid=subClass1

Concrete vragen:
Zijn er mensen met ervaringen met IPMI? Heeft dit history support? Werkt het concept een beetje?
Wat zijn andere specifieke voor-/nadelen van de genoemde oplossingen?
Ervaringen met Console Servers? Punten waar je op moet letten, merken/types waar je goede ervaringen mee hebt?

[ Voor 0% gewijzigd door bartvb op 02-10-2006 10:38 . Reden: IMPI = IPMI ]

[Asteroid9]

IMPI? Volgens mij moet ik eens druk gaan zoeken, IPMI ken ik wel en gebruik ik dagelijks maar volgens mij bedoel je wat anders?

[bartvb]

Ah, je hebt gelijk Suffe afkortingen ook

Ik bedoel IPMI:
http://www.intel.com/design/servers/ipmi/index.htm
Ff post fixen, thanks.

Als een mod zo vriendelijk zou willen zijn ook de topic titel te veranderen? Thanks

[ Voor 24% gewijzigd door bartvb op 02-10-2006 10:39 ]

[Abom]

Welke servers heb je eigenlijk? Ik weet dat HP's lights-out boards standaard text-based remote console access toestaat (zonder de aanschaf van een advanced licentie).

Volgens mij gebruiken ze bij Tweakers een console-server, hun oplossing zag er degelijk en betaalbaar uit.

[ Voor 24% gewijzigd door Abom op 02-10-2006 10:42 ]

[bartvb]

De nieuwere servers zijn allemaal Tyan based, daar is een insteekkaart nodig voor IPMI, de oudere of goedkopere servers doen helemaal niet aan IPMI of iets dat daar op lijkt.

Tweakers gebruikt een Aten LCD console + KVM/IP:
plan: Serverpark uitbreidingen

Mijn gok is dat die niet onder de 3000 euro zit. Ingebouwde LCD console e.d. is voor ons ook complete overkill. Als we een keer hands-on bezig zijn dan rijden we er wel even een console heen die altijd wel aanwezig is in een datacenter.

[Asteroid9]

OK, IPMI dus...

Wij gebruiken IPMI vooral voor OS-independent hardware monitoring.
Onze standaard is de Dell 1850 en 2850, die hebben een BMC card die IPMI ondersteunt.
Via een scriptje pollen we regelmatig de hardware event logs, maar voor console toepassingen hebben we een KVM/IP switch.
Power cycles / resets kunnen wel via IPMI en doen we ook wel eens.

Console redirection zou inderdaad mogelijk moeten zijn, er staan instellingen vermeld.
We hebben het echter nooit zelf gebruikt. Ik zal het wel eens gaan testen, de KVM switches raken namelijk ook vol...

[mookie]

Als je gewoon zorgt dat je je console via een seriele poort laat lopen?
Das toch standaard?
Ik ben geen unix/linux man maar je kunt er wel gewoon een IP terminal server aanhangen.
Ons netwerk team had altijd modems met auto-answer op de switches hangen zodat zij remote konden inbellen op de switches/routers.

kijk maar eens op www.moxa.com
Die hebben apparaatjes met een seriele poort en een netwerkkabel.
Dan kun je inbellen naar een IP adres (kan echt, zelfs het hyperterminal) en dan zit je direct op die seriele poort te koekeloeren.
Tis gewoon een modem maar dan met een netwerkkaart ipv een analoge aansluiting.
Je hebt al simpele kastjes voor nog zo'n 60 euro per stuk.

[bartvb]

Dat is wat ik onder de console servers versta. Dit is momenteel de meest waarschijnlijke kandidaat, ik ben dus erg benieuwd naar ervaringen met betaalbare hardware. Op tweakers staat een review van een Cyclades doos: reviews: Cyclades Alterpath console server nader bekeken maar dat is me wat te gortig. Die dingen komen al snel op 2500,- uit (en zijn slecht leverbaar in NL lijkt het) en ze kunnen veel te veel Of ja, veel kunnen is geen probleem maar je betaalt er dik voor zo te zien.

[mookie]

Of wat je kan doen is de seriele poorten van je servers aan elkaar leggen met null-modem kabels.
Dan kan je op je ene server via een seriele poort de console van de andere uitlezen.
Of is dit te futuristisch?

[ACM]

bartvb schreef op maandag 02 oktober 2006 @ 10:49:
Mijn gok is dat die niet onder de 3000 euro zit. Ingebouwde LCD console e.d. is voor ons ook complete overkill. Als we een keer hands-on bezig zijn dan rijden we er wel even een console heen die altijd wel aanwezig is in een datacenter.

Zo vreselijk duur was het nou ook weer niet Hoewel ik het uiteindelijke bedrag niet meer weet, er zijn een paar grote shops in nederland waar je de prijs kan vinden.

bartvb schreef op maandag 02 oktober 2006 @ 21:05:
Dat is wat ik onder de console servers versta. Dit is momenteel de meest waarschijnlijke kandidaat, ik ben dus erg benieuwd naar ervaringen met betaalbare hardware. Op tweakers staat een review van een Cyclades doos: reviews: Cyclades Alterpath console server nader bekeken maar dat is me wat te gortig. Die dingen komen al snel op 2500,- uit (en zijn slecht leverbaar in NL lijkt het) en ze kunnen veel te veel Of ja, veel kunnen is geen probleem maar je betaalt er dik voor zo te zien.

Die we toen gereviewed en een tijdje gebruikt hebben ligt al een tijdje op kantoor te verstoffen en vziw willen we hem nog altijd een keertje verkopen. Als je geinteresseerd bent weet je mijn mail/msn-adres
Maar ook voor die gold dat ie vziw niet _zo_ duur was als jij nu zegt
Cyclades verkocht ze destijds ook zelf in nederland, dat is iig hoe wij er aan kwamen.

[ACM]

bartvb schreef op maandag 02 oktober 2006 @ 10:49:
Tweakers gebruikt een Aten LCD console + KVM/IP:
plan: Serverpark uitbreidingen

Mijn gok is dat die niet onder de 3000 euro zit. Ingebouwde LCD console e.d. is voor ons ook complete overkill. Als we een keer hands-on bezig zijn dan rijden we er wel even een console heen die altijd wel aanwezig is in een datacenter.

Hier nog wat rechtzetten trouwens:
Onze opstelling bestaat uit drie delen:
- 16 prts kvm-switch + LCD-panel
- 16 prts kvm-switch
- kvm-over-ip

Die twee kvm-switches zijn gedaisychained aan elkaar met de lcd-kvm als master. De kvm-over-ip gebruikt domweg de extra kvm-uitgang van de kvm-switch op de lcd-kvm om dat te forwarden. In principe heb je die lcd-kvm helemaal niet nodig voor dezelfde remote-access. En dan ben je voor zo'n 1200-1400 euro wel klaar voor 16 prts.
Voordeel voor ons van deze opstelling is dat het lekker simpel werkt en een en ander relatief goedkoop is en je dan compleet klaar bent inclusief een lcd-panel, nadeel is dat de kvm-module geen aparte restricties op de toegang tot de servers biedt tov de kvm-lcd-panel zelf en er in totaal ook maar een server tegelijk bediend kan worden (nouja, een remote en een lokaal).
Voor ons is hooguit dat tweede een klein nadeel, we hebben maar twee beheerders en die mogen bij alle servers komen. Over het algemeen hebben nooit dat er twee servers tegelijk via de kvm bediend moeten worden, dus dat eerste nadeel valt ook wel mee

Andere oplossingen (digitale kvm's vziw) bieden veel meer access control, maar zijn mogelijk wel wat duurder. Maar ook die regel je wel voor onder de 3000 euro voor 16 of 24 poorten als ik me de prijzen goed herinner. Het hangt er o.a. van af hoeveel users je tegelijk aan het werk wilt kunnen hebben.

[bartvb]

Die cyclades is erg moeilijk te vinden in NL. Dit is een van de weinige sites met prijzen:

http://netoord.nl/?q=cyclades-ts

Ook nog een andere shop aangeschreven en die willen meteen weten wat ik allemaal doen en of ze een telefoonnummer mogen hebben zodat hun verkoper kan bellen *zucht* Bij netoord.nl staat de 16 poorts Cyclades op 2700,- en dat is zonder kabels...

16 poorts KVM/IP oplossing met LCD:
http://www.sallandautomatisering.nl/?pid=23213&ref=2
2100,- euro

Zonder LCD zit idd op iets van 800 euro:http://tweakers.net/pricewatch/139112/Altusen-SN0116-KVM-Switch-(16-Ports-10-100Mbps)-prijzen.html

Alleen is KVM/IP niet heel erg handig voor ons aangezien we alleen console access nodig hebben en ook graag via GSM onderhoud willen kunnen doen mocht dat nodig zijn.

Het wordt dus denk ik een console server, andere voordeel daarvan is ook dat de incentive dan groter is om fatsoenlijke server moederborden te gebruiken (die console BIOS access ondersteunen ).

Alles aan elkaar plakken met 2 seriele poorten per server en een hoop nullmodem kabels is idd een optie maar nogal een nachtmerrie wat onderhoud, kabels en administratie betreft. Je moet dan constant duidelijk hebben welke server aan welke andere server hangt en je rack wordt ook een enorme puinhoop We hebben op die manier console access al wel een tijd getest, twee servers hingen aan elkaar met twee nullmodem kabels, dat werkte erg prettig zeker toen een van de twee kuren kreeg...

Iedereen iig erg bedankt voor de info en we gaan eens nadenken over het overnemen van die Cyclades Beetje zonde als die bij jullie stof ligt te verzamelen.

[Tomsworld]

IPMI en FreeBSD zijn gekend problemen mee, dat zou ik zeker meenemen in je vergelijking, voor de rest ken ik ook het merk raritan dat zowel power, serial als kvm over ip doet.

http://www.ecst.csuchico....X/IPMI/ipmi-on-linux.html

[ElbY]

Goedkopere oplossing dan Cyclades is de Moxa Nport 6000 series.

Deze kunnen wel de SSH encryptie aan (hardwarematig) maar omvat niet de overhead die Cyclades wel heeft.

Voor jullie gemak hierbij de link:

http://www.modelec.eu/range/Serieel_naar_ethernet.htm

NPort 6000 series staan onderaan de pagina

[Koffie]

bartvb schreef op maandag 02 oktober 2006 @ 10:29:
[..]
Blijven over Console Server en IPMI. IPMI klinkt interessant, ik ben er alleen nog niet achter gekomen of je daar een soort vorm van history ondersteuning hebt? Remote power on functionaliteit is handig als iemand weer vergeet dat 'power on' ding in het BIOS vergeet aan te zetten
[..]
Console Server, op zich een behoorlijk universele oplossing, goed geschikt voor onze (unix only) setting, wel behoorlijke 1970 technologie Grootste nadeel is dat je geen remote power on hebt (maar dat is op te vangen met Wake-up On Lan)

Ik snap even niet waarom je blijft hameren op dat remote power on/off, als je al een APC Remote Power Switch hebt ?

[Powermage]

Altussen levert al een 12 poorts ip kvm voor onder de 1500 euro, appaaraat werkt erg mooi, en verbruikt stukken minder trafic dan je zou denken (umts is volgens mij werkbaar maar zal het vanmiddag eens testen) het enige is idd dat je geen 'log' functie heb.
ook kan je op het apparaat verschillende users rechten geven op verschillende machines

mocht je wat meer info willen erover (gebruik er 1) stuur een mailtje naar mijn nickname at solcon.nl

[bartvb]

Koffie; traumatje met een server die niet op 'power on after power fail' stond

Er is inmiddels een Altussen (serial) console server aangeschaft. Iedereen erg bedankt voor de input! De redenen voor de beslissing in het kort:

IPMI geeft nogal wat problemen bij de diverse applicaties.
KVM/IP is wat te duur voor ons gebruik en niet handig bij low bandwidth toepassingen
Serial console is een goed excuus om fatsoenlijke server moederborden te kopen in het vervolg