Het grote multisocket-servertopic

Pagina: 1
Acties:

  • itcouldbeanyone
  • Registratie: Augustus 2014
  • Laatst online: 29-07 20:40
Het grote multisocket-servertopic
Dual-socket, multisocket, big iron en klassieke enterprisehardware
Show your server • Deel je configuratie • Houd bijzondere hardware in leven
Supermicro SBI-7228R-T2X bladeserver met twee dual-CPU-nodes
Supermicro SBI-7228R-T2X met twee dual-CPU-nodes — foto: Dmitry Nosachev, CC BY-SA 4.0, via Wikimedia Commons.


Welkom
Welkom in het centrale topic voor dual- en multisocketservers, klassieke enterprisehardware en andere vormen van big iron. :)

Dit topic is bedoeld voor het tonen, bespreken en in stand houden van multisocket-enterprisehardware. Laat je server, rack, restauratieproject, verzameling of bijzondere machine zien, maar stel hier ook gerust technische vragen en deel je ervaringen, tips en oplossingen.

Nieuwe hardware is welkom, maar oudere en afwijkende systemen krijgen hier eveneens de ruimte. Denk bijvoorbeeld aan:
  • Dual-, quad- en multisocket Intel Xeon-systemen.
  • AMD Opteron-servers uit het vroege 64-bit-tijdperk.
  • Sun-, IBM-, HP-, SGI-, DEC- en Fujitsu-systemen.
  • SPARC-, POWER-, PA-RISC-, MIPS-, Alpha- en Itanium-machines.
  • Bladecenters, deskside-servers, towers en complete racks.
  • Moderne dual-socket Intel Xeon Scalable- en AMD EPYC-systemen.
Het systeem hoeft niet snel, stil, compact of zuinig te zijn. Oud, zwaar, luidruchtig, zeldzaam en volkomen onpraktisch mag juist ook. :D

Als het interessante enterprisehardware is, willen we het zien én erover praten. ;)


Waar draait dit topic om?

Dit topic biedt ruimte voor onder andere:
  • Showcases van complete servers, racks en bijzondere configuraties.
  • Aankoopadvies voor nieuwe en gebruikte enterprisehardware.
  • Compatibiliteit van processors, geheugen, risers en uitbreidingskaarten.
  • Firmware-, BIOS-, BMC- en remote-managementvragen.
  • Opslagcontrollers, backplanes, schijven en disk shelves.
  • Netwerkkaarten, Fibre Channel, InfiniBand en andere interconnects.
  • Koeling, geluidsproductie, stroomverbruik en fanprofielen.
  • Virtualisatie, besturingssystemen en NUMA-optimalisatie.
  • Restauraties, reparaties, modificaties en upgrades.
  • Tips voor moeilijk verkrijgbare onderdelen, rails, caddies en kabels.
Plaats bij een showcase bij voorkeur foto's, specificaties en het verhaal achter de machine. Bij technische vragen helpen duidelijke hardwaregegevens, firmwareversies, foutmeldingen en reeds uitgevoerde tests om sneller tot een oplossing te komen.

Dit topic vormt de tegenhanger van Het grote zuinige server topic.

Inhoudsopgave
Show your serverScope van het topicPlatformen en architecturenHardware en techniekProjecten en restauratieTopicregels

Show your server
Laat je hardware zien
De showcases vormen het belangrijkste onderdeel van dit topic.

Een enkele foto is al welkom, maar een uitgebreidere presentatie is natuurlijk nog interessanter. :) Denk aan:
  • Een overzichtsfoto van de complete server.
  • Foto's van de voor- en achterkant.
  • Een kijkje onder de kap.
  • Het moederbord, de processors en het geheugen.
  • Bijzondere risers, backplanes en controllers.
  • Het rack of de ruimte waarin het systeem staat.
  • Opstartschermen, consoles en managementinterfaces.
  • Originele documentatie, badges en accessoires.
Vertel ook hoe je aan het systeem bent gekomen. Was het een afgeschreven productieserver, een Marktplaats-vondst, een werkproject of al jarenlang onderdeel van je verzameling?
OnderdeelWat kun je vertellen?
Het verhaalHerkomst, leeftijd, eerdere toepassing en waarom je deze machine hebt.
De hardwareProcessors, sockets, geheugen, controllers, opslag en netwerk.
De softwareBesturingssysteem, hypervisor, firmware en toepassingen.
De ervaringGeluid, warmte, stroomverbruik, problemen en bijzonderheden.
De foto'sBuitenkant, binnenkant, rack, console en opvallende details.
Showcase-sjabloon
Gebruik dit sjabloon als uitgangspunt voor je server-showcase. Niet ieder veld hoeft te worden ingevuld.
Merk en model
Bouwjaar of generatie
VormfactorRack, tower, blade, deskside of anders
Architectuurx86, SPARC, POWER, PA-RISC, MIPS, Alpha, IA-64 of anders
Aantal CPU-sockets
Geplaatste processors
ECC-geheugenCapaciteit, type en configuratie
Opslagcontrollers
Opslag
Netwerk en interconnects
Remote managementiLO, iDRAC, IPMI, ALOM, serial console of anders
Besturingssysteem
Huidig gebruik
Herkomst
StroomverbruikIdle en onder belasting, indien bekend
Geluid en koeling
Reparaties en upgrades
Bijzonderheden
Foto'sOverzicht, binnenkant en opvallende details

Bij oudere of zeldzame systemen is het begrijpelijk dat niet alle specificaties of verbruiksgegevens meer beschikbaar zijn. Foto's en het verhaal achter de machine zijn minstens zo belangrijk. :)
Soorten showcases
Moderne multisocketserverRecente Xeon Scalable- en AMD EPYC-systemen.
Opteron-systeemDual-, quad- of acht-socket AMD Opteron-hardware.
Xeon/Pentium systeemIntel-hardware met twee, vier, acht of meer sockets.
UNIX-systeemSPARC, POWER, PA-RISC, MIPS, Alpha en andere architecturen.
Datacenter-dinosaurusGrote, zware en energiehongerige systemen.
ThuisrackComplete racks, homelabs en serverruimtes.
RestauratieprojectReparaties, restauraties en geredde hardware.
Scope van het topic
Minimumeisen
Voor x86-servers gelden de volgende harde minimumeisen:
OnderdeelEis
CPU-socketsHet systeem of moederbord is ontworpen voor minimaal twee fysieke processors.
GeheugenECC-geheugen is een must.
PlatformHet betreft echte server- of enterprisehardware.
Een dual-socketmoederbord valt ook binnen het topic wanneer momenteel slechts één socket is gevuld. Het platform zelf moet wel voor minimaal twee fysieke processors zijn ontworpen.

Kort samengevat

Minimaal twee fysieke CPU-sockets en een echt enterpriseplatform.

Het aantal cores alleen is niet bepalend.
Wat valt buiten dit topic?
De volgende systemen vallen buiten de scope:
  • Intel Core i7- en Core i9-systemen.
  • AMD Ryzen-systemen.
  • AMD Threadripper- en Threadripper Pro-systemen.
  • Single-socket Intel Xeon-systemen.
  • Single-socket AMD EPYC-systemen.
  • Gaming-pc's en gewone desktops die als server worden gebruikt.
  • Consumentenmoederborden waarop ECC toevallig functioneert.
  • NUC's, mini-pc's en compacte single-socketsystemen.
  • Single-socketworkstations, ongeacht het aantal cores.
Een systeem met tientallen of zelfs meer dan honderd cores kan indrukwekkend zijn, maar valt buiten dit specifieke topic wanneer het een single-socketplatform betreft.

Afwijkende architecturen en CPU-modules
Niet ieder enterpriseplatform gebruikt verwisselbare processors in normale sockets.

Systemen met meerdere CPU-modules, processorboards, processorbooks of vast gemonteerde processors zijn welkom wanneer zij functioneel een multiprocessorsysteem vormen.

Hieronder vallen bijvoorbeeld bepaalde:
  • Sun SPARC-systemen.
  • IBM POWER- en pSeries-systemen.
  • HP 9000- en Integrity-systemen.
  • SGI-systemen.
  • DEC AlphaServers.
  • Fujitsu-enterprisesystemen.
Platformen en architecturen
De onderstaande lijsten zijn niet volledig. Zeldzame, afwijkende en minder bekende enterpriseplatformen zijn juist welkom.

Klassieke Intel Xeon-platformen
Oudere Intel-platformen vormen een belangrijk onderdeel van dit topic.

Denk bijvoorbeeld aan:
  • Pentium Pro-multiprocessorsystemen.
  • Pentium II Xeon en Pentium III Xeon.
  • Xeon DP- en Xeon MP-platformen.
  • NetBurst Xeon-servers.
  • Intel Xeon 5000-, 5100-, 5200- en 5400-series.
  • Intel Xeon 5500- en 5600-series.
  • Intel Xeon 6500- en 7500-series.
  • Intel Xeon E5-2600- en E5-4600-platformen.
  • Intel Xeon E7-platformen.
Servers uit deze generaties zijn interessant vanwege hun bouwkwaliteit, grote geheugenconfiguraties, PCI-X-slots, SAS-backplanes en typische datacenterontwerpen.

Plaats vooral ook machines die technisch verouderd zijn, maar historisch of esthetisch interessant blijven.
Supermicro X8DA3 dual-socket Xeon-moederbord
Supermicro X8DA3 met twee LGA1366-sockets voor Intel Xeon — foto: Rainer Knäpper, Free Art License, via Wikimedia Commons.
AMD Opteron
AMD Opteron hoort nadrukkelijk thuis in dit topic.
Supermicro H8DCL-6F dual-socket Opteron-moederbord
Supermicro H8DCL-6F met twee Socket C32-posities voor AMD Opteron — foto: Rainer Knäpper, Free Art License, via Wikimedia Commons.
Welkom zijn onder andere:
  • Opteron 200- en 800-series.
  • Socket 940-systemen.
  • Dual-socket Opteron 2xxx-platformen.
  • Quad- en acht-socket Opteron 8xxx-systemen.
  • Socket F-platformen.
  • Socket G34-platformen.
  • Opteron 6100-, 6200- en 6300-series.
  • Magny-Cours-, Interlagos- en Abu Dhabi-systemen.
Opteron-systemen waren belangrijk voor de overgang naar 64-bit x86, geïntegreerde geheugencontrollers en NUMA-architecturen.

Ook machines die tegenwoordig vooral nog als verzamelobject, retroserver of restauratieproject dienen, zijn welkom.

Moderne Xeon- en EPYC-systemen
Moderne systemen mogen uiteraard ook worden getoond en besproken.

Voorbeelden:
  • Intel Xeon E5 v3- en v4-systemen.
  • Intel Xeon Scalable Bronze, Silver, Gold en Platinum.
  • Dual-socket AMD EPYC 7001-, 7002- en 7003-systemen.
  • Dual-socket AMD EPYC 9004- en latere enterpriseplatformen.
  • Moderne compute-, storage- en GPU-servers.
De nadruk blijft liggen op complete systemen, bijzondere configuraties, praktijkervaringen en foto's.

Een kale lijst met benchmarkresultaten zonder verdere context is minder interessant dan een uitgebreide hardware-showcase.

RISC, UNIX en big iron
Niet-x86-systemen zijn bijzonder welkom. 8)
Sun Fire 6800
Sun Fire 6800 — foto: NapoliRoma, CC BY-SA 3.0.
SGI dual-CPU-board met twee MIPS R10000-processors
SGI dual-CPU-board met twee MIPS R10000-processors — foto: Mister_rf, CC BY-SA 4.0.
ArchitectuurFabrikantenVoorbeelden
SPARCSun en FujitsuSPARCstation, Sun Enterprise, Sun Fire en SPARC Enterprise.
POWERIBMRS/6000, pSeries, System p en Power Systems.
PA-RISCHPHP 9000-servers en workstations.
MIPSSGI en andere fabrikantenChallenge-, Origin- en andere SGI-systemen.
AlphaDEC en CompaqAlphaServer- en AlphaStation-systemen.
ItaniumHP, SGI en andere OEM'sIntegrity-, Altix- en vergelijkbare IA-64-systemen.
Ook minder bekende architecturen, proprietary UNIX-machines en bijbehorende terminals of storage-uitbreidingen mogen worden getoond.

Vermeld bij deze systemen bij voorkeur ook:
  • De exacte architectuur en processorgeneratie.
  • Het oorspronkelijke besturingssysteem.
  • Welke media, consoles of adapters nodig zijn.
  • Of documentatie en firmware nog beschikbaar zijn.
  • Welke onderdelen moeilijk te vinden zijn.
Hardware en techniek
ECC-geheugen
Geheugen is bij enterpriseplatformen vaak net zo kenmerkend als de processors zelf.
Afhankelijk van de generatie en architectuur kunnen verschillende soorten geheugen worden gebruikt.

Veelvoorkomende varianten zijn:
  • ECC SDRAM en Registered SDRAM.
  • DDR ECC Registered.
  • DDR2 ECC Registered en FBDIMM.
  • DDR3 ECC RDIMM en LRDIMM.
  • DDR4 ECC RDIMM en LRDIMM.
  • DDR5 ECC RDIMM en andere servervarianten.
  • Proprietary geheugenmodules, memoryboards en memory-cartridges.
Micron 64 GiB DDR5-4800 ECC RDIMM uit 2024
Micron 64 GiB DDR5-4800 ECC RDIMM uit 2024 — foto: PantheraLeo1359531, CC BY 4.0, via Wikimedia Commons.
Bij multisocketsystemen is de plaatsing van het geheugen vaak belangrijk.
Geheugenbanken kunnen aan een specifieke processor zijn gekoppeld en moeten volgens vaste population rules worden gevuld.

Deel gerust informatie over compatibiliteit, population rules, rankconfiguraties, kanaalverdeling, interleaving, NUMA-verdeling, maximale capaciteit en moeilijk verkrijgbare geheugenmodules.

Foto's van volledig gevulde geheugenbanken worden bovengemiddeld gewaardeerd. :9

Opslag en controllers
Geschikte onderwerpen zijn onder andere:
  • SCSI, Fibre Channel, SAS, SATA en NVMe.
  • Hardware-RAIDcontrollers en cachemodules.
  • Host Bus Adapters en IT-mode.
  • Hot-swap cages en backplanes.
  • Disk shelves en externe storage-arrays.
  • Tape-units en tape-libraries.
  • CD-, DVD-, magneto-optische en andere oudere opslagmedia.
  • Proprietary drive caddies en interposers.
  • ZFS, Ceph en andere software-defined storage-oplossingen.
DPT PM3755U2B full-length Ultra2 Wide SCSI RAID-controller
Full-length DPT PM3755U2B Ultra2 Wide SCSI RAID-controller — foto: Dmitry Nosachev, CC BY-SA 4.0, via Wikimedia Commons.
Oude systemen met SCSI-schijven, differential interfaces of moeilijk verkrijgbare caddies zijn uitdrukkelijk welkom.

Netwerk en interconnects
Van klassiek Ethernet tot moderne datacenterverbindingen:
  • 10Mbit-, 100Mbit- en gigabit-Ethernet.
  • FDDI, Token Ring en andere historische netwerken.
  • 10, 25, 40, 50, 100 en 200Gbit/s Ethernet.
  • Fibre Channel.
  • InfiniBand.
  • HIPPI en andere high-performance interconnects.
  • OCP-, mezzanine- en proprietary netwerkkaarten.
  • Clusterinterconnects en NUMA-links.
QLogic QLE2562 dual-port 8Gb Fibre Channel HBA
QLogic QLE2562 dual-port 8Gb Fibre Channel HBA — foto: Dmitry Nosachev, CC BY-SA 4.0, via Wikimedia Commons.
Ook switches, DAC-kabels, transceivers, glasvezel en compatibiliteitsproblemen mogen worden besproken wanneer deze direct bij de serverconfiguratie horen.

Remote management
Enterprisebeheer is een interessant onderdeel van een server-showcase.

Denk aan:
  • Dell DRAC en iDRAC.
  • HP Remote Insight Board en iLO.
  • IBM RSA en XClarity.
  • Fujitsu iRMC.
  • Supermicro IPMI.
  • Sun ALOM en ILOM.
  • Serial consoles en managementterminals.
  • LCD-panelen en front-panel diagnostics.
IBM 73P9265 Remote Supervisor Adapter
IBM 73P9265 Remote Supervisor Adapter voor out-of-band beheer — foto: htomari, CC BY-SA 2.0, via Wikimedia Commons.
Onderwerpen zoals licenties, firmware, sensoren, fancontrol, virtual media en remote consoles passen binnen dit topic.

Plaats gerust screenshots, maar verwijder IP-adressen, serienummers, hostnames en andere gevoelige informatie.

Stroomverbruik, koeling en geluid
Dit is niet het zuinige-servertopic, maar stroomverbruik blijft interessante informatie.
Dual-Xeon HP ProLiant met twee heatpipe-koelers en een hot-swap fanwall
Dual-Xeon HP ProLiant met twee heatpipe-koelers, geheugenbanken en een hot-swap fanwall — foto: Pete, CC BY 2.0, via Wikimedia Commons.
Vermeld bij voorkeur:
  • Idle-verbruik.
  • Verbruik tijdens normale belasting.
  • Maximaal gemeten verbruik.
  • Aantal en vermogen van de voedingen.
  • Netspanning en gebruikte aansluitingen.

Waarschuwing

Rackservers kunnen extreem luid zijn. :o Grote systemen kunnen daarnaast een 16A,32A aansluiting of meerdere stroomgroepen vereisen.

Controleer dit voordat je een systeem aansluit.
Projecten en restauratie
Restauratie en behoud
Restauratieprojecten zijn een belangrijk onderdeel van dit topic.

Laat bijvoorbeeld zien:
  • Hoe je een systeem hebt schoongemaakt en gedemonteerd.
  • Welke condensatoren, ventilatoren of voedingen vervangen zijn.
  • Hoe je ontbrekende caddies of kabels hebt gevonden.
  • Hoe je oude installatiemedia hebt hersteld.
  • Hoe je proprietary consoles of aansluitingen hebt nagebouwd.
  • Hoe je documentatie, firmware en software archiveert.
Werkbank voor computerreparatie en soldeerwerk
Werkbank voor computerreparatie en soldeerwerk — foto: Wolfgang Stief, CC0, via Wikimedia Commons.
Probeer originele onderdelen te behouden wanneer dat redelijkerwijs mogelijk is. Documenteer onomkeerbare wijzigingen duidelijk.

Modificaties en upgrades
Mogelijke projecten:
  • Processorupgrades.
  • Geheugenuitbreidingen.
  • Conversie van een RAIDcontroller naar HBA.
  • Plaatsen van moderne SSD's in oudere servers.
  • Vervangen van luidruchtige of defecte ventilatoren.
  • Toevoegen van moderne netwerkkaarten.
  • Aanpassen van rails, caddies en luchtgeleiders.
  • 3D-geprinte vervangingsonderdelen.

Let op

Fanmods en aanpassingen aan voedingen kunnen leiden tot oververhitting, brandgevaar of beschadigde hardware.

Leg duidelijk uit wat je hebt aangepast en welke veiligheidsmaatregelen je hebt genomen.
Benchmarks en software
Benchmarks zijn welkom wanneer ze onderdeel zijn van een uitgebreidere showcase.

Interessant zijn bijvoorbeeld:
  • Processorprestaties per generatie.
  • NUMA-effecten.
  • Geheugenbandbreedte.
  • SCSI-, SAS- en NVMe-prestaties.
  • Virtualisatieprestaties.
  • Compiler- en scientific-computingtests.
  • Vergelijkingen tussen x86-, SPARC-, POWER- en andere architecturen.
Vermeld altijd het besturingssysteem, de softwareversie en relevante instellingen.

Geschikte besturingssystemen en hypervisors zijn onder andere:
  • Linux en BSD.
  • Windows Server.
  • VMware ESXi.
  • Proxmox Virtual Environment.
  • XCP-ng en Xen.
  • Solaris en illumos.
  • AIX.
  • HP-UX.
  • IRIX.
  • OpenVMS.
  • Tru64 UNIX.
Topicregels
  • Voor normale x86-systemen zijn minimaal twee fysieke CPU-sockets vereist.
  • Niet-x86-systemen moeten functioneel een multiprocessorsysteem zijn.
  • De nadruk ligt op showcases, foto's, ervaringen en projecten.
  • Oudere en niet-x86-systemen zijn nadrukkelijk welkom.
  • Vermeld bij technische vragen zoveel mogelijk specificaties en foutmeldingen.
  • Gebruik thumbnails of passende afbeeldingsformaten bij grote fotoreeksen.
  • Verwijder gevoelige informatie uit screenshots en foto's.
  • Onderbouw claims over prestaties en stroomverbruik bij voorkeur met metingen.
  • Waarschuw duidelijk voor risicovolle firmware-, fan- of voedingsaanpassingen.
  • Vraag en aanbod hoort in het daarvoor bestemde gedeelte van Tweakers.
  • Respecteer zowel moderne productieservers als volledig nutteloze museumstukken. ;)

Dit topic draait niet om de vraag of een kleine single-socketserver praktischer, sneller of zuiniger zou zijn.

Het doel is het delen van foto's, kennis en ervaringen met echte multisocket- en multiprocessorhardware.
Laat je multisocketserver, UNIX-machine, NUMA-monster of complete rack maar zien. :D

Ben niet slim, maar wel dom


  • itcouldbeanyone
  • Registratie: Augustus 2014
  • Laatst online: 29-07 20:40
Om even een eerste zet te geven :)
IBM xSeries 445 — de 32-way die IBM nooit uitbracht
Vier gekoppelde chassis • 32 Xeon MP-processors • 32 GB DDR1 ECC • circa 4 kW idle
Afbeeldingslocatie: https://tweakers.net/i/Y2HYo44YbTHy36VqZ9T6BUaGyw0=/x800/filters:strip_icc():strip_exif()/f/image/gNeqAOwjFiYUdFaKRY2sCQOQ.jpg?f=fotoalbum_large

Na maanden zoeken, onderdelen verzamelen, kabels uitpluizen en IBM-software aanpassen, is het eindelijk gelukt: vier IBM xSeries 445-systemen werken samen als één 32-way multiprocessorsysteem.
In totaal bevat de configuratie 32 Intel Xeon MP-processors op 2,8 GHz en 64 DDR1 ECC-geheugenmodules. Windows Server 2003 Datacenter Edition ziet dankzij PAE de volledige 32 GB geheugen. Het geheel verbruikt in idle ongeveer 4.000 watt. Het piekverbruik heb ik nog niet durven meten; daarvoor werd het deze zomer simpelweg te warm. :D
Merk en modelIBM xSeries 445, vier gekoppelde chassis
Bouwjaar of generatieXeon MP / Socket 603-generatie
VormfactorVier gekoppelde rackservers
Architectuur32-bit x86-multiprocessorsysteem met NUMA-koppelingen tussen de chassis
Aantal CPU-sockets32 gevulde Socket 603-posities, verdeeld over vier x445-systemen
Geplaatste processors32× Intel Xeon MP 2,8 GHz
ECC-geheugen64× 512 MB DDR1 ECC, 32 GB totaal; 64 van de 128 moduleposities gevuld
OpslagcontrollersInterne SCSI-controller en externe 2 Gbit/s Fibre Channel-aansluiting
Opslag1× 300 GB SCSI-opstartschijf; extern 14× 450 GB 15K via Fibre Channel, 6,3 TB bruto
Netwerk en interconnects8× Gigabit Ethernet, Fibre Channel en de NUMA/scalability-interconnects tussen de vier chassis
Remote managementIBM Remote Supervisor Adapter II (RSA II)
BesturingssysteemWindows Server 2003 Datacenter Edition 32-bit met PAE
BeheersoftwareIBM Director op een aparte managementserver, met zelf aangepaste Scalable Systems Manager
Huidig gebruikRestauratieproject, technisch experiment en een buitengewoon inefficiënte Jazz Jackrabbit 2-machine
HerkomstVier x445-chassis uit een loods in Stuttgart; hun oorspronkelijke functie is onbekend
StroomverbruikCirca 4.000 watt idle; piekverbruik nog niet gemeten
Geluid en koelingZeer luid en een enorme warmteproductie; de volledige belastingstest is uitgesteld tot koeler weer
Reparaties en upgrades32 identieke CPU's uit HP ProLiant DL760-systemen; VRM's en scalability-kabels verzameld uit Polen, de VS, het VK en Duitsland
BijzonderhedenNiet officieel door IBM als 32-way uitgebracht; werkend gekregen door IBM-software aan te passen en de NUMA-bekabeling zelf uit te zoeken
Vier onbekende machines uit Stuttgart
De basis van dit project bestaat uit vier IBM xSeries 445-chassis die uit een loods in Stuttgart kwamen. Wat hun oorspronkelijke functie was, is helaas onbekend. De systemen waren niet compleet genoeg om er direct één grote configuratie van te maken, waardoor de zoektocht naar geschikte onderdelen begon.
De 32 identieke Xeon MP-processors zijn geoogst uit HP ProLiant DL760-systemen. De benodigde VRM's en scalability-kabels kwamen uiteindelijk uit Polen, de Verenigde Staten, het Verenigd Koninkrijk en Duitsland. Alleen al het compleet krijgen van alle vier de machines werd daarmee een internationaal verzamelproject.
Afbeeldingslocatie: https://tweakers.net/i/31RhFrihMIr1gMa2L5kmL6cTywQ=/800x/filters:strip_icc():strip_exif()/f/image/IkYKGRUkcrPPIB0mY7957YfL.jpg?f=fotoalbum_large
De verborgen 32-way-ondersteuning
IBM heeft een configuratie met 32 processors voor zover ik kon achterhalen nooit officieel uitgebracht. De normale documentatie bood daarom geen kant-en-klare route om vier x445-systemen als één machine te laten samenwerken.
De doorbraak kwam na onderzoek naar IBM Director en Scalable Systems Manager. Deze software draait op een aparte managementserver en is nodig om de x445-systemen tot één schaalbare configuratie te koppelen. In de broncode bleek de basis voor 32-way-ondersteuning al aanwezig te zijn.
Ik hoefde die ondersteuning dus niet volledig vanaf nul te bouwen, maar moest wel uitzoeken welke controles de 32-way-configuratie tegenhielden en deze aanpassen. Daarna begon het volgende probleem: bepalen hoe alle NUMA- en scalability-kabels tussen de vier chassis precies moesten lopen.
Na maanden proberen, documentatie doorspitten, software patchen en bekabeling wijzigen, startten de vier machines uiteindelijk gezamenlijk op als één 32-processorserver. :)
Afbeeldingslocatie: https://tweakers.net/i/rR3XapeN2uZziaEFGFr14nbsLrw=/x800/filters:strip_icc():strip_exif()/f/image/guP2JdpOwRw4FEpMlHG3vIqu.jpg?f=fotoalbum_large
Afbeeldingslocatie: https://tweakers.net/i/nv8kzbjx5kQhk6G_AJkjqWyLo38=/800x/filters:strip_icc():strip_exif()/f/image/urdVWaxAvvvATEHejEAC7P2D.jpg?f=fotoalbum_large
32 processors, 32 GB en één SCSI-schijf
De uiteindelijke configuratie beschikt over 32 Xeon MP-processors van 2,8 GHz. Van de 128 beschikbare geheugenposities zijn er 64 gevuld met modules van 512 MB, goed voor 32 GB DDR1 ECC.
Als opstartschijf wordt intern een SCSI-schijf van 300 GB gebruikt. Voor externe opslag is een 2 Gbit/s Fibre Channel-verbinding aanwezig, gekoppeld aan veertien 450 GB 15K-schijven. Dat levert 6,3 TB bruto opslagcapaciteit op.
Voor netwerkverkeer zijn intern acht Gigabit Ethernet-aansluitingen beschikbaar. Het beheer verloopt via RSA II en IBM Director.
Afbeeldingslocatie: https://tweakers.net/i/o-lQCp2pfPOd2EksOsv6Ev8f-ew=/800x/filters:strip_icc():strip_exif()/f/image/C97ZE9j94V0j39eo2QtvvEhV.jpg?f=fotoalbum_large
Afbeeldingslocatie: https://tweakers.net/i/hlOXw6nPUEk_-3AsxePs-Uh4MEw=/800x/filters:strip_icc():strip_exif()/f/image/T9YAmTQteM8TcVkFTziy49W4.jpg?f=fotoalbum_large
Vier kilowatt idle
Zuinig is de configuratie vanzelfsprekend niet. Alleen al in idle verbruiken de vier gekoppelde systemen samen ongeveer 4.000 watt. Het piekverbruik heb ik nog niet kunnen meten.
Een eerste belangrijke praktijktest is gelukkig wel geslaagd: Jazz Jackrabbit 2 draait. Daarna werd het te warm om midden in de zomer nog een langdurige full-loadtest uit te voeren. Een volledige belastingstest en meting van het piekverbruik volgen daarom wanneer het buiten wat koeler is.

Voorlopige conclusie
IBM bracht deze 32-way-configuratie nooit officieel op de markt, de onderdelen moesten uit vier landen komen en de beheersoftware had een eigen patch nodig. Maar na maanden prutsen, zoeken en testen werkt hij dan toch: vier IBM x445-systemen, 32 fysieke processors en Windows Server 2003 als één absurd grote machine. :D
Afbeeldingslocatie: https://tweakers.net/i/5XQrQszHXa45UpCQ1fserhPW2dU=/800x/filters:strip_icc():strip_exif()/f/image/RTUFNYg0QT2UpUs3agwfkMhm.jpg?f=fotoalbum_large

Afbeeldingslocatie: https://tweakers.net/i/HCZARxP-t3MIQCIt0eNMldIhMrU=/800x/filters:strip_icc():strip_exif()/f/image/HDdY4XxGZNmz03u9cHRb2NSR.jpg?f=fotoalbum_large

Ben niet slim, maar wel dom


  • SpamLame
  • Registratie: Augustus 2000
  • Nu online

SpamLame

niks

In een rack wat verdomd veel lijkt op die van HP waar je 9000 series systemen in kon vinden.
Vroeger leuk mee mogen spelen bij een oudwerkgever, D K series later N.

Zelf nog een DEC Alpha in huis gehad, maar das >20 jaar terug.

Leuke projecten dit om te lezen, zelf zou ik het geduld er niet meer voor hebben, ruimte is een ander ding.