Het grote zuinige server topic - deel 3

[Philo Melos]

Jerie schreef op zaterdag 31 augustus 2024 @ 15:30:
[...]


Jawel, ook de Minisforum MS-01 (die niet zuinig is... ik bedoel... i9 ) had ik prima via Amazon kunnen kopen ipv direct via Minisforum. Bij dit soort bedragen is dat verstandiger, ook al denk je er nog zoveel mee te besparen. Aan de andere kant koop ik ook tweedehands spul, dat is ook risky.

Minisforum heeft een dependance in Duitsland. Ik was een beetje huiverig voor de garantieafhandeling. Mijn Venus 1265 was kapot. Het duurt allemaal wat langer, maar nu is er toch 1 nieuwe opgestuurd. Valt me 100% mee.

[mrmrmr]

Jerie schreef op zondag 1 september 2024 @ 14:36:
[...]


I226 https://www.hardkernel.com/shop/odroid-h4/

Op te lossen door ASPM uit te zetten in de BIOS. Maar kost dan wel 24/7 elektriciteit.

Ik zou eerst eens testen of 1 Gbps wel stabiel is. Mijn advies was al om 1 Gbps te gebruiken aangezien het verbruik flink toeneemt met 2.5Gbps. i210/i211/i219 1 Gbps netwerkchips zijn stabiel en zuinig. Realtek heeft een gedeeltelijke ASPM ondersteuning in de RTL8125.

Als er een probleem optreedt met de i226 na het draaien van powertop --auto-tune dan kunnen de meeste low power settings toch wel worden gedaan door eerst een dump (--auto-tune-dump) te maken van de settings en de setting die een probleem veroorzaakt eruit te halen.

Rigoureus ASPM uitzetten in de BIOS is waarschijnlijk niet nodig om er omheen te werken.

[Mich]

nieuwbouwers schreef op zaterdag 31 augustus 2024 @ 06:21:
[...]

code:

root@proxmox:~/powertop/src# lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
00:06.0 PCI bridge: Intel Corporation Raptor Lake PCIe 4.0 Graphics Port (rev 01) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.1 PCI bridge: Intel Corporation Device 7a39 (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 7a36 (rev 11) (prog-if 00 [Normal decode])
pcilib: sysfs_read_vpd: read failed: No such device
pcilib: sysfs_read_vpd: read failed: No such device
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
root@proxmox:~/powertop/src# cat /sys/module/pcie_aspm/parameters/policy
[default] performance powersave powersupersave

Je moet zorgen dat de pcie_aspm policy in powersave of powersupersave komt. Je realtek netwerk kaarten komen niet in ASPM terecht. Als je in dit topic zoekt op dit probleem vind je wel hoe je dit moet oplossen. Als je beide oplost is je systeem veel zuiniger waarschijnlijk.

[andru123]

Ok, dat is al 2 mens dat minisforum terug moeten sturen voor garantie.
Bij Amazon, trouwens, garantie oproep na 30 dagen is heel moeilijk (lees: onmogelijk) Bij alle garantie aanvragen dat ik via Amazon deed , in een geval had ik een deel van het bedrag teruggekregen (en ik moet nog de product terugsturen, na 15 chats met helpdesk), dat was na 6 maanden. Bij andere, een geheugen kaart, was ik naar de fabrikant garantievoorwarden op gewezen, waar staat dat ik de kaart moet op eigen kost terugsturen, en dan er is ook 30$ kost boven op (voor een kaart dat maar 40$ was bij aankoop). Nee dus.
Bij Ali tot zo ver alle disputes eindigen in geld terug, maar het was meestaal kleine adapters van 2$.

[iqcgubon]

RedRayMann schreef op woensdag 28 augustus 2024 @ 22:42:
[...]

Nog niet besteld maar het viel mij op dat er weinig hand on videos of artikelen te vinden waren. Reviews, howtos, e.d.

Mogelijk door de slechte levertijden?

Dit weekend geleverd samen met de Mini-ITX kit. Inbouwen ging uiteraard van een leien dakje (met dank aan een Youtube filmpje van Hardkernel's eigen pagina). Debian alvast op geïnstalleerd. Volgend stap is alles migreren van de oude server naar de nieuwe. Ideaal moment voor een restore-test van de backup

[Mirabis]

EDIT: Zal het anders verwoorden straks.

[ Voor 95% gewijzigd door Mirabis op 02-09-2024 09:40 ]

[bakvis]

bakvis schreef op woensdag 7 augustus 2024 @ 13:01:
[...]


Ik heb een vergelijkhbaar probleem gehad met mijn recente build:
- Gibabyte Aurus B760i pro ddr4
- Intel 13400 CPU

Zelfde symptomen. Op random momenten spontaan geen verinding meer met proxmox, in de logs was te zien dat de NIC in een sleep modus ging en daar niet meer uit kwam. Proxmox bleef gewoon draaien alleen netwerkconnectiviteit was weg.

Uiteindelijk in het BIOS ook ASPM voor de NIC uitgezet, hiermee lijk thet probleem opgelost. Buiten de reguliere updates van Proxmox nog niets anders gedaan, ook geen BIOS update.

Update voor een ieder die hier ook last van heeft: ASPM settings van de NIC hebben niet geholpen. systeem blijft (soms) netwerk verbinding verliezen.

[mrmrmr]

@bakvis en iedereen:

Heeft iemand dit script wel eens geprobeerd bij i225V problemen? Het reset de pci-verbinding als er een 0xc030 fout wordt waargenomen in de logs. Het heeft natuurlijk alleen zin als die 0xc030 in de logs voorkomt.

Bash:

 $ cat resetnic.sh
#!/bin/bash
gg_intel() {
journalctl -f | while IFS= read -r line; do
if echo "$line" | grep -q "igc: Failed to read reg 0xc030!"; then
pci_id=$(lspci -D | awk '/[0-9]{4}:[0-9]{2}:[0-9]{2}.[0-9].*Ethernet controller: Intel Corporation.*I225-V.*rev 03/ {print $1}' | sed 's/:/\\:/g')
echo 1 > "/sys/bus/pci/devices/${pci_id}/remove"
echo 1 > "/sys/bus/pci/rescan"
fi
done
}
gg_intel

Het Python script erna gebruikt een hybride polling methode om de journal in de gaten te houden.

Linux heeft efficiënte methoden zoals inotify en er is een opdracht inotifywait bruikbaar in bash. De kernel kan bijhouden wanneer de journal wordt geschreven.

[Raynman]

journalctl gebruikt voor zover ik zo snel kan zien ook gewoon epoll met de journal file descriptor om de kernel dat werk te laten doen. Elke journalregel apart in bash verwerken met een nieuw grep-process is zeker niet efficiënt, maar je kunt gewoon één grep (met --line-buffered of stdbuf-wrapper) in de pipeline tussen journalctl en while zetten, of goed gebruik maken van journalctl-opties:

Bash:

journalctl -f --grep='igc: Failed to read reg 0xc030!' | while IFS= read -r line; do
    pci_id=$(lspci -D | awk '/[0-9]{4}:[0-9]{2}:[0-9]{2}.[0-9].*Ethernet controller: Intel Corporation.*I225-V.*rev 03/ {print $1}')
    echo 1 > "/sys/bus/pci/devices/${pci_id}/remove"
    #sleep 1
    echo 1 > "/sys/bus/pci/rescan"
done

Anderen daar op reddit doen die sleep erbij en net als de Pythonversie geen gekke substitutie met sed (sowieso zou awk dat zelf kunnen met gsub). Misschien kan de awk-match ook wel simpeler/minder specifiek (is het alleen rev 03?) of id hardcoden. Een Perl-script op reddit gaat uit van een andere error en vist daar dan ook direct het id uit.

[mrmrmr]

Geen idee bij welke hardware versies dit speelt. Het Python script gebruikt zo te zien dezelfde hexadecimale errorcode. De sleep kan wel voorkomen dat het zichzelf de das omdoet door zelf een journal entry te veroorzaken en de processor bezig houdt.

@D43m0n heeft in 2022/2023 gepost over de i225-V rev 03.

[manusjevanalles]

Inmiddels Ubuntu desktop 24.04.1 geïnstalleerd. Als ik Powertop --auto-tune draai, dan krijg ik een foutmelding dat er geen batterij aanwezig is en stopt hij. powertop zelf draait wel, en als ik handmatig op het tabblad tunables alles op "good" zet, dan zie ik geen effect. Na een tijdje loopt powertop helemaal vast en kan ik die pas herstarten na een reboot.



Ik blijf op 10 W steken. ASPM-settings heb ik toegepast in het BIOS. Ik kan de optie om de NICs oo 1Gbps in te stellen niet vinden.

[ Voor 6% gewijzigd door manusjevanalles op 03-09-2024 10:35 ]

[vrije_vogel]

Hier sinds een jaar een Odroid M1 8 GB naar volle tevredenheid in gebruik als web server. Ubuntu boot direct van de NVME drive die op het bordje is bevestigd. De performance is prima, de stabiliteit ook.
Ik draai MySql, Apache Tomcat en httpd.
De meegeleverde behuizing is simpel maar voldoet.

[andru123]

@manusjevanalles met intel i225+ hangt powertop als er geen ethernet kabel zit. Connect alle ethernet ports.
1000 mbit kan je met ethtool zetten. Maar van je powertop screen het is zichtbaar dat de CPU niet in een low power state zit.

[manusjevanalles]

Vanavond weer getest.

Na powertop --auto-tune en ASPM op auto kom ik uit op 6.5 W (toetsenbord, muis, 2x ethernet en scherm verbonden).
In powertop zie ik 21% C2 en 69% C8. Het lukt niet om C10 te bereiken.
Zonder scherm, toetsenbord en muis (allebei de NIC's aangesloten) zie ik 4-5W.

Nog steeds niet de resultaten die hier worden genoemd (2.7W), maar ik kom al in de buurt.

Met sudo ethtool --set-eee XXXX eee on voor beide NICS kom ik uit op 4.3W.
sudo ethtool -s XXXX autoneg on speed 1000 duplex full ook 4.3W.
Met 1 NIC in gebruik zit ik op 3.7W.

Echter na ongeveer 10 minuten idle schoot het verbruik naar 9W en bleef daarop hangen. Na een reboot en alle settings weer toepassen schiet het verbruik van 3.5W naar 9W.

Dit is overigens wat ik kan vinden in het BIOS over het RAM-geheugen:

[ Voor 61% gewijzigd door manusjevanalles op 04-09-2024 21:24 ]

[mrmrmr]

@manusjevanalles Ze hebben headless gelijkstroom (DC) gemeten. Dat is het bruto verbruik, zonder de overhead van de voeding mee te nemen. De genoemde 2,7W DC wordt circa 3,1 tot 3,25W aan de stekker (AC) met een doorsnee adapter (+15 tot 20%).

De 21% C2 toont dat er toch nog een last draait. Het systeem lijkt nog niet compleet in rust. Op een kaal Debian systeem kom ik op 3,5% C2 en de rest C8 en 23 wakeups. Meten kun je het beste doen nadat het systeem een tijd in rust is geweest.

De geheugentimings zijn gelijk aan de spec sheet op 4800 MT/s (Intel's normaal bij 1 module). Er staat niet bij welk schema wordt gebruikt (SPD/JEDEC of XMP).

Voor EEE is een switch nodig die dat ook ondersteunt. Je kan zien of EEE aan staat met ethtool --show-eee xyz0. Voor xyz0 gebruik je de naam van de adapter.

PL4 kun je ook beperken volgens de Odroid wiki waar je naar verwees. Ik weet niet of dat een effect heeft in idle, de -0,1W verschil valt binnen de foutmarge. Het zou theoretisch kunnen dat extra power management onderdelen kunnen worden afgesloten zodat ze geen energie meer verbruiken.

[manusjevanalles]

mrmrmr schreef op woensdag 4 september 2024 @ 21:35:
@manusjevanalles Ze hebben headless gelijkstroom (DC) gemeten. Dat is het bruto verbruik, zonder de overhead van de voeding mee te nemen. De genoemde 2,7W DC wordt circa 3,1 tot 3,25W aan de stekker (AC) met een doorsnee adapter (+15 tot 20%).

De 21% C2 toont dat er toch nog een last draait. Het systeem lijkt nog niet compleet in rust. Op een kaal Debian systeem kom ik op 3,5% C2 en de rest C8 en 23 wakeups. Meten kun je het beste doen nadat het systeem een tijd in rust is geweest.

De geheugentimings zijn gelijk aan de spec sheet op 4800 MT/s (Intel's normaal bij 1 module). Er staat niet bij welk schema wordt gebruikt (SPD of JEDEC).

Voor EEE is een switch nodig die dat ook ondersteunt. Je kan zien of EEE aan staat met ethtool --show-eee xyz0. Voor xyz0 gebruik je de naam van de adapter.

PL4 kun je ook beperken volgens de Odroid wiki waar je naar verwees. Ik weet niet of dat een effect heeft in idle, de -0,1W verschil valt binnen de foutmarge. Het zou theoretisch kunnen dat extra power management onderdelen kunnen worden afgesloten zodat ze geen energie meer verbruiken.

PL4 staat standaard al beperkt in het BIOS. Goed om te weten dat die 3.5W wel zo'n beetje het maximaal haalbare is.
ethtool --show-eee xyz0 laat zien dat EEE uit staat. Als ik hem aanzet (sudo ethtool --set-eee XXXX eee) dan maakt dat voor het verbruik geen verschil lijkt.

Ik zal binnenkort ook een testen met Ubuntu server en Debian. Kijken of dat nog verschil maakt.

Wat zou het verschil in verbruik zijn tussen geheugen met SPD of JEDEC? Zie je dat puur aan wat verbruik of ook aan de C-states?
Ik kan het huidige geheugen niet meer ruilen, de retourtermijn is verstreken (het duurde 2 maanden voordat ik de Odroid in huis had).

[ Voor 6% gewijzigd door manusjevanalles op 04-09-2024 21:49 ]

[mrmrmr]

manusjevanalles schreef op woensdag 4 september 2024 @ 21:47:
Wat zou het verschil in verbruik zijn tussen geheugen met SPD of JEDEC? Zie je dat puur aan wat verbruik of ook aan de C-states?

De timings hebben invloed op het verbruik, maar essentieel hetzelfde schema zou geen verschil moeten maken. Op dezelfde JEDEC snelheid zijn er kleine verschillen tussen verschillende modules. Dat heb ik wel eens gemeten bij DDR5. Overklok- of gaminggeheugen kan wel meerdere Watts meer verbruiken. Die gebruiken vaak een hogere spanning om het stabiel te houden. Ik zie hier geen reden om het geheugen om te wisselen, het lijkt een standaard JEDEC timing (40-40-40 voor 4800).

[Woodski]

Dikke pech mijn Kontron K3843-B was vanmorgen vastgelopen terwijl hij altijd stabiel draait.
Fan blies max dus uitgezet en weer aan... niets behalve een led op een netwerk kaart

Ding heeft 2 ram modules, dus zitten swappen maar geen geluk.
Andere ATX voeding waarvan ik niet 100% zeker ben doet ook niets.
Alle kabels los, alles er uit, CPU ff opnieuw, knoop batterij er uit maar nog steeds hartstikke dood

Hoe test je deze Kontron K3843-B, zou er een LED op moeten zitten ergens?
Hij is 14 maanden oud.

Edit: Ik krijg de voeding niet aan via het mobo (2 voedingen getest)
Als ik die ATX stekker overbrug (pootje 4&5 met een paperclip) gaan de voedingen wel aan
Dus het lijkt dat het mobo geen leven meer geeft

[ Voor 21% gewijzigd door Woodski op 05-09-2024 14:26 ]

[mrmrmr]

@Woodski Staat de monitor aan en doet die het? Ook de 4-pin cpu voedingskabel is een verdachte.

Als hij echt kapot is (niet de cpu of geheugen), dan kun je hem terugsturen naar de verkoper en die kan hem via de distributeur naar Kontron sturen voor reparatie of vervanging. Je zit binnen de 2 jaar.

[ Voor 52% gewijzigd door mrmrmr op 05-09-2024 15:28 ]

[Woodski]

[ Voor 34% gewijzigd door Woodski op 05-09-2024 15:09 ]

[bjp]

Woodski schreef op donderdag 5 september 2024 @ 15:00:
[Afbeelding]

datum vergeten erop te zetten RIP 05-09-2024.

[Woodski]

bjp schreef op donderdag 5 september 2024 @ 15:02:
[...]


datum vergeten erop te zetten RIP 05-09-2024.

U vraagt wij draaien
Lang leve Proxmox die was vrij eenvoudig weer elders te starten.
Alle hardware mount op het ID dus het ging best soepel.

[UUDIBUUDI]

Woodski schreef op donderdag 5 september 2024 @ 15:11:
[...]
U vraagt wij draaien
Lang leve Proxmox die was vrij eenvoudig weer elders te starten.
Alle hardware mount op het ID dus het ging best soepel.

Ik mis nog een vaas met daarin iets persoonlijks, zijn ATX connector of zijn favoriete FP header kabel bijvoorbeeld.

[andru123]

mrmrmr schreef op woensdag 4 september 2024 @ 21:35: De genoemde 2,7W DC wordt circa 3,1 tot 3,25W aan de stekker (AC) met een doorsnee adapter (+15 tot 20%).

Met een doorsnee adapter verwacht ik eigenlijk meer op zo laag vermogens, richting 4,5 W. Goede zuinige adapters doen 3,25W of minder.

[Roderick24]

Wat zouden jullie aanraden als een stille CPU fan voor een i3 12100F? Deze wordt steeds verder afgeprijst en de stap wordt verleidelijk

Ik zat zelf te denken aan een Arctic Alpine 17 CO
uitvoering: Arctic Alpine 17 CO

[mrmrmr]

@Roderick24 Heb je al een Intel boxed fan en is die niet stil?

Zelf koop ik geen losse koelers meer, ik gebruik de standaard boxed fan, die zonder turbo weinig geluid maakt. Op een zuinig systeem zou turbo (te regelen met PL2) uitgeschakeld zijn. De huidige generatie desktopprocessoren heeft meer koeling nodig dan een passief koelblok levert.

Hier is de Intel koeler vergeleken met o.a. een Alpine 17 CO.

[eheijnen]

Roderick24 schreef op vrijdag 6 september 2024 @ 17:35:
Wat zouden jullie aanraden als een stille CPU fan voor een i3 12100F? Deze wordt steeds verder afgeprijst en de stap wordt verleidelijk

Ik zat zelf te denken aan een Arctic Alpine 17 CO
uitvoering: Arctic Alpine 17 CO

Die lijkt wel erg veel op de standaard intel boxed koeler.

Misschien nog interessant in V&A
categorie: Processorkoeling

[mrmrmr]

andru123 schreef op vrijdag 6 september 2024 @ 17:01:
Met een doorsnee adapter verwacht ik eigenlijk meer op zo laag vermogens, richting 4,5 W. Goede zuinige adapters doen 3,25W of minder.

Bij 4,5W zou de efficiëntie maar 60% zijn (4,5 * 0,6 = 2,7W). Een goedkope moderne switching adapter tot circa 60W doet 80 a 85%.

Goede adapters doen 89% of meer.

Ik heb wel een verkeerde rekenmethode gebruikt, want het percentage moet niet over het DC maar van AC verbruik gaan. Ik wist dat het weinig verschil zou maken, maar om dat even netjes te doen:

x * 0,8 = 2,7W, x= 3,38W (80%)
x * 0,85 = 2,7W, x = 3,18W (85%)
x * 0,89 = 2,7W, x = 3,03W (89%)

Dus tussen 3,18 en 3,38W uitgaande van een efficiëntie van 80% tot 85%.

Oude niet-switchende adapters zijn typisch onzuinig bij een belasting van 2,7W. Maar bij moderne switchende adapters maakt dat weinig uit, de efficientie wordt dan tot tamelijk lage belasting volgehouden. Bij goede adapters zelfs tot minder dan een halve Watt aan last.

Dat is het voordeel van het gebruik van adapters versus ATX voedingen. ATX voedingen hebben doorgaans een flinke overhead en dat doet de efficiëntie bij lage belasting de das om. Dan kan de efficiëntie wel eens op minder dan 50% uitkomen.

[Roderick24]

mrmrmr schreef op vrijdag 6 september 2024 @ 18:02:
@Roderick24 Heb je al een Intel boxed fan en is die niet stil?

Zelf koop ik geen losse koelers meer, ik gebruik de standaard boxed fan, die zonder turbo weinig geluid maakt. Op een zuinig systeem zou turbo (te regelen met PL2) uitgeschakeld zijn. De huidige generatie desktopprocessoren heeft meer koeling nodig dan een passief koelblok levert.

Hier is de Intel koeler vergeleken met o.a. een Alpine 17 CO.

Hmm ja er zit inderdaad wel erg weinig verschil tussen. Wat je zegt, zeker als je met name op een zuinig en grotendeels idle systeem draait. Wilde initieel inzetten op een zo stil mogelijk systeem omdat mijn huidige Intel 5005J passief gekoeld is en het al genoeg herrie maakt met 7 HDD's er in. Maar toch maar eens proberen met de stock fan dan.

eheijnen schreef op vrijdag 6 september 2024 @ 18:10:
[...]


Die lijkt wel erg veel op de standaard intel boxed koeler.

Misschien nog interessant in V&A
categorie: Processorkoeling

Dank! Obv wat mrmrmr hier boven zegt ga ik het eens proberen met de Intel stock fan maar mocht dat tegenvallen dan is de V&A misschien iets om te overwegen.

[bjp]

ik heb de stock fan op een i7-14700, en dat ding is echt stil, zelf onder full-load (ik heb stresstesten gedaan).

Yup dat zijn 8-P en 12-E cores vollast.

"k heb wel de CPU beperkt tot de "Intel default settings" in de BIOS, dus blijft ie braaf onder de 65W (zelf lager, heel systeem zat op 55W tijdens stresstest). Dit ook omdat mijn PicoPSU maar 120 of 150W kan leveren.

Wss kan ik het terug wat hoger zetten, maar hoeft _echt_ niet voor een server. Met zoveel threads heb ik performance genoeg.

[SamSid]

Gezien het niet meer zo makkelijk is om een zuinige Fujitsu moederbord te scoren. Zal deze net zo zuinig zijn als die van Fujitsu? nieuws: MSI komt met fanless mini-ITX-moederbord voor industriële toepassingen

[mrmrmr]

@SamSid Vaak is een industrieel bord een grootverbruiker omdat er geen belang wordt gehecht aan zuinigheid. MSI heeft geen naam voor zuinigheid. Ze zijn bedoeld voor gebruik in machines.

Het onwikkelteam van Fujitsu in Duitsland is destijds overgenomen door Kontron. Hoewel de oudere modellen lang gemaakt worden, is de verkrijgbaarheid afhankelijk van bestellingen van distributeurs en overschotten.

Je kan opzoeken waar bijvoorbeeld de Kontron K3843-B verkrijgbaar is.

[iqcgubon]

Ondertussen is de Odroid H4 Ultra aangekomen en geïnstalleerd.

Draait Debian zonder desktop UI, er is 1 case fan geconnecteerd, en 2 3.5" 7200rpm hard drives waarvan eentje 24/7 aan het schrijven is (camerabeelden). CPU zit continu rond de 3-4%, en het 16GB DDR5-4800 schommelt rond de 60% in gebruik. De twee NICS staan in een LACP configuratie en zijn verbonden met een 1Gbps switch.

Gemiddeld stroomverbruik (gemeten met een Shelly Plug) is zo'n 21W. Als ik de twee schijven op termijn vervang door SSDs kan dat dus nog een stuk naar beneden.

[ Voor 8% gewijzigd door iqcgubon op 08-09-2024 20:44 ]

[Church of Noise]

iqcgubon schreef op zondag 8 september 2024 @ 20:42:
Ondertussen is de Odroid H4 Ultra aangekomen en geïnstalleerd.

Draait Debian zonder desktop UI, er is 1 case fan geconnecteerd, en 2 3.5" 7200rpm hard drives waarvan eentje 24/7 aan het schrijven is (camerabeelden). CPU zit continu rond de 3-4%, en het 16GB DDR5-4800 schommelt rond de 60% in gebruik. De twee NICS staan in een LACP configuratie en zijn verbonden met een 1Gbps switch.

Gemiddeld stroomverbruik (gemeten met een Shelly Plug) is zo'n 21W. Als ik de twee schijven op termijn vervang door SSDs kan dat dus nog een stuk naar beneden.

Heb je powertop al gebruikt? (zowel om huidige diepste C state te achterhalen als om een en ander te gaan optimaliseren). Als je nog een stap verder wil, kan je TLP ook nog gebruiken (Extra winst hiermee is niet noodzakelijk relevant)

[iqcgubon]

Church of Noise schreef op zondag 8 september 2024 @ 20:49:
[...]

Heb je powertop al gebruikt? (zowel om huidige diepste C state te achterhalen als om een en ander te gaan optimaliseren). Als je nog een stap verder wil, kan je TLP ook nog gebruiken (Extra winst hiermee is niet noodzakelijk relevant)

Powertop net eens laten draaien, lijkt 1W te schelen maar alle beetjes helpen

[Lennyz]

Ik heb nu een N100 dat perfect draait als server. Het enige waar ik nu tegenaan loop is een tekort aan SATA-poorten. Ik heb dus een ASM1166 SATA-poort extender gekocht. In totaal wil ik 4hdd's en mogelijk 2ssd's aansluiten.

Nu heb ik sinds kort ook de beschikking tot een Intel Core i5-6400 en als moederbord een Gigabyte GA-B150M-D3H. Op dit moederbord zitten ruim voldoende SATA-poorten.

Ik heb gezocht naar een vergelijking tussen de N100 en de i5-6400. Beide lijken vergelijkbaar alleen de i5-6400 is veel ouder.

uitvoering: Intel Core i5-6400 Boxed
uitvoering: Gigabyte GA-B150M-D3H

Wat is nu wijsheid om te doen? Zijn er performance verschillen of functies die niet ondersteund worden in de i5-6400?

[ Voor 5% gewijzigd door Lennyz op 10-09-2024 11:38 ]

[eheijnen]

Lennyz schreef op dinsdag 10 september 2024 @ 09:33:
Ik heb nu een N100 dat perfect draait als server. Het enige waar ik nu tegenaan loop is een tekort aan SATA-poorten. Ik heb dus een ASM1166 SATA-poort extender gekocht. In totaal wil ik 4hdd's en mogelijk 2ssd's aansluiten.

Nu heb ik sinds kort ook de beschikking tot een Intel Core i5-6400 en als moederbord een Gigabyte GA-B150M-D3H. Op dit moederbord zitten ruim voldoende SATA-poorten.

Ik heb gezocht naar een vergelijking tussen de N100 en de i5-6400. Beide lijken vergelijkbaar alleen de i5-6400 is veel ouder.

uitvoering: Intel Core i5-6400 Boxed
uitvoering: Gigabyte GA-B150M-D3H

Wat is nu wijsheid om te doen?

Een test doen van beide met basis hardware en het verbruik vergelijken...

[Lennyz]

eheijnen schreef op dinsdag 10 september 2024 @ 09:42:
[...]


Een test doen van beide met basis hardware en het verbruik vergelijken...

Ja dat ga ik ook zeker doen. Ik ben meer benieuwd over performance verschil of andere zaken dat verschil maken.

[mrmrmr]

@Lennyz Meten is de beste manier. Zo'n SATA kaart is niet zuinig, die kan evenveel als een compleet systeem verbruiken. Uitbreiden van SATA is dus niet vaak een goede optie.

Ik denk dat een Gigabyte moederbord van deze generatie misschien rondom 12W verbruikt, afhankelijk van de voeding. Er zijn zuinigere moederborden, zoals een Fujitsu D3417-B (6x SATA, standaard moederbord) of een Fujitsu D3400/D3401 en aanverwante borden uit dezelfde generatie. Let op afwijkende aansluitingen bij borden die uit een compleet Fujitsu systeem komen.

Het is overigens veel zuiniger om minder hard disks te gebruiken. Een verzameling oude beperkte 3.5" hard disks kosten al snel meer in actief verbruik dan ze waard zijn. Het is beter voor het verbruik één zuinige grote hard disk aan te schaffen zoals een Toshiba MG09 of MG10. De oude disks kunnen nog wel worden gebruikt via een USB behuizing als tijdelijk aangesloten backup. RAID is inherent niet zuinig en ook geen backup.

[Lennyz]

mrmrmr schreef op dinsdag 10 september 2024 @ 11:19:
@Lennyz Meten is de beste manier. Zo'n SATA kaart is niet zuinig, die kan evenveel als een compleet systeem verbruiken. Uitbreiden van SATA is dus niet vaak een goede optie.

Ik denk dat een Gigabyte moederbord van deze generatie misschien rondom 12W verbruikt, afhankelijk van de voeding. Er zijn zuinigere moederborden, zoals een Fujitsu D3417-B (6x SATA, standaard moederbord) of een Fujitsu D3400/D3401 en aanverwante borden uit dezelfde generatie. Let op afwijkende aansluitingen bij borden die uit een compleet Fujitsu systeem komen.

Het is overigens veel zuiniger om minder hard disks te gebruiken. Een verzameling oude beperkte 3.5" hard disks kosten al snel meer in actief verbruik dan ze waard zijn. Het is beter voor het verbruik één zuinige grote hard disk aan te schaffen zoals een Toshiba MG09 of MG10. De oude disks kunnen nog wel worden gebruikt via een USB behuizing als tijdelijk aangesloten backup. RAID is inherent niet zuinig en ook geen backup.

Ja klopt helemaal. Ik ga alleen geen nieuwe moederborden of hardeschijven aanschaffen omdat ik alles al heb.

De ASM1166 verbruikt ongeveer 1 watt aangesloten volgens deze reviewer:

https://mattgadient.com/7...g-a-low-power-server-nas/

Ik heb een 2-tal refurbished Seagate Exos X22 20 TB SATA gekocht. Deze gaan in ZFS mirror draaien en wil ik eerst gaan testen voordat ik er compleet op overga. Daarnaast heb ik nog 2x 4tb draaien en die blijven erin totdat ik tevreden ben over de 20tb hdd's.

De vraag die voor mij voorblijft heeft de N100 een voordeel t.o.v. de i5-6400.

[Remc0_]

Lennyz schreef op dinsdag 10 september 2024 @ 11:34:
[...]


Ja klopt helemaal. Ik ga alleen geen nieuwe moederborden of hardeschijven aanschaffen omdat ik alles al heb.

De ASM1166 verbruikt ongeveer 1 watt aangesloten volgens deze reviewer:

https://mattgadient.com/7...g-a-low-power-server-nas/

Ik heb een 2-tal refurbished Seagate Exos X22 20 TB SATA gekocht. Deze gaan in ZFS mirror draaien en wil ik eerst gaan testen voordat ik er compleet op overga. Daarnaast heb ik nog 2x 4tb draaien en die blijven erin totdat ik tevreden ben over de 20tb hdd's.

De vraag die voor mij voorblijft heeft de N100 een voordeel t.o.v. de i5-6400.

De N100 heeft een veel betere iGPU die veel meer codecs support, dus als je wilt transcoden is die vele malen beter. En de performance per watt van de N100 is beter. (Als we even fast en loose spelen met tdp zou je een factor van 10x kunnen verwachten)

[RJVG]

Ik wil mijn huidige ESXi server, uitgevoerd met een Fujitsu D3644-B, ombouwen tot een (pure) NAS. Mijn huidige TrueNAS heeft 4x14TB maar dat wil ik misschien uitbreiden naar 6x14TB. Voor de nieuwe NAS denk ik Unraid te gaan gebruiken.

Energie zuinigheid is niet het eerste uitgangspunt. Betrouwbaarheid wel.

Wat voor een voeding zouden jullie aanraden?

Kan bv de picoPSU-160-XT, 160W / 200 Watt peak gebruikt worden? Ik ga dan uit van maximaal 6 x 25W HDD opstart vermogen. Overigens wil ik de OS op 2 NVMe in RAID1 zetten. Hiervoor zal ik dus een NVMe uitbreiding moeten inzetten.

Met een picoPSU denk ik dan ook een Load Sharing controller in te zetten zodat de power supplies redundant zijn.

[mrmrmr]

@RJVG Welke hard disks (merk & typenummer)?

Als je gewoon (een deel van de) hard disks met een 12V adapter (die voldoet aan de ATX eisen) separaat voedt zou dat kunnen lukken onafhankelijk van het type hard disks.

Ik zie hier geen voordeel in power load sharing aangezien het nog altijd door de PicoPSU zou moeten lopen.

[andru123]

@RJVG kijk naar de adapter tests in topic start. Meeste goede adapters kunnen prima 25% boven max leveren.
(Ik heb zelf FSP 150W adapter niet tot het uiterste geduwd, wegens beperking van mijn test apparat, maar ik vermoed het kan prima 180W kortdurend leveren).
Power balancing is mogelijk maar niet makkelijk zelf te doen (youtube video). Leuk dat minibox zoiets maakt.

[RJVG]

mrmrmr schreef op woensdag 11 september 2024 @ 00:06:
@RJVG Welke hard disks (merk & typenummer)?

Het zijn de WDC WD121KRYZ-01 (en zijn dus 12TB en niet 14TB )

Als je gewoon (een deel van de) hard disks met een 12V adapter (die voldoet aan de ATX eisen) separaat voedt zou dat kunnen lukken onafhankelijk van het type hard disks.

Hoe koppel je dan die 12V? Door direct op de Molex aan te sluiten?

Ik zie hier geen voordeel in power load sharing aangezien het nog altijd door de PicoPSU zou moeten lopen.

Dat klopt. Echter zie ik de adapter als groter risico. In mijn werk gebruiken we honderden adapters van verschillende merken en formaten en daar is veel uitval bij. Maar ik deel je punt en ben er ook nog niet over uit.

[RJVG]

andru123 schreef op woensdag 11 september 2024 @ 03:21:
@RJVG kijk naar de adapter tests in topic start. Meeste goede adapters kunnen prima 25% boven max leveren.
(Ik heb zelf FSP 150W adapter niet tot het uiterste geduwd, wegens beperking van mijn test apparat, maar ik vermoed het kan prima 180W kortdurend leveren).
Power balancing is mogelijk maar niet makkelijk zelf te doen (youtube video). Leuk dat minibox zoiets maakt.

Bedankt voor de tip.

[Jerie]

RJVG schreef op dinsdag 10 september 2024 @ 23:35:
Ik wil mijn huidige ESXi server, uitgevoerd met een Fujitsu D3644-B, ombouwen tot een (pure) NAS. Mijn huidige TrueNAS heeft 4x14TB maar dat wil ik misschien uitbreiden naar 6x14TB. Voor de nieuwe NAS denk ik Unraid te gaan gebruiken.

Energie zuinigheid is niet het eerste uitgangspunt. Betrouwbaarheid wel.

Wat voor een voeding zouden jullie aanraden?

Kan bv de picoPSU-160-XT, 160W / 200 Watt peak gebruikt worden? Ik ga dan uit van maximaal 6 x 25W HDD opstart vermogen. Overigens wil ik de OS op 2 NVMe in RAID1 zetten. Hiervoor zal ik dus een NVMe uitbreiding moeten inzetten.

Met een picoPSU denk ik dan ook een Load Sharing controller in te zetten zodat de power supplies redundant zijn.

M.i. wil je staggered startup voor je HDDs. Normaal reken je 30W voor de start-up per HDD. Normaal gesproken regel je dit middels een HBA of hardware raid controller. Hoewel die natuurlijk ook weer wat snoept.

Remc0_ schreef op dinsdag 10 september 2024 @ 12:00:
[...]

De N100 heeft een veel betere iGPU die veel meer codecs support, dus als je wilt transcoden is die vele malen beter. En de performance per watt van de N100 is beter. (Als we even fast en loose spelen met tdp zou je een factor van 10x kunnen verwachten)

Kun je ook transcoden met een NPU zoals een Coral?

[Remc0_]

Jerie schreef op woensdag 11 september 2024 @ 18:37:
Kun je ook transcoden met een NPU zoals een Coral?

Ehh normaal is dat een GPU, er zijn wel wat video accelerators maar die zijn duurder dan een gewone GPU, maar ja die zijn niet echt geweldig voor je verbruik. Uiteindelijk is je iGPU gewoon het beste om te gebruiken, en dan vooral die van Intel, die van AMD zijn toch minder.

[Jerie]

Remc0_ schreef op woensdag 11 september 2024 @ 18:46:
[...]


Ehh normaal is dat een GPU, er zijn wel wat video accelerators maar die zijn duurder dan een gewone GPU, maar ja die zijn niet echt geweldig voor je verbruik. Uiteindelijk is je iGPU gewoon het beste om te gebruiken, en dan vooral die van Intel, die van AMD zijn toch minder.

Nee, sommige iGPUs zijn hier niet voor geschikt (de Matrox G200 in m'n HP MicroServer Gen 10 Plus) maar ik gebruik ook liever helemaal geen (i)GPU als dat niet nodig is. Serial console vind ik wel prima.

Kijk als ik dan toch een NPU gebruik voor Frigate dan kan ik misschien ook net zo goed deze NPU voor transcoding kunnen gebruiken. Scheelt op die machine de iGPU (die in de MS-01 zit).

Nadeel is dat je geen KVM hebt. Maar voor een thuisserver is dat misschien ook niet zo nodig.

[Remc0_]

Jerie schreef op woensdag 11 september 2024 @ 18:50:
[...]


Nee, sommige iGPUs zijn hier niet voor geschikt (de Matrox G200 in m'n HP MicroServer Gen 10 Plus) maar ik gebruik ook liever helemaal geen (i)GPU als dat niet nodig is. Serial console vind ik wel prima.

Kijk als ik dan toch een NPU gebruik voor Frigate dan kan ik misschien ook net zo goed deze NPU voor transcoding kunnen gebruiken. Scheelt op die machine de iGPU (die in de MS-01 zit).

Nadeel is dat je geen KVM hebt. Maar voor een thuisserver is dat misschien ook niet zo nodig.

Ja met Server mobo's ga je weinig succes beleven, dus als je geen GPU wilt zal je software transcoding moeten gebruiken.
Corals hebben geen hardware aan boord voor encoding/decoding dus die kan je jammer genoeg niet gebruiken daarvoor.

[mrmrmr]

Jerie schreef op woensdag 11 september 2024 @ 18:37:
M.i. wil je staggered startup voor je HDDs. Normaal reken je 30W voor de start-up per HDD. Normaal gesproken regel je dit middels een HBA of hardware raid controller. Hoewel die natuurlijk ook weer wat snoept.

Een RAID controller is doorgaans een grootverbruiker en die kan een veelvoud van het hele systeem verbruiken. Dat komt vooral doordat het een processor bevat ("een systeem in een systeem"). Dus dat past niet in een zuinige server.

Helaas zit de staggered startup niet vaak meer in een normale BIOS. Dat zou wel veel effectiever zijn, maar men gaat er tegenwoordig van uit dat er weinig hard disks worden gebruikt. De meeste moderne borden hebben 4x SATA of minder waar dat voorheen 6x SATA was.
Ik vraag me af of het misschien niet ergens verstopt zit en door middel van een BIOS patch/edit kan worden aangezet. Er zijn BIOS edit tools (zoals AFUDOS/AfuWin/AMIBCP), maar het is wel goed oppassen zo maar iets te draaien vanaf een vage site. En er is het risico dat het moederbord niet meer opstart. Zie https://www.google.com/search?q=AMI+BIOS+edit .

Met 6x 2.5" 4 of 5 TB Seagate disks zou je slechts 5,1W nodig hebben (6 * 0,85W) voor 30TB storage. Dat is een stuk minder dan een combinatie van moderne grote 3.5" disks ter grootte van 30TB. Seagate heeft wel een systeem om de disks trager te laten draaien. Dat is een workaround omdat 3.5" Seagate disks veel verbruiken. Toshiba MG09/MG10 biedt voor zover ik weet de beste verbruik/prestatie/prijs. Ik gebruik die voor backup.

[Morphix]

Meting van een Dell Optiplex 3070 Small Form Factor.

OS: Almalinux 9.4 (minimal). Dit is qua verbruik vergelijkbaar met Debian. Powertop is enabled, maar bracht het idle verbruik niet lager. Package state C8 en C10 lijkt geen verschil te maken qua verbruik.

Om ASPM aan te krijgen moest ik de kernel parameter

code:

pcie_aspm=force

toevoegen.

• Dell Optiplex 3070 Small Form Factor
• Intel 9100
• 2 x 8 GB RAM
• 128 GB Nvme (M2 2230)
• incl. 1x Intel I210 netwerk uitbreidingskaart

Enkel ethernet aangesloten.

Minimale idle verbruik: 6.7W

Gemeten met Brennenestuhl PM231E.

Eerlijk gezegd een beetje teleurstellend resultaat. Ik vind het verbruik vrij hoog. Het is dat dit een machine is met uitbreidingsslots en dat 'ie relatief weinig gekost heeft, maar ik zou dit niet aanraden voor een laag-verbruik systeempje. Dan ben je beter af met custom systeempje met Asrock HDV bordje en 9e of 10e generatie Intel CPU ofzo.

[Sir Bacon]

GioStyle schreef op zaterdag 10 augustus 2024 @ 18:41:
https://aoostar.com/produ...6-512gb-m-2-2280-nvme-ssd

De AOOSTAR WTR PRO 4 Bay. Een 4 bay nas gebaseerd op een N100 processor.

Er is inmiddels ook een variant met een AMD Ryzen 7 5825u beschikbaar:
https://aoostar.com/produ...B6?variant=49223254933802

Deze heeft 2x een NVME (PCI3.0x4) en 2x DDR4 SODIMM. En de Ryzen is op 7nm gemaakt, de N100 op 10nm.

Ik heb even met ze gechact omdat deze ook mijn interesse heeft. De SATA poorten zijn direct aangesloten, dus niet via een aparte SATA-controller, dat scheelt hopelijk ook weer wat vermogen.
Qua power consumption hadden ze het over ongeveer 9W. Niet per se zuinig, maar wel een klap minder dan mijn DS918+ (~30W).

Ik wacht nog even tot de review van NasCompares beschikbaar komt, die is nu alleen nog met early access te zien. Dat zal wellicht de N100 versie zijn, maar de behuizing is hetzelfde.
https://ko-fi.com/nascompares/posts

Edit:
De review is inmiddels beschikbaar:
YouTube: Aoostar WTR Pro NAS Review
Gaat zowel over de N100 als de AMD versie.
Energieverbruik laat te wensen over. Maar ook geen idee of de test vergelijkbaar is met de testen hier.
Ik blijf verder nadenken.

[ Voor 13% gewijzigd door Sir Bacon op 14-09-2024 19:11 ]

[mrmrmr]

@Morphix Als je de extra netwerkkaart eraf haalt is het eindverbruik ca. 6W. Is de consoleblank instelling actief? (zie topic start). Daarmee schakel je het signaal naar de monitor uit, de monitor gaat in slaapstand (DPMS) en kan de gpu in een low power stand.

Ik verwacht niet dat ASRock HDV het beter doet aan de stekker. Het kan nog lager met een Fujitsu D3643-H moederbord, maar die zijn niet makkelijk tweedehands of nieuw te vinden.

[Morphix]

Netwerkkaart eraf maakt geen verschil. De Dell heeft zelf een realtek aansluiting, maar Ethernet eraf maakte geen verschil. Daar zou ik de instellingen nog eens van kunnen nalopen.

Consoleblank staat aan. Ook geprobeerd met (Samsung 850 EVO) SSD, ipv de standaard Nvme, en met kale Debian installatie. BIOS default of aangepast. Maakte allemaal geen verschil.

Het systeem haalt package state C10, dus ik ga er vanuit dat ik op minimaal verbruik zit.

Overigens is er wel heel af en toe een piekje naar onder, naar 6.4 of 6.1W geloof ik.

Mijn systeem met Intel 10400 en Asrock H510(?) HDV zit op 5W. Zal ik hier over een tijdje ook delen, maar dat projectje staat even in de ijskast. Aardig wat aan het BIOS moeten sleutelen voor ik daar zat.

[ Voor 6% gewijzigd door Morphix op 13-09-2024 16:15 ]

[kjs021]

Op basis van vele reviews en forumposts heb ik een server/NAS samengesteld. Hoor graag of ik hier domme dingen aan het doen ben.

De server gaat in eerste instantie worden gebruikt voor Plex. Met de tijd (voornamelijk om mijzelf wat tijd te gunnen om het e.e.a. te leren) wil ik ook een VPN, ad-block, sync opslag met mobiel etc. toevoegen. Qua budget heb ik ruimte - wil nu een goede investering doen zodat ik niet over een paar jaar componenten moet vervangen.

Bij deze de wenslijst tot nu toe:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12600K Boxed	€ 189,-	€ 189,-
1	Moederborden	ASUS Pro WS W680M-ACE SE	€ 483,78	€ 483,78
1	Behuizingen	Fractal Design Node 804	€ 109,99	€ 109,99
1	Usb-sticks	Sandisk Ultra Dual Drive M3.0 16GB Grijs	€ 8,95	€ 8,95
1	Processorkoeling	Noctua NH-D15 Bruin	€ 99,20	€ 99,20
2	Geheugen intern	Kingston KSM48E40BS8KI-16HA	€ 101,90	€ 203,80
1	Voedingen	Fractal Design ION+ 560W Platinum	€ 124,90	€ 124,90
			Totaal	€ 1.219,62

Voor de volledigheid moet ik nog een NVME SSD toevoegen voor de cache opslag (waarschijnlijk een 1tb). Daarnaast is de mobo mogelijk overkill. Maar heb deze gekozen omwille van de ECC memory dat de kans op fouten verlaagt en de positieve reviews bij verschillende YouTubers. Voor de HDD's kijk ik naar white-label recertified HDD's van datablocks.eu (12 tb+ per HDD).

Edit 1 - met dank aan @pimlie heb ik het werkgeheugen vervangen. Dit is nu in lijn met de website van de mobo (zie post hieronder).

Heb even rondgekeken op het forum, maar kwam geen specifieke eisen tegen rond het posten van dergelijke vragen. Als ik zaken heb gemist, excuus. Dan zal ik het uiteraard zsm toevoegen.

Alvast bedankt voor de adviezen.

[ Voor 17% gewijzigd door kjs021 op 15-09-2024 18:40 ]

[pimlie]

@kjs021 Volgens mij ondersteunt de W680 chipset alleen (ECC) UDIMM, geen RDIMM. Het lijkt dat dat fout staat in de Pricewatch kenmerken van dat mobo, want ook de specificaties in de manual van dat mobo noemt alleen Un-buffered memory. Zie bv ook de Kingston geheugen zoeker: https://www.kingston.com/...-w680m-ace-se-motherboard (klik op tabblad Server Premier)

[mrmrmr]

@kjs021 Dit is het topic voor zuinige servers thuis. Waarom selecteer je een W680? Waarom ECC? Ga je de computer gebruiken voor zaken waar de schade groot kan zijn? Risico hangt af van de hoeveelheid schade en de kans op schade. Als een van beide nogal klein is, is het niet de moeite waard daar geld in te steken. Laat je niets aansmeren door mensen die voor gewin iets aanprijzen dat je niet nodig hebt.

Als het niet per se nodig is, dan is een zuinige server gebaseerd op een desktop doorgaans een betere en goedkopere keuze.

Wat betreft die goedkope 3.5" hard disks: daar zet ik een groot vraagteken bij. Gebruikte drives zou ik niet aan beginnen, die hebben een hoog faalrisico. Ik zie er ook recente hard disks van 18 tot 22 TB. Waarom wil men daar van af voor onder de normale prijs? Ik zou er vanuit gaan dat er problemen mee zijn. Slechte SMART waarden kan men verbloemen met software. Dat betekent niet dat problemen zijn opgelost. Seagate HDD consumentenprijzen vind ik veel te hoog, ik kies voor Toshiba MAMR drives zoals MG09, MG10. Die zijn qua aanschafprijs een stuk realistischer.

In het kader van zuinige computers is het verstandiger om zo weinig mogelijk 3.5" hard disks te gebruiken en in plaats daarvan (zeer) grote disks toe te passen. Die hebben een goede Watt per TB verhouding. Zorg altijd voor backup. Dat kan het zuinigste als ze alleen actief zijn als je een backup maakt. Bijvoorbeeld via een externe USB behuizing.

Een USB stick gebruiken in een server is een beetje old-school. Er zijn tegenwoordig SSD's, die intrinsiek veel sneller en veel zuiniger zijn. Een USB3 drive wordt warm of zelfs heet, want energie wordt omgezet in warmte. Er is doorgaans geen power saving. Als je toch een USB drive nodig hebt, dan is een USB2 stick de zuinigere keuze, die kunnen geen groot vermogen claimen via het USB protocol.

[GoBieN-Be]

Morphix schreef op vrijdag 13 september 2024 @ 12:15:
Meting van een Dell Optiplex 3070 Small Form Factor.
...
Eerlijk gezegd een beetje teleurstellend resultaat. Ik vind het verbruik vrij hoog. Het is dat dit een machine is met uitbreidingsslots en dat 'ie relatief weinig gekost heeft, maar ik zou dit niet aanraden voor een laag-verbruik systeempje. Dan ben je beter af met custom systeempje met Asrock HDV bordje en 9e of 10e generatie Intel CPU ofzo.

De SFF variant heeft geloof ik een ingebouwde voeding.
Dat zal volgens mij meer overhead geven dan een Mini Form Factor systeem die werkt met externe zuinige power adapter.

[pimlie]

@kjs021 In het kader van wat @mrmrmr zegt, 1R is geheugen is vaak zuiniger dan 2R geheugen. Over het algemeen ook iets sneller. Gelinkt Kingston geheugen is helaas veel duurder, wellicht zijn er andere fabrikanten met goedkoper 1R geheugen.

[kjs021]

mrmrmr schreef op zondag 15 september 2024 @ 18:59:
@kjs021 Dit is het topic voor zuinige servers thuis. Waarom selecteer je een W680? Waarom ECC? Ga je de computer gebruiken voor zaken waar de schade groot kan zijn? Risico hangt af van de hoeveelheid schade en de kans op schade. Als een van beide nogal klein is, is het niet de moeite waard daar geld in te steken. Laat je niets aansmeren door mensen die voor gewin iets aanprijzen dat je niet nodig hebt.

Als het niet per se nodig is, dan is een zuinige server gebaseerd op een desktop doorgaans een betere en goedkopere keuze.

Wat betreft die goedkope 3.5" hard disks: daar zet ik een groot vraagteken bij. Gebruikte drives zou ik niet aan beginnen, die hebben een hoog faalrisico. Ik zie er ook recente hard disks van 18 tot 22 TB. Waarom wil men daar van af voor onder de normale prijs? Ik zou er vanuit gaan dat er problemen mee zijn. Slechte SMART waarden kan men verbloemen met software. Dat betekent niet dat problemen zijn opgelost. Seagate HDD consumentenprijzen vind ik veel te hoog, ik kies voor Toshiba MAMR drives zoals MG09, MG10. Die zijn qua aanschafprijs een stuk realistischer.

In het kader van zuinige computers is het verstandiger om zo weinig mogelijk 3.5" hard disks te gebruiken en in plaats daarvan (zeer) grote disks toe te passen. Die hebben een goede Watt per TB verhouding. Zorg altijd voor backup. Dat kan het zuinigste als ze alleen actief zijn als je een backup maakt. Bijvoorbeeld via een externe USB behuizing.

Een USB stick gebruiken in een server is een beetje old-school. Er zijn tegenwoordig SSD's, die intrinsiek veel sneller en veel zuiniger zijn. Een USB3 drive wordt warm of zelfs heet, want energie wordt omgezet in warmte. Er is doorgaans geen power saving. Als je toch een USB drive nodig hebt, dan is een USB2 stick de zuinigere keuze, die kunnen geen groot vermogen claimen via het USB protocol.

Dank voor de uitgebreide reactie. Wordt gewaardeerd.

Om eerlijk te zijn - de keuzes die ik heb gemaakt zijn niet goed onderbouwd. Anders dan dat dit in gevallen wordt geadviseerd op forums en/of door YouTubers. Daarmee dus geen bewuste keuze voor de 680 en voor de ECC. Mijn post ook bewust begonnen met dat ik mogelijk domme dingen doe.

Als er qua prijs-kwaliteit een betere mobo is dan pas ik mij graag aan. Zal ook zelf nog wat verder onderzoek doen en dit topic nog wat verder doorlezen

[Jerie]

mrmrmr schreef op zondag 15 september 2024 @ 18:59:
@kjs021 Dit is het topic voor zuinige servers thuis. Waarom selecteer je een W680? Waarom ECC? Ga je de computer gebruiken voor zaken waar de schade groot kan zijn? Risico hangt af van de hoeveelheid schade en de kans op schade. Als een van beide nogal klein is, is het niet de moeite waard daar geld in te steken. Laat je niets aansmeren door mensen die voor gewin iets aanprijzen dat je niet nodig hebt.

Als het niet per se nodig is, dan is een zuinige server gebaseerd op een desktop doorgaans een betere en goedkopere keuze.

Wat betreft die goedkope 3.5" hard disks: daar zet ik een groot vraagteken bij. Gebruikte drives zou ik niet aan beginnen, die hebben een hoog faalrisico. Ik zie er ook recente hard disks van 18 tot 22 TB. Waarom wil men daar van af voor onder de normale prijs? Ik zou er vanuit gaan dat er problemen mee zijn. Slechte SMART waarden kan men verbloemen met software. Dat betekent niet dat problemen zijn opgelost. Seagate HDD consumentenprijzen vind ik veel te hoog, ik kies voor Toshiba MAMR drives zoals MG09, MG10. Die zijn qua aanschafprijs een stuk realistischer.

In het kader van zuinige computers is het verstandiger om zo weinig mogelijk 3.5" hard disks te gebruiken en in plaats daarvan (zeer) grote disks toe te passen. Die hebben een goede Watt per TB verhouding. Zorg altijd voor backup. Dat kan het zuinigste als ze alleen actief zijn als je een backup maakt. Bijvoorbeeld via een externe USB behuizing.

Een USB stick gebruiken in een server is een beetje old-school. Er zijn tegenwoordig SSD's, die intrinsiek veel sneller en veel zuiniger zijn. Een USB3 drive wordt warm of zelfs heet, want energie wordt omgezet in warmte. Er is doorgaans geen power saving. Als je toch een USB drive nodig hebt, dan is een USB2 stick de zuinigere keuze, die kunnen geen groot vermogen claimen via het USB protocol.

Tja, ik zou toch echt altijd voor ECC gaan als het kan. Ik zou het zelfs in desktops gebruiken en het is een gotspe dat Intel al die tijd het heeft tegengehouden om het breed uit te rollen op de desktop 'want premium feature'. Bitrot happens, altijd en overal.

Wat betreft SMART waardes, klopt dat is te manipuleren. Mede daarom koop je HDDs niet van dezelfde batch en neem je goede garantie. Ook tweedehands is dat te regelen. Waarom ze ze in grote batches verkopen? Omdat de servers zijn afgeschreven na drie jaar. Betekent niet dat de hardware ook nutteloos is (juist vanuit zuinigheid perspectief is tweedehands ook mooi in deze context).

SATA en SAS zijn ook prima te downspinnen. USB protocol kent overhead en problemen met data consistentie (vooral bij USB3). Met name zonder externe voeding kakken ze eruit. Heb je dan geen consistentie features zoals PLP dan ben je zo het haasje.

Die USB stick van Sandisk bijvoorbeeld is een prime suspect. Ook kan dit ding niet tegen hitte of veel writes. Neem een industrial grade flash, 8 GB is waarschijnlijk genoeg voor je OS. aMLC of beter. pSLC is ook prima. 8 GB heb je al voor 50 EUR. Kan prima USB2 zijn idd.

De 2.5" HDDs is weinig keuze in voor hoge TB en het spul van 4 en 5 TB (Seagate) zijn SMR.

[Mars Warrior]

kjs021 schreef op zondag 15 september 2024 @ 19:52:
[...]
Om eerlijk te zijn - de keuzes die ik heb gemaakt zijn niet goed onderbouwd. Anders dan dat dit in gevallen wordt geadviseerd op forums en/of door YouTubers. Daarmee dus geen bewuste keuze voor de 680 en voor de ECC. Mijn post ook bewust begonnen met dat ik mogelijk domme dingen doe.

Het hangt een beetje van de fora af, maar er zijn er zat waar een niet ECC build vloeken in de kerk is, men 100TB aan data heeft, geld geen rol speelt, en stroomprijzen net aan 10 cent/kWh zijn. En oja: een build zonder ZFS is ook fout

Hier zit je in het zuinige server topic, waar veel mensen wat pragmatischer tegen een server aankijken...

Jerie schreef op maandag 16 september 2024 @ 07:54:
[...]
Tja, ik zou toch echt altijd voor ECC gaan als het kan. Ik zou het zelfs in desktops gebruiken en het is een gotspe dat Intel al die tijd het heeft tegengehouden om het breed uit te rollen op de desktop 'want premium feature'. Bitrot happens, altijd en overal.

Dat is wel het ideale geval denk ik. Maar je moet wel de kosten (aanschaf en operationeel) kunnen en willen betalen, want ECC is belachelijk duur dankzij de marktsegmentatie van in ieder geval Intel.

Stel je voor dat elk simpel consumenten mobo ECC biedt, dan kun je niet meer de hoofdprijs vragen voor je server/Pro grade spullekes

Aan de andere kant heb ik bijna een jaar geleden ook al eens de vraag gesteld wat het nut is van ECC:
Dus nogmaals:

---

Mijn server (12700K, Kontron mobo) heeft ook geen ECC, maar wel DDR5.

Nu vraag ik me even af: ik gebruik al 10 jaar SnapRaid. Deze heeft in al die jaren nog nooit checksum / parity fouten gegeven. Of SnapRaid werkt gewoon niet, of mijn 3.5" en nu 2.5" schijven zijn blijkbaar betrouwbaar

Verder leest SnapRaid bij elke scrub die ca 2 uur duurt de data in RAM en berekent vervolgens de checksum / parity die weer wordt vergeleken met de parity disk.

Mag ik nu voorzichtig concluderen dat omdat SnapRaid nog nooit fouten heeft gegeven bij deze berekeningen, mijn RAM (DDR3 in oude server, DDR5 in nieuwe server) nog nooit fouten heeft gehad?

Dat is namelijk hoe ik ertegenaan kijk. Als mijn RAM rot is, dan verwacht ik random fouten in SnapRaid die er bij een handmatige controle niet blijken te zijn

---

Natuurlijk zijn er voorbeelden van mensen die in de log ECC fouten zien, maar zijn dat link fouten (transport van RAM naar CPU en omgekeerd) of on-die fouten. Die laatste worden immers nu door DDR5 opgevangen.

Verder is het naar mijn mening zo dat als dit soort fouten erg vaak voorkomen, dat ECC breder zou worden toegepast: immers we gebruiken allemaal wel een smartphone, PC of laptop zonder ECC. Als daar regelmatig fouten ontstaan zou je dat toch op fora moeten terugzien qua ellende.

De 2.5" HDDs is weinig keuze in voor hoge TB en het spul van 4 en 5 TB (Seagate) zijn SMR.

Je bedoelt neem geen SMR ofzo? Ik heb enkel SMR schijven en nog nooit een probleem gehad in mijn Mergerfs / Snapraid systeem.

[bjp]

Verder leest SnapRaid bij elke scrub die ca 2 uur duurt de data in RAM en berekent vervolgens de checksum / parity die weer wordt vergeleken met de parity disk.

Mag ik nu voorzichtig concluderen dat omdat SnapRaid nog nooit fouten heeft gegeven bij deze berekeningen, mijn RAM (DDR3 in oude server, DDR5 in nieuwe server) nog nooit fouten heeft gehad?

voor dit gebruik je maar een beperkt deel van je gehele DRAM, niet veel meer dan een 'blok' grote-orde. Dus feitelijk test je maar weinig.

Een memtest (86+ of zo) zal je veel meer vertellen over hoe goed je DRAM is.

[pimlie]

@kjs021 De vraag is hoe zeker je wilt zijn dat bv. je familie photo's (of andere voor jou unieke data dat je opslaat) niet corrupt raken als je ze opslaat? En hoeveel ben je bereid om daar meer voor te betalen?

I.c.m. een bestandsysteem dat silent data corruption voorkomt (bv ZFS) zorgt ECC geheugen er voor dat als je b.v. een foto opslaat op disk deze foto gegarandeerd hetzelfde is als wat er is ingelezen in het geheugen van je computer. Of dat exact dezelfde foto's als de daadwerkelijke bron is wordt uiteraard niet gegarandeerd, dat hangt af van hoe de foto in het geheugen wordt geladen. Maar als je weet dat het moment van schrijven eigenlijk het enige moment is waarbij het mis kan gaan dan kan je ook makkelijk checken na uploaden of de foto's correct zijn opgeslagen.

Dit is een oudere maar nog altijd goede blog post die het misschien nog beter uitlegt: https://www.truenas.com/b...rpose-and-best-practices/ (onder ECC RAM or Not?)

Ik zou overigens ook geen USB stick gebruiken, dat mobo heeft 2x M2 dus gooi er een extra M2 in voor je OS of doe zelfs 2x M2 met een (software raid 1 of raidz1) voor je OS en 2x data partitie voor caching. Let hier wel bij op dat bij sommige moederborden het gebruik van bepaalde/alle M2/PCI-e sloten kan zorgen dat je CPU tot een bepaalde CX state beperkt is wat ook weer voor een hoger idle-verbruik kan zorgen (als ik het goed heb is dat vaak zo als de M2/PCI-e direct op de cpu is aangesloten ipv via de chipset).

In een lijstje:

• Ga je geen ZFS-like / self-correcting bestandssysteem gebruiken voor je data opslag dan maakt wel/geen ECC niet zoveel uit
• Ga je bv alleen Plex gebruiken met content die je makkelijk opnieuw kan downloaden, dan maakt ECC ook niet veel uit
• Heb je veel unieke data (zoals familie foto's) die je niet opnieuw kan downloaden, dan zou ECC zinvol kunnen zijn (i.c.m. met een self-correcting fs)
• Is de extra 200-300 euro in aanschaf voor een Intel-based systeem en 5-10W extra idle verbruik het je waard om de kleinste kans te hebben dat je data (silent) corrupt raakt? AMD ondersteunt ECC wel op bijna alle chipsets, maar dan is je idle-verbruik vaak 10-20W hoger dan een non-ECC Intel systeem
• Realiseer je dat als je bereid bent om extra te investeren in data veiligheid op je server je ook zou moeten zorgen dat je voldoet aan het 3-2-1 backup principe? En ben je bereid om daar ook in te investeren?

Maar gewoon omdat het kan is uiteindelijk ook een goede reden, uiteindelijk zijn veel van ons ook liefhebbers die gewoon graag het best mogelijke in huis hebben

En dit is het zuinige server topic niet het zuinigSTE server topic toch? Dus als iemand bv ECC geheugen als eis heeft dan zouden mensen nog altijd hier terrecht moeten kunnen met vragen over hoe binnen hun eisenpakket zij de zo zuinig mogelijke server kunnen bouwen wat mij betreft...

[Mars Warrior]

pimlie schreef op maandag 16 september 2024 @ 11:15:
En dit is het zuinige server topic niet het zuinigSTE server topic toch? Dus als iemand bv ECC geheugen als eis heeft dan zouden mensen nog altijd hier terrecht moeten kunnen met vragen over hoe binnen hun eisenpakket zij de zo zuinig mogelijke server kunnen bouwen wat mij betreft...

Zeker weten! Het is niet voor niets dat er linkjes en builds zijn van W680 systemen die uitkomen tussen de 15 en 20W idle met enkel SSD en netwerk. Dat is iets meer dan 5-10W verschil tov een zuinige server (3W), maar nog steeds niet onoverkomelijk.

Heb je veel RAM nodig, dan is je build al wel snel €500 of meer duurder dan een niet ECC build.

De link met uitleg is uit 2015, en neemt dus niet de on-die ECC van DDR5 mee in de afweging. Oftewel treden bitfouten op tijdens lezen/schrijven of voornamelijk bij opslag (dus bitrot gerelateerd).

Volgens Samsung geeft DDR5 ca 1 miljoen x minder fouten dan DDR4 dankzij die on-die ECC. Kan alleen het onderzoek ff niet zo snel meer vinden.

Het blijft altijd een risico afweging. Daarom gebruik ik ook Snapraid om te voorkomen dat foto's en video's plotseling niet meer leesbaar zijn (bitrot) en mijn externe backup mogelijk dus ook gecompromitteerd is.

Verder geen idee of het draaien van RAM op zijn standaard SPD snelheid (DDR5-4800 dus) ook bijdraagt in het verkleinen van de kans dat tijdens lezen/schrijven fouten ontstaan.

[pimlie]

@Mars Warrior Voor zover ik weet worden on-die ECC fouten niet gerapporteerd naar het OS maar ECC fouten wel. Ik las laatst ook ergens dat on-die ECC mede ontwikkeld zou zijn om hogere yields te behalen bij productie omdat fabrikanten hierdoor dus meer geheugen chips als 'goed' kunnen bestempelen. Of dat waar is geen idee, maar on-die ECC en volwaardig ECC zijn niet hetzelfde omdat de communicatie tussen de CPU en het geheugen met alleen on-die ECC niet beschermd is. Natuurlijk heb je gelijk dat on-die ECC wel veiliger dan helemaal geen ECC, maar er is m.i. nog altijd meerwaarde in volwaardig ECC.

[Mars Warrior]

pimlie schreef op maandag 16 september 2024 @ 12:07:
@Mars Warrior Voor zover ik weet worden on-die ECC fouten niet gerapporteerd naar het OS maar ECC fouten wel. Ik las laatst ook ergens dat on-die ECC mede ontwikkeld zou zijn om hogere yields te behalen bij productie omdat fabrikanten hierdoor dus meer geheugen chips als 'goed' kunnen bestempelen. Of dat waar is geen idee, maar on-die ECC en volwaardig ECC zijn niet hetzelfde omdat de communicatie tussen de CPU en het geheugen met alleen on-die ECC niet beschermd is. Natuurlijk heb je gelijk dat on-die ECC wel veiliger dan helemaal geen ECC, maar er is m.i. nog altijd meerwaarde in volwaardig ECC.

Het lijkt er inderdaad op dat on-die ECC niks meld...

Ik heb op Reddit 1 post gevonden waar iemand zijn uiterste best heeft moeten doen om op een Ryzen AM5 platform met ECC RAM, ECC fouten te krijgen...

Zie de EDIT hoever deze persoon is moeten gaan om fouten te krijgen



Voor mij lijkt het er dus op dat die on-die ECC zo ongeveer alle fouten wel hersteld, en dat je idiote dingen moet doen om ECC fouten tijdens het ontvangen/verzenden te krijgen. In dit geval door het buiten specificatie verlagen van de spanning van toevallig die signalen die over de integriteit gaan...

Overigens: als die test van Samsung die ik niet kan vinden klopt, en je neemt 1 ECC error per uur met DDR4 en DDR5 zou dat per 1 miljoen uur doen, dan ben je 114 jaar verder

[pimlie]

@Mars Warrior Interessante test, dank voor het delen. Heb me (nog) niet heel erg verdiept in on-die DDR5 (draai zelf een W680 met DDR4) maar dit is een goede start! Mijn vervolg gedachte zou iig zijn dat temperatuur en met name ouderdom ook van invloed zouden kunnen zijn op het aantal errors.

En alhoewel je uiteraard geen ongelijk hebt, is het wel zo dat als je ZFS gebruikt dat alle checksum berekeningen en evt correcties gebruik maken van je geheugen. Daarom wordt vaak gezegd dat ECC benodigd is als je ZFS gebruikt, omdat een van de meest essentiele features van ZFS dus enorm afhankelijk is van een correcte transfer van data van je hdd via de cpu naar je geheugen. En dat kan je eigenlijk alleen garanderen met volwaardig ECC (omdat dan de error detectie plaats vind in de memory controller in je cpu, ipv op je geheugen module), hoe klein de kans op fouten met DDR5 on-die ecc dan ook mogen zijn.

Vergelijk het met een pakketje dat je besteld bij een webshop, natuurlijk kan je er over het algemeen op vertrouwen dat de pakbon klopt en dat de webshop jou heeft gestuurd wat je hebt besteld (ie on-die ECC). Maar wedden dat jij toch voor de zekerheid alles nog een keer controleert zodat jij (ie de memory controller) zeker weet dat de bezorger ook niets uit je pakketje heeft gehaald?

[Mars Warrior]

pimlie schreef op maandag 16 september 2024 @ 14:32:
@Mars Warrior Interessante test, dank voor het delen. Heb me (nog) niet heel erg verdiept in on-die DDR5 (draai zelf een W680 met DDR4) maar dit is een goede start! Mijn vervolg gedachte zou iig zijn dat temperatuur en met name ouderdom ook van invloed zouden kunnen zijn op het aantal errors.

Het vinden van deze post was toeval. Ik kan er werkelijk maar weinig over vinden, en dan niet de theorie, maar iemand die in de praktijk dit is gaan uitzoeken.

Ik kan ook nergens vinden wat van invloed zou zijn op het aantal errors. Op RAM zit iha levenslange garantie, dus dan zou ik verwachten dat er weinig tot geen degeneratie is.

Aan de andere kant laat deze persoon zien hoe extreem je moet gaan om fouten te krijgen bij het verzenden/ontvangen:

• RAM overklokken, dus boven de spec van de fabrikant (6200 ipv 6000)
• De spanning van 1,35V naar 0,9V verlagen (ruim buiten de DDR5 SPD waarde van 1,1V)

Het is natuurlijk niet voor niets dat overklokkers altijd RAM en andere belastingstesten draaien om zeker te zijn dat ze niet buiten de mogelijkheden van het RAM opereren. Bij hogere spanningen gaat de temperatuur natuurlijk een rol spelen.

En alhoewel je uiteraard geen ongelijk hebt, is het wel zo dat als je ZFS gebruikt dat alle checksum berekeningen en evt correcties gebruik maken van je geheugen. Daarom wordt vaak gezegd dat ECC benodigd is als je ZFS gebruikt, omdat een van de meest essentiele features van ZFS dus enorm afhankelijk is van een correcte transfer van data van je hdd via de cpu naar je geheugen. En dat kan je eigenlijk alleen garanderen met volwaardig ECC (omdat dan de error detectie plaats vind in de memory controller in je cpu, ipv op je geheugen module), hoe klein de kans op fouten met DDR5 on-die ecc dan ook mogen zijn.

Yep. ZFS eist geen ECC, maar wordt wel aangeraden. Echter hetzelfde doet Snapraid natuurlijk: ook die berekent alles in RAM. Natuurlijk gebruikt dat niet de volledige 32/64GB, maar dat doet ZFS ook niet.

Echter het aantonen van de noodzaak door een praktijktest te doen met een recent moederbord en standaard DDR5 kan ik tot nu toe nergens vinden. Niemand durft zijn 100TB ZFS storage op de pijnbank te leggen blijkbaar

En ik had dus in die 10 jaar best wel een keer verwacht dat ik van Snapraid een checksum error zou krijgen, maar die heb ik nog nooit gehad. Best raar als het allemaal zo belangrijk zou moeten zijn, want in die 10 jaar heb ik natuurlijk wel verschillende disken gebruikt.

Ik ben overigens niet tegen ECC ofzo, maar twijfel door eigen en deze ervaring van het toegevoegde nut, zeker gezien de extra kosten die het voor mij zou betekenen. Zomaar even €1.000 meer uitgeven (server en desktop) is beetje veel voor mij.

[Morphix]

GoBieN-Be schreef op zondag 15 september 2024 @ 19:03:
[...]


De SFF variant heeft geloof ik een ingebouwde voeding.
Dat zal volgens mij meer overhead geven dan een Mini Form Factor systeem die werkt met externe zuinige power adapter.

Ik heb ook een Fujitsu Esprimo (formaat mini computer) met ingebouwde voeding en die doet minder dan 3W.

Kan natuurlijk dat er in de 3070 SFF gewoon een matige voeding zit. Als ik mijn ATX voeding in plaats van een PicoPSU aansluit op een systeem scheelt dat ook 2W in idle. En de 3070 heeft een volledige 9100 (dus niet een T-variant ofzo) dus de voeding (en rest vh systeem) moet ook wel wat meer aankunnen.

Maakt me wel benieuwd naar wat dergelijke medium systemen van andere merken doen.

[mrmrmr]

@Morphix Wil je de details (onderdelen, typenummer en dergelijke) en meetgegevens posten van de Esprimo (met netwerkaansluiting op de switch)? Ik zie dat die nog niet staan in dit topic.

[Morphix]

@mrmrmr hij staat er al tussen in Morphix in "Het grote zuinige server topic - deel 3"

[blackmage2v]

Hallo
Al een tijdje volg ik met veel plezier dit topic. Recent ben ik begonnen met het configureren van mijn nieuwe Odroid H4+ server. Tijd om mijn ervaringen te delen.

De hardware:

#	Category	Product	Prijs	Subtotaal
2	Interne harde schijven	Toshiba MG07ACA14TE (512e), 14TB	€ 225,88	€ 451,76
1	Geheugen intern	Crucial CT16G48C40S5	€ 41,50	€ 41,50
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 111,64	€ 111,64
1	Singleboardcomputers	Hardkernel ODROID H4+	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 604,90

Hier draai ik Debian op. De eerste metingen heb ik kunnen doen middels een Brennenstuhl:

Opzet	Verbruik
Alleen SSD	4,2 W
SSD + 2x HDD in spindown	9,3 W
SSD _ 2x HDD actief	23 W

Ik heb het verbruik naar beneden gekregen middels wat BIOS-instellingen aanpassen en Powertop. De enige meting die ik nog voor elkaar wil krijgen, is als de hd's in idle mode staan. Mijn schatting is dat ik dan rond de 13 W zal uitkomen.

Ik ben al wel tegen wat aangelopen. Helaas werkt het niet om Powertop --auto-tune te gebruiken, omdat er een bug zit in de driver van de netwerk controller Intel I226-V. Voor meer info:

Topic Odroid forum
Topic Bugzilla
Topic op Github

Je kan hier wel omheen werken. Zolang je in Powertop handmatig alle aanbevolen settings aanpast, behalve die van de netwerk controllers, dan werkt het.

Ik heb nog 2 vragen:

1. Wanneer de 2 hd's in spindown zijn, is het totaal verbruik 9,3 W. Als ik ga rekenen vanaf de basis met alleen de SSD, dan zouden de hd's in spindown samen ongeveer 5 W verbruiken. Ofwel: 2,5 W per hd. Is dit normaal voor deze schijven als ze in spindown zijn?

2. Het verbruik wanneer alles aan staat, is rond de 23 W. Als ik ga rekenen vanaf het basis verbruik van 4,2 W + 2 hd's aan 16 W, zou ik rond de 20 uit moeten komen. Ik vind 23 W dan wat aan de hoge kant. Is dit verklaarbaar?

[bjp]

welke C-states haal je in de 3 configs (SSD only, SSD+2x HDD spindown of actief)?

Mss heb je 5W meer omdat de CPU niet zo laag in C-states kan gaan.

[manusjevanalles]

blackmage2v schreef op dinsdag 17 september 2024 @ 11:46:
Hallo
Al een tijdje volg ik met veel plezier dit topic. Recent ben ik begonnen met het configureren van mijn nieuwe Odroid H4+ server. Tijd om mijn ervaringen te delen.

De hardware:

#	Category	Product	Prijs	Subtotaal
2	Interne harde schijven	Toshiba MG07ACA14TE (512e), 14TB	€ 225,88	€ 451,76
1	Geheugen intern	Crucial CT16G48C40S5	€ 41,50	€ 41,50
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 111,64	€ 111,64
1	Singleboardcomputers	Hardkernel ODROID H4+	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 604,90

Hier draai ik Debian op. De eerste metingen heb ik kunnen doen middels een Brennenstuhl:

Opzet	Verbruik
Alleen SSD	4,2 W
SSD + 2x HDD in spindown	9,3 W
SSD _ 2x HDD actief	23 W

Ik heb het verbruik naar beneden gekregen middels wat BIOS-instellingen aanpassen en Powertop. De enige meting die ik nog voor elkaar wil krijgen, is als de hd's in idle mode staan. Mijn schatting is dat ik dan rond de 13 W zal uitkomen.

Ik ben al wel tegen wat aangelopen. Helaas werkt het niet om Powertop --auto-tune te gebruiken, omdat er een bug zit in de driver van de netwerk controller Intel I226-V. Voor meer info:

Topic Odroid forum
Topic Bugzilla
Topic op Github

Je kan hier wel omheen werken. Zolang je in Powertop handmatig alle aanbevolen settings aanpast, behalve die van de netwerk controllers, dan werkt het.

Ik heb nog 2 vragen:

1. Wanneer de 2 hd's in spindown zijn, is het totaal verbruik 9,3 W. Als ik ga rekenen vanaf de basis met alleen de SSD, dan zouden de hd's in spindown samen ongeveer 5 W verbruiken. Ofwel: 2,5 W per hd. Is dit normaal voor deze schijven als ze in spindown zijn?

2. Het verbruik wanneer alles aan staat, is rond de 23 W. Als ik ga rekenen vanaf het basis verbruik van 4,2 W + 2 hd's aan 16 W, zou ik rond de 20 uit moeten komen. Ik vind 23 W dan wat aan de hoge kant. Is dit verklaarbaar?

Interessant om je post te lezen. Ik ben ook bezig met de H4+. Wat merk je als je toch powertop —auto-tune draait? Bij mij lijkt hij het gewoon te doen in Ubuntu desktop, maar alleen als ik beide NIC’s aansluit met een ethernetkabel. Ik kom dan uit op ongeveer hetzelfde verbruik uit als bij jou met alleen de SSD (in mijn geval nog zonder SSD’s), maar wel tot maximaal C8.

Heb je behalve ASPM nog andere instellingen in het bios aangepast?

[RedRayMann]

Misschien ook interessant;

https://forum.odroid.com/...7af2fe240b6cb4b87#p385557

Verbruik van de Odroid adapters icm de Odroid H4, zonder load of in de uit stand.

Just to add some more data points for comparisons, I've tried the 15V and 19V PSU available from the official store. Power measurements are roughly comparable:

Official 15V 4A
1.1W - 1.4W (hard power off)
3.9W - 4.4W (idle)
0.3W - 0.8W (system shut down after one boot cycle)

Official 19V 7A
1.4W - 1.6W (hard power off)
4.3W - 4.5W (idle)
0.3W - 0.9W (system shut down after one boot cycle)

Leicke 12V 5A
1.1W - 1.3W (hard power off)
3.7W - 4.1W (idle)
0.3W - 0.7W (system shut down after one boot cycle)

[ Voor 56% gewijzigd door RedRayMann op 17-09-2024 14:22 ]

[mrmrmr]

@blackmage2v
Naast wat @manusjevanalles schrijft, je kan de settings dumpen in een recente versie van powertop met --auto-tune-dump (link). Die kun je dan automatisch laten uitvoeren in een script bij opstarten. Let op dat de powertop settings zonder een powertop service bij een reboot verloren gaan.

Volledig actief (lezen/schrijven) verbruiken deze drives tegen de 8,09W (DC) per stuk volgens cijfers van de fabrikant, aan de stekker zou dat circa 2x8W+20% = 16,18 * 1,2 = 19,4W zijn. Misschien is de +3,6W verklaarbaar door de actieve cpu en de rest van het actieve systeem.

Er is ook een idle (of actief idle), dat zou veel lager moeten liggen: ongeveer 4,25W DC: 2 x 4,53 = 9,06W DC, ongeveer 10,9W AC.

Drives zijn meestal niet continu bezig met lezen en schrijven. Als dat wel zo is, is een relatief trage SSD een betere keuze. Met name oudere modellen hebben een laag lees/schrijf verbruik. Perfomance modellen zijn voor zo'n toepassing niet de juiste keuze, hoewel het aan de SSD ligt hoe snel het in en uit PS3/PS4 low power kan. Is dat snel genoeg, dan zakt het verbruik binnen een seconde meerdere malen en komt het mogelijk gemiddeld lager uit.

Toshiba maakt geen spindown cijfers bekend. 2,55W vind ik aan de hoge kant. Misschien is er sprake van vertragen van de disks in plaats van stilzetten. Misschien kun je voelen of luisteren of dat zo is. Seagate doet zoiets bij sommige settings, van Toshiba is me dat niet bekend. Experimenteren met spin down tools kan misschien helpen. Fabrikanten hebben helaas diverse interpretaties van apm settings. Welke hdparm of andere opdracht gebruik je precies?

WD maakt wel spindown cijfers bekend. De nu niet meer verkrijgbare WD140EFFX zou 0,8W DC (bijna 1W AC) verbruiken.

[blackmage2v]

bjp schreef op dinsdag 17 september 2024 @ 12:20:
welke C-states haal je in de 3 configs (SSD only, SSD+2x HDD spindown of actief)?

Mss heb je 5W meer omdat de CPU niet zo laag in C-states kan gaan.

Even uit mijn hoofd: bij SSD only en SSD_2x HDD spindown 99,X% C10. Bij de SSD+2x hdd actief weet ik het niet. Laat ik nog even weten deze week.

manusjevanalles schreef op dinsdag 17 september 2024 @ 13:52:
[...]


Interessant om je post te lezen. Ik ben ook bezig met de H4+. Wat merk je als je toch powertop —auto-tune draait? Bij mij lijkt hij het gewoon te doen in Ubuntu desktop, maar alleen als ik beide NIC’s aansluit met een ethernetkabel. Ik kom dan uit op ongeveer hetzelfde verbruik uit als bij jou met alleen de SSD (in mijn geval nog zonder SSD’s), maar wel tot maximaal C8.

Heb je behalve ASPM nog andere instellingen in het bios aangepast?

Ik heb dit ook op andere fora gelezen, dat als je beide NIC's aansluit het wel gewoon werkt. Zelf nog niet getest. Wanneer ik met een enkele NIC powertop --auto-tune draai, dan blijf het systeem hangen in Powertop en kun je niks meer doen. Alleen nog maar stroom eraf of een reset.
Ik haal wel gewoon C10. Dit zijn aanpassingen die ik in de bios heb gedaan:

Advanced > CPU Power management control > HDC control > Turbomode: disabled
Chipset > PCH-IO Configuration > PCI Express configuration > DMI Link ASPM control: L0sL1
Chipset > PCH-IO Configuration > PCI Express configuration > PCI Express root port 3/4/7/9 ASPM: auto

mrmrmr schreef op dinsdag 17 september 2024 @ 17:06:
@blackmage2v
Naast wat @manusjevanalles schrijft, je kan de settings dumpen in een recente versie van powertop met --auto-tune-dump (link). Die kun je dan automatisch laten uitvoeren in een script bij opstarten. Let op dat de powertop settings zonder een powertop service bij een reboot verloren gaan.

Volledig actief (lezen/schrijven) verbruiken deze drives tegen de 8,09W (DC) per stuk volgens cijfers van de fabrikant, aan de stekker zou dat circa 2x8W+20% = 16,18 * 1,2 = 19,4W zijn. Misschien is de +3,6W verklaarbaar door de actieve cpu en de rest van het actieve systeem.

Er is ook een idle (of actief idle), dat zou veel lager moeten liggen: ongeveer 4,25W DC: 2 x 4,53 = 9,06W DC, ongeveer 10,9W AC.

Drives zijn meestal niet continu bezig met lezen en schrijven. Als dat wel zo is, is een relatief trage SSD een betere keuze. Met name oudere modellen hebben een laag lees/schrijf verbruik. Perfomance modellen zijn voor zo'n toepassing niet de juiste keuze, hoewel het aan de SSD ligt hoe snel het in en uit PS3/PS4 low power kan. Is dat snel genoeg, dan zakt het verbruik binnen een seconde meerdere malen en komt het mogelijk gemiddeld lager uit.

Toshiba maakt geen spindown cijfers bekend. 2,55W vind ik aan de hoge kant. Misschien is er sprake van vertragen van de disks in plaats van stilzetten. Misschien kun je voelen of luisteren of dat zo is. Seagate doet zoiets bij sommige settings, van Toshiba is me dat niet bekend. Experimenteren met spin down tools kan misschien helpen. Fabrikanten hebben helaas diverse interpretaties van apm settings. Welke hdparm of andere opdracht gebruik je precies?

WD maakt wel spindown cijfers bekend. De nu niet meer verkrijgbare WD140EFFX zou 0,8W DC (bijna 1W AC) verbruiken.

Ah, check. Die 20% erbij verklaard het wel. Dan zit je inderdaad rond de 23 W. De Idle modus van de hd's heb ik nog niet gehad. Moet ook zeggen dat ik recent pas de ext4lazyinit heb leren kennen en afgerond, dus mogelijk was dit de oorzaak van niet in de idle modus komen. Zal eens kijken of ik dit nu voor elkaar kan krijgen en wat het verbruik dan is.

Voor de spindown gebruik ik:

code:

hdparm -S 240 -B 127 /dev/sda

Wanneer de spindown actief wordt, dan hoor ik de schijven stoppen. Vervolgens zie ik ook op de brennenstuhl het verbruik zakken. Is er nog een actie die ik kan doen, om te kijken of er nog iets actief staat bij een hd in spindown? Als ik de vergelijking maak met de WD, dan is 1 W wel aanzienlijk minder dan 2,5 W.

[GoBieN-Be]

Het probleem met onstabiliteit door de Intel 2,5Gbe I226-V adapters en powertop is al een hele tijd geweten.
Of wel doe je de tunables van de NIC's niet, ofwel sluit je op alle poorten een kabel aan.

[blackmage2v]

Na weer wat spelen met instellingen, zijn we weer wat verder:

Ik zat nog op Powertop 2.14 en na de opmerking van @mrmrmr over een dump van de powertop-auto-tune instellingen, zijn we gaan updaten. In versie 2.15 stonden er meer instellingen automatisch op Good, waaronder ook de NIC's. Dit vond ik interessant, gezien het bij 2.14 fout ging, wanneer ik daarmee speelde. De enige die op bad stonden waren:

Enable SATA link power management for host0/1/2/3
VM Writeback timeout
NMI Watchdog should be turned off

Nadat ik deze instellingen op good had gezet, veranderde er eigelijk niks qua verbruik. Dit bleef zo rond de 23 Watt hangen. Na een check in de bios instellingen, waren deze allemaal gereset. Alles wat betreft ASPM stond weer op disabled. Na deze weer allemaal te activeren, daalde het gebruik enorm: zo rond de 18 Watt. Na bovenstaande settings ook aan te passen, ging het verbruik weer met een Watt naar benden. Vervolgens heb ik in de Bios nog verder gekeken wat ik mogelijk kon aanpassen en daar vond ik een mooie instelling:

Chipset > PCH-IO configuration > SCS configuration > eMMC 5.1 controller

Na deze uit te hebben gezet, schoot het verbruik nog met een aantal Watt naar beneden.

Verder kwam ik er ook achter, dat het nu wel mogelijk is om powertop --auto-tune te draaien. Deze trap ik nu netjes af na de boot. Ook een leuke vinding: Omdat ik nu nog niet de server 24/7 heb draaien, zet ik deze nadat ik klaar ben met spelen uit. Wanneer je de WoL uitzet voor beide NIC's, scheelt het 0,2 watt wanneer het systeem helemaal uit staat: 0,6 Watt.

Ik heb nu 3 states kunnen meten:

Omschrijving	Verbruik
Alles actief	15,5 Watt
Schijven in idle mode	12,4
schijven in spindown	4,4 Watt

Wat betreft de "Alles actief" state, denk ik dat deze wel hoger is wanneer beide schijven aan het schrijven zijn. Dan zal de stap naar "Schijven in idle" groter en logischer zijn. In dit overzicht is het verschil wat aan de kleine kant, als je de specs van de schijven erbij pakt.

Anyways: Ik ben blij . Voor nu is dit een mooie basis om op te gaan bouwen.

Voor degene die het interessant vinden:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         0.0%    0.4 ms
C2 (pc2)    0.4%    |                     |
C3 (pc3)    0.0%    | C3 (cc3)    0.0%    |
C6 (pc6)    0.0%    | C6 (cc6)   99.9%    | C6          0.0%    0.0 ms
C7 (pc7)    0.0%    | C7 (cc7)   99.9%    |
C8 (pc8)   99.1%    |                     | C8          0.0%    0.0 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        99.9%  241.4 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.2 ms
                    |                     | C1E         0.0%    0.6 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   99.9%    | C6          0.0%    0.0 ms
                    | C7 (cc7)   99.9%    |
                    |                     | C8          0.0%    0.0 ms
                    |                     |
                    |                     |
                    |                     | C10        99.9%  241.4 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         0.0%    0.7 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   99.9%    | C6          0.0%    0.0 ms
                    | C7 (cc7)   99.8%    |
                    |                     | C8          0.1%    1.5 ms
                    |                     |
                    |                     |
                    |                     | C10        99.8%  247.2 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         0.1%    0.7 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   99.9%    | C6          0.0%    1.6 ms
                    | C7 (cc7)   99.8%    |
                    |                     | C8          0.0%    1.7 ms
                    |                     |
                    |                     |
                    |                     | C10        99.9%  230.2 ms

[ Voor 26% gewijzigd door blackmage2v op 20-09-2024 23:09 ]

[Gijs007]

mrmrmr schreef op zondag 25 augustus 2024 @ 00:46:
@Gijs007 Ik zou Kontron (rechtstreeks of via de reseller->distributeur) benaderen en vragen over de ECC kwestie. Ik vind 33W voor een op zich zuinig moederbord wel veel. Ook al heb je Intel X710-T4 en een Intel Xeon-2146G draaien. Als er echt weinig cpu load is, is dat niet volgens verwachting. Is de BIOS default? Staat ASPM aan (lspci -vvv)?

Kwam net dit artikel tegen:
https://www.servethehome....c-review-massive-upgrade/

Denk dat de NIC toch het voornaamste stroomverbruik veroorzaakt. Heb helaas de oude versie, die dus 25watt verstookt...
Meen dat de nieuwe (met het l achtervoegsel) destijds niet leverbaar was of honderden euro's duurder.

Anyway, over een tijdje zullen de nieuwere varianten ook wel op de 2dehands markt terecht komen, wellicht dat ik dan een leuke vervanger scoor. Nu 500 euro neertellen voor een nieuwe NIC is het mij niet waard.

[NewGuest]

Sinds kort heb ik een HP Prodesk 400 die ik aan het testen ben. Ik heb er nu een kale debian op staan en wanneer ik de ethernetkabel erin heb zitten verbruikt die 5W idle en wanneer ik de ethernetkabel unplug zakt het naar 2W (gemeten aan de 230V stekker). Disable ik de ethernetpoort softwarematig dan gebeurt er niets aan het verbruik. Hoe zit dat bij debian?
De cpu fan draait ook nog en daar gaat ook een deel van het verbruik in zitten, ik hoop dat ik dat softwarematig kan veranderen want in de BIOS kom ik er niet veel verder mee.

[ Voor 10% gewijzigd door NewGuest op 24-09-2024 19:26 ]

[FireDrunk]

Gisteravond weer eens met mijn uitvoering: ASUS PRO H610T-CSM zitten spelen. Ik zag dat er een nieuwe BIOS beschikbaar was, dus even geupdate en weer eens in de krochten van de ASPM issues gedoken die ik had.

Na BIOS updates zijn er niet veel verschillen, icm de onboard Realtek NIC, wil de CPU niet lager dan 30% C3 (en de rest C2), en verbruikt het systeem nog steeds rond de 10W idle.

Met de Onboard Realtek uitgeschakeld in het BIOS, zonder USB apparaten, en zonder HDMI kabel ingeplugd (dus alleen stroom), daalt het verbruik tot een hele gave 2.7W. Een hele coole prestatie.

Met de Intel X710 (in een M.2 -> PCIe Adapter) die ik al vaker geprobeerd heb blijft het verbruik steken op 25W idle. Wat ik ook doe met geforceerde ASPM, de CPU komt niet lager dan C2.

Wat ik nog extra getest heb, is een Mediatek Wifi 6 adaptertje wat in het speciale M.2 slot moet.

Het grappig is dat ASPM dan wel goed werkt, en de CPU keurig in C10 gaat met de adapter present.

Ditzelfde geldt ook voor een Samsung 950 Pro M.2 SSD, daar werkt ASPM ook keurig, en stijgt het verbruik niet meetbaar (blijft rond de 2.9/3.0W idle).

Dat doet me toch vermoeden dat er misschien mogelijkheden zijn om PCIe devices te gebruiken welke goed werken icm dit bordje, maar mogelijk dat ze van een dusdanige nieuwe PCIe versie voorzien moeten zijn voordat ASPM goed werkt.

[RobertMe]

FireDrunk schreef op dinsdag 24 september 2024 @ 20:19:
Met de Intel X710 (in een M.2 -> PCIe Adapter) die ik al vaker geprobeerd heb blijft het verbruik steken op 25W idle. Wat ik ook doe met geforceerde ASPM, de CPU komt niet lager dan C2.

Ik neem aan dat je deze post, van vandaag, gelezen hebt? Gijs007 in "Het grote zuinige server topic - deel 3"

Verkeerde revisie van die X710 => 25W verbruik. Nieuwere revisie "wel zuiniger" (link niet gelezen, dus geen idee hoe zuinig).

[FireDrunk]

RobertMe schreef op dinsdag 24 september 2024 @ 20:46:
[...]

Ik neem aan dat je deze post, van vandaag, gelezen hebt? Gijs007 in "Het grote zuinige server topic - deel 3"

Verkeerde revisie van die X710 => 25W verbruik. Nieuwere revisie "wel zuiniger" (link niet gelezen, dus geen idee hoe zuinig).

Als ik de plaatjes mag geloven heb ik een T4L.

Hmm, als ik ethtool moet geloven ondersteund mijn kaart geen 2.5 en 5Gb, wat weer zou betekenen dat ik wel een T4 heb.
Productiemaand is 03/2017.


EDIT: nu ik goed kijk, heb ik een versie die op beide lijkt, zwarte heatsink, maar hij beslaat de hele PCB zoals de grijze

[ Voor 23% gewijzigd door FireDrunk op 24-09-2024 21:49 ]

[Yariva]

Ik hoop dat ik iets kan leren van jullie ervaren veteranen met energie verbruik. Zelf weet ik weinig van C states en de echt diepe materie van een systeem bijzonder zuinig krijgen (hoewel dit wel mijn interesse heeft aangewakkerd), daar wil ik dit weekend wat meer van leren. Maar tot die tijd is hardware advies denk ik niet een heel slecht idee. Al met al mede geïnspireerd door de onlangs verschenen BBG over een energiezuinige thuisserver en de discussie die hieronder plaatsvond Best Buy Guide: De beste thuisserver

Situatie:
Ik heb op het moment 2 systemen welke 24/7 draaien. Een zelfgebouwde NAS en een server met serieuze specs o.a. omdat ik tot kort veel simulaties, appliances en applicatie tests draaide op de server. Functioneel ben ik hier erg blij mee. In het verleden heb ik mijn applicaties juist ge-offload van de NAS af om de functionaliteit tussen data storage en applicaties te scheiden en zo complexiteit op de NAS te verminderen. Denk bijv. aan gekke trucs om een Unifi controller werkend te krijgen in een TrueNAS jail.

Echter kwam ik er met de laatste energierekening achter dat deze setup toch wel echt veel verbruikt en inmiddels verantwoordelijk is voor de helft van mijn idle energieverbruik (~50w voor ieder systeem, ~100 watt in totaal voor beide machines).

Gewenst scenario:
Nu wil ik eigenlijk alle huidige machines vervangen door een zuinige NAS build en hierop mijn applicaties draaien. Belangrijk is wel dat dit systeem compact (het liefst ITX) en energiezuinig is. Tegelijk moet deze ook krachtig genoeg zijn om een aantal VM taken over te nemen. Mogelijk kan ik een aantal van deze VM's ook in een container stoppen, dat zou weer wat overhead schelen. Ook wil ik mijn storage uitbreiden gezien mijn NAS ZFS pool nu voor 90% vol zit.

Huidige specs NAS:
Case: Fractal node 304
CPU: AMD Ryzen 3200G (idle usage op ongeveer 3%)
RAM: 16GB RAM
HDD: 4x4TB WD Red (in ZFS Z1, ongeveer 11TB aan bruikbare ruimte)
SSD: 512GB Intel SSD
Software: Truenas CORE
Belangrijk: hier draait een schema op om mijn belangrijke data 1x in de maand naar Onedrive te backup-en.

Huidige specs applicatie server:
CPU: AMD Ryzen 3900
RAM: 128GB
SSD: 1TB SSD
Software: ESXI 7.0

Huidige lijst met 24/7 services:
PiHole (DNS)
Zabbix (Monitoring)
Generieke Docker bak met super lightweight software, primair netwerk administratie met een simpel database
Unifi controller voor meerdere huishoudens
Plex (met NFS verbonden aan de NAS) (ik transcode nog wel eens 4K HDR films met bijvoorbeeld een ondertiteling toevoegen. Dit gaat keurig op de Ryzen 3900 maar vreet wel 50w extra wanneer deze aan het stampen is.)
Home Assistant (met Zigbee dongel hardware passthrough)
VM met software zoals Overseerr, Sonarr en Radarr (met NFS verbonden aan de NAS)

Gewenste machine:
Case: Mogelijk kan ik de Node 304 hergebruiken. Maar het liefst zou ik puur voor de looks en functionaliteit ook wel eens willen bouwen in een case met hot-swap bays zoals deze uitvoering: Jonsbo N2

CPU: Processor welke bovenstaande applicaties aan kan met een laag verbruik. Zelf zat ik met een schuin oog te kijken naar een Intel N305. Gezien mijn Plex requirement met transcoden zou een Intel iGPU hier wel fijn bij zijn. Tegelijk lees ik ook op verschillende fora's dat dit niet geld voor ondertiteling toevoegen en dat je dan sowieso softwarematig aan het transcoden ben. Dan maakt de iGPU natuurlijk weinig uit. Ik ben mij ervan bewust dat dit veel stroomverbruik zal vragen van een systeem, tegelijk is dit niet idle gebruik maar incidenteel wanneer wij besluiten om een filmpje te kijken.

Geheugen: Gezien ik nu de ruimte heb van 128GB... Tja hoe meer hoe beter maar het moet ook realistisch blijven. Naar mijn weten zal meer geheugen niet een bijzonder veel hoger energieverbruik betekenen en applicaties kunnen hun voordeel er wel goed uit halen. Veel gebruikers krijgen de N305 werkend met 32GB. Dat lijkt mij een mooie sweet spot. Zeker omdat ZFS ook wat zal vragen (mits ik hiervoor moet gaan en er een beter alternatief is voor ZFS)

HDD: iets dat kan downspinnen / in idle gaan wanneer er geen data wordt opgevraagd. Zelf denk ik aan 4x 16TB of 4x 18TB om in de toekomst zeker goed te zitten. Maar mochten jullie betere suggesties hebben om eerst met maar 2 schijven te beginnen hoor ik dit graag.

SSD: Een snelle energiezuinige SSD om de applicaties op te draaien en zo de HDD array te ontlasten zodat deze in idle kan gaan wanneer enkel de Unifi controller druk is.

Extra controllers / overige extra's: ik zat te denken aan een 10G NIC maar dat is denk ik leuker voor in de toekomst. Zelfde met een SAS / SATA controller of oude RAID kaart: met 4 sata poorten heb ik voorlopig voldoende en juist dit soort kaarten vreten veel idle. Het zelfde geld voor een GPU voor eventuele hardware offloading van Plex. Ik heb nog wel ergens een AMD Radeon pro W5500 kaart liggen maar die zal voor het idle verbruik ook niet heel lief zijn.

PSU: Hier zie ik door de bomen het bos niet meer. Een grote 350w PSU kopen voor dit systeem lijkt mij echt zonde. Ook met veel N305 moederboarden welke op een 9v brick worden aangesloten zou ik dan niet snel zien hoe ik 4 HDD's van stroom moet voorzien. Tegelijk hoor ik ook mensen over de PicoPSU en hoe deze het niet aan zou kunnen om 4 HDD's tegelijk op te spinnen.

Mijn vraag:
Ik ben nog over veel dingen aan het dubben. Ik denk met de applicatie wensen dat het voor bang4buck handiger zou zijn om zelf een nieuwe server te bouwen. Dit in plaats van kant-en-klare oplossing zoals een Synology of QNAP. Ook is het als Tweaker natuurlijk wat leuker om zelf een systeem in elkaar te zetten, maar het moet niet ten kosten gaan van stabiliteit en data integriteit. Ook over de software ben ik dan nog niet helemaal uit. Unraid hoor ik positieve verhalen over, kale Linux of blijven bij TrueNAS.

Maar om het dan simpel te houden: wat vinden jullie van de hardware voor ogen om mijn 2 huidige systemen de deur uit te doen en de boel veel energiezuiniger te maken? Zijn er betere alternatieven dan een N305 bordje zoals deze? En denken jullie dat bovenstaande workload ook geschikt is voor een N100 of misschien met de Plex vereisten dat ook een N305 niet voldoende zal zijn en ik naar een ander model van Intel / AMD moet kijken? Dan ben ik weer bang dat het idle gebruik erg naar boven zal schieten.

Alvast bedankt voor jullie input en gedachtespinsels

[HyperBart]

Consolideren en virtualiseren is natuurlijk altijd een gigantische winst als het efficienter gebruikt/ingezet kan worden alsook door het consolideren op de voeding.
Ik kan dat statement hierboven nu wel even leuk maken maar toch draait er hier nog steeds een Ubuntu en een ESXi langs elkaar. Simpelweg omdat ik mijn PiHole nog niet heb (willen) overzetten naar een docker en er op die ESXi ook nog een heel klein componentje voor mijn KNX draait wat cruciaal is om mijn Homebridge te laten babbelen met de KNX installatie, die versie is veranderd en ik moet eens door de zure appel om die config te herwerken

Verder heb ik een redelijke gelijkaardige workload, alleen "homelab" ik niet meer zo veel.
Je kan in mijn inventaris kijken en je zal zijn dat het heel gelijkaardig is.
Ubuntu, ZFS, 6 disks, NVMe drives, 25 containers
ESXi met SATA SSD's en een handje vol VM's

Ik geraak doorheen de dag niet superdiep met mijn C states, ik vind het echt chique wat @Mars Warrior hier beneden allemaal doet en oh zo eenvoudig dat het elegant is, maar ik doe met mijn containers echt wel heel wat iedere seconde. Je kan je afvragen of dat nuttig is, ik vind het wel fijn.
Ik heb bv. Grafana en Influx draaien, hou mijn energieverbruik per seconde bij, stuur de laadpaal er mee aan en log alles van de zonnepanelen zo snel als ze kunnen antwoorden.
Disks gaan wel lekker in spindown.


Ik had trouwens vroeger ook een server als NAS draaien en al mijn andere services op die ESXi host. Na een tijdje begon ik echt wel de voordelen van containers in te zien en de ruwe performance die dat opleverde. Ik ben overgegaan en draai nu alle dingen zoals Plex, Overseerr, Sab en *arr, Kuma, Influx, Grafana, librespeed, homebridge etc in een container rechtstreeks naar de ZFS array. Dat gaat echt heerlijk en snel.

Met de release van de BBG ik keek dus ook met heel veel hoop uit naar reacties in het volgende topic, maar de redactie heeft nog niet gereageerd : HyperBart in "Verdere uitdieping thuisserver"

@FireDrunk en ik hadden het er overlaatst nog over waarbij ik wel aangenaam verschoot dat zo een N100 best een potent dingetje is en prima zich kan meten met een i3 9100 die ik heb draaien.
Helaas staat daar wel tegenover (ok, door een technisch probleempje van docker stack heb ik geen hardwarematige decoding vanuit de Intel CPU) dat transcoden van 4K materiaal op Plex echt wel een stevig taakje is waar ook mijn i3 niet mee om kan puur alleen op CPU en geen iGPU.

Je moet je er bewust van zijn dat consolideren en virtualiseren vaak resulteert in een host die niet diep in C states zal gaan, neemt niet weg dat met alles wat je hier zegt ik heel snel zou neigen naar de genoemde i5 in de BBG, zijnde die 14500. Kan je wat meer detail geven over waarom een iGPU Plex niet voldoende zou kunnen ondersteunen? Want normaal zou zelfs mijn i3 dat redelijk moeten kunnen(?)

[ Voor 60% gewijzigd door HyperBart op 25-09-2024 11:57 ]

[Mars Warrior]

Yariva schreef op woensdag 25 september 2024 @ 11:05:

Huidige lijst met 24/7 services:
PiHole (DNS)
Zabbix (Monitoring)
Generieke Docker bak met super lightweight software, primair netwerk administratie met een simpel database
Unifi controller voor meerdere huishoudens
Plex (met NFS verbonden aan de NAS) (ik transcode nog wel eens 4K HDR films met bijvoorbeeld een ondertiteling toevoegen. Dit gaat keurig op de Ryzen 3900 maar vreet wel 50w extra wanneer deze aan het stampen is.)
Home Assistant (met Zigbee dongel hardware passthrough)
VM met software zoals Overseerr, Sonarr en Radarr (met NFS verbonden aan de NAS)

Tsja. Je huidige hardware is best efficient qua CPU gebruik (AMD), maar idle zul je nooit onder de 20-25W komen.

Met Intel is in ieder geval een 3-5W mogelijk, mits je geen gekke controllers (SATA, 10GBit NIC, GPU) etc gaat toevoegen. Schijven komen daar natuurlijk nog bij, maar als die naar idle/standby kunnen, dan kun je zomaar onder de 10W uitkomen idle.

Zelf draai ik ca 30 Docker containers op een getunede 12700K onder Ubuntu icm Mergerfs/Snapraid. Voor mijn gebruiksdoel perfect. Alle containers draaien vanaf een SSD. De schijven worden bijna niet gebruikt en draaien gemiddeld 2 uurtjes per dag.

De containers zijn expliciet aan CPU Cores toegewezen om zo efficient mogelijjk te draaien: alle achtergrondtaken draaien op de 4 E-cores, enkel wat interactieve zaken op de P-cores. Dit scheelt bij mij al bijna 50% in het aantal kWh's!

Ik heb dus geen VM's in gebruik. Alles is naar Docker overgezet. De keep-alive check is voor elke docker container uitgezet vanwege het nodeloze CPU gebruik. Met 1 machine heb je toch geen fail-over. Met nodeloos CPU gebruik heb ik het over een toename van 100% als het gaat om het verbruik uit het stopcontact. Plus ik zie de toegevoegde waarde niet.

De 24/7 services die jij noemt nemen nauwelijks CPU cycles in beslag behalve Zabbix en - naar gebruik - Plex. Plex heb ik niet dus daar kan ik niks over zeggen. Zabbix heb ik ooit gebruikt, maar gezien de belasting snel weer weggedaan. Ik had er ook niet echt een use-case voor. Influxdb draait wel om CPU enzo bij te houden, maar die belasting (1x minuut) is te verwaarlozen.

De omvang van de schijven en het gebruik van ZFS is denk ik persoonlijk. Ik heb voornamelijke statische data, dus dan voldoen MergerFS en Snapraid uitstekekend. Ik kan dan ook makkelijk schijven toevoegen.

[RobertMe]

HyperBart schreef op woensdag 25 september 2024 @ 11:35:
Helaas staat daar wel tegenover dat (ok, door een technisch probleempje van docker stack heb ik geen hardwarematige decoding vanuit de Intel CPU) dat transcoden van 4K materiaal op Plex echt wel een stevig taakje is waar ook mijn i3 niet mee om kan.

Het probleem is dan natuurlijk de "geen hardware decoding", en niet de CPU. Ik heb dit eens geprobeerd op mijn Intel N5105 (nog minder dan de genoemde N100 dus), en nouja, dat werkt gewoon prima op de GPU. En/alleen is die GPU een beetje kreupel. IIRC ondersteund die alleen een fixed bitrate. Bij de N100 (/Alder Lake N) hebben ze deze beperking verwijderd en kan die, zoals ik het begrepen heb, ook encoden met een dynamische bitrate (afhankelijk van wat het beeld nodig heeft dus).
Overigens had ik dat ook getest in Docker. Dus het moet dan echt een specifiek dingetje in jou setup zijn. Want puur "in Docker" kan het. Kan me wel indenken dat als je Docker rootless draait dat het dan lastiger is of niet kan.

[HyperBart]

RobertMe schreef op woensdag 25 september 2024 @ 11:54:
[...]

Het probleem is dan natuurlijk de "geen hardware decoding", en niet de CPU. Ik heb dit eens geprobeerd op mijn Intel N5105 (nog minder dan de genoemde N100 dus), en nouja, dat werkt gewoon prima op de GPU. En/alleen is die GPU een beetje kreupel. IIRC ondersteund die alleen een fixed bitrate. Bij de N100 (/Alder Lake N) hebben ze deze beperking verwijderd en kan die, zoals ik het begrepen heb, ook encoden met een dynamische bitrate (afhankelijk van wat het beeld nodig heeft dus).
Overigens had ik dat ook getest in Docker. Dus het moet dan echt een specifiek dingetje in jou setup zijn. Want puur "in Docker" kan het. Kan me wel indenken dat als je Docker rootless draait dat het dan lastiger is of niet kan.

Ik draai Docker in een soortement van swarm mode, ook al is er maar 1 node.
Als je dan /dev/huppeldepup wil doorgeven dan struikelt ie daar over omdat hij wil bewaken dat dat device op alle cluster nodes beschikbaar moet zijn.
Ik heb het ooit wel eens geprobeerd om om te gooien maar ben er toen mee gestopt, ik vond het toen niet opwegen om transcoding langs daar te laten gaan omdat het bijna niet nodig is: we kijken alleen lokaal zelf op de ATV en die doet DirectPlay/DirectStream

[RobertMe]

HyperBart schreef op woensdag 25 september 2024 @ 11:59:
[...]


Ik draai Docker in een soortement van swarm mode, ook al is er maar 1 node.
Als je dan /dev/huppeldepup wil doorgeven dan struikelt ie daar over omdat hij wil bewaken dat dat device op alle cluster nodes beschikbaar moet zijn.
Ik heb het ooit wel eens geprobeerd om om te gooien maar ben er toen mee gestopt, ik vond het toen niet opwegen om transcoding langs daar te laten gaan omdat het bijna niet nodig is: we kijken alleen lokaal zelf op de ATV en die doet DirectPlay/DirectStream

offtopic:
Helder en daar kan ik me idd ook wel iets bij indenken. Dat Docker geen devices kan delen in swarm mode.

[Mars Warrior]

RobertMe schreef op woensdag 25 september 2024 @ 12:02:
[...]

offtopic:
Helder en daar kan ik me idd ook wel iets bij indenken. Dat Docker geen devices kan delen in swarm mode.

Dat kan wel hoor: https://github.com/allfro/device-mapping-manager

[FireDrunk]

@Yariva Ik mis nog even de moederborden die je gebruikt.

Het kan mogelijk interresant zijn om de huidige AMD 3900 proberen wat zuiniger af te stellen.
Het idle verbruik van die CPU zal niet extreem laag zijn, maar performance-per-watt is dat een prima CPU volgens mij.

Je zou even moeten rekenen of dat de aanschaf van een nieuw systeem wel rechtvaardigd als de CPU gewoon voldoet.

Als je van 25W naar 10W idle gaat, scheelt je dat dus ~30-40 eu per jaar (afhankelijk van je contract jada jada).

Voordat je een heel nieuw systeem van 200-300 euro terugverdiend hebt, ben je dan dus 5-6 jaar verder.

Uiteraard kan je ook overwegen om de oude spullen 2e hands te verkopen en daarmee je nieuwe systeem te bekostigen, dan zal het ongeveer gelijk blijven qua investering, en kost het je alleen maar moeite

[Yariva]

FireDrunk schreef op woensdag 25 september 2024 @ 12:39:
@Yariva Ik mis nog even de moederborden die je gebruikt.

Klopt, die zal ik nog even bijwerken wanneer ik thuis ben of kijken of ik deze vanaf afstand kan uitlezen. Nu helaas niet in de buurt van de systemen.

Uiteraard kan je ook overwegen om de oude spullen 2e hands te verkopen en daarmee je nieuwe systeem te bekostigen, dan zal het ongeveer gelijk blijven qua investering, en kost het je alleen maar moeite

Zoiets zat ik ook aan te denken. Mooie nieuwe hardware, energierekening naar beneden en oude machines de deur uit. Scheelt weer ruimte in mijn appartementje

[FireDrunk]

Kontron maakt doorgaans hele mooie zuinige moederborden. icm een i3-13100 ofzo heb je echt een beest van een CPU, welke toch nog heel zuinig is.

Samen met zo'n Jonsbo N2, een paar diskjes, een paar M.2 SSD's in een mirror, waarna je al je applicaties op die SSD's draait, zorgt dat je een prachtig zuinig systeem kan bouwen denk ik zo.

[RobertMe]

Mars Warrior schreef op woensdag 25 september 2024 @ 12:39:
[...]

Dat kan wel hoor: https://github.com/allfro/device-mapping-manager

Daarom schreef ik "ik kan mij indenken dat...", en niet "het kan niet!". En daarnaast kan het dus ook niet met Docker, want je hebt er een extra "tooltje" voor nodig

[FireDrunk]

Ik draai een losse docker compose stack naast mijn Swarm om mijn Zigbee USB dongle door te geven aan Home Assistent. Je krijgt dan bij het deployen een waarschuwing van docker compose dat je systeem in Swarm mode staat, en dat dat niet verstandig is.

Werkt prima

[Gijs007]

FireDrunk schreef op dinsdag 24 september 2024 @ 20:56:
[...]

Als ik de plaatjes mag geloven heb ik een T4L.

Hmm, als ik ethtool moet geloven ondersteund mijn kaart geen 2.5 en 5Gb, wat weer zou betekenen dat ik wel een T4 heb.
Productiemaand is 03/2017.


EDIT: nu ik goed kijk, heb ik een versie die op beide lijkt, zwarte heatsink, maar hij beslaat de hele PCB zoals de grijze

Overigens gaat bij mij de CPU wel in de hogere C-states i.c.m. met deze NIC. Dus wellicht dat je daar toch nog je verbruik wat mee kunt reduceren.
Probeer eens de firmware van de NIC te updaten, wellicht dat dit je ASPM probleem oplost.

[FireDrunk]

Gijs007 schreef op woensdag 25 september 2024 @ 14:55:
[...]

Overigens gaat bij mij de CPU wel in de hogere C-states i.c.m. met deze NIC. Dus wellicht dat je daar toch nog je verbruik wat mee kunt reduceren.
Probeer eens de firmware van de NIC te updaten, wellicht dat dit je ASPM probleem oplost.

Reeds gedaan, ik zit op 9.5x ofzo. Heb ook al geprobeerd de Intel drivers vanaf source te installeren (i40e), hielp ook niet.