SmartOS Ervaringen

[Mystic Spirit]

In een ander topic hier op GoT kwam ik SmartOS tegen. SmartOS is een implementatie van ZFS, DTrace, zogenaamde Zones (iets wat lijkt op jails van FreeBSD en KVM. Omdat dit mij een interessante combi lijkt, ben ik op zoek naar ervaringen met SmartOS.

Er was nog geen SmartOS topic en er is dus hier op GoT weinig over te vinden. Iemand die zijn ervaring wil delen?

[martijnnos]

Eindelijke heb niet heel veel nuttigs toe te voegen, alleen wel wat mee geprobeerd maar ging allemaal moeizaam, installatie handleiding op de SmartOS pagina gelinkt naar lokatie waar die handleiding (niet meer) staat. enz.

Hoop dat hier wat nuttige dingen komen over SmartOS en misschien ga ik het dan ook wel weer eens proberen. Want het is toch wat velen volgens mij willen.

[FREAKJAM]

Subtiele schop op dit vrij oude topic. Zijn er inmiddels al meer mensen die SmartOS hebben draaien?Inmiddels is Project FiFo 0.7.0 uit waarmee je een groot deel van SmartOS kunt managen.

Joyent heeft vrij recent ook Triton uitgebracht en SmartDataCenter (de open source variant). Triton is echter alleen zinvol als je met SmartOS clusters gaat werken. Enige waar ik tegen op zie is dat ik waarschijnlijk mijn pool opnieuw moet inrichten (SmartOS slaat alles op op je ZFS pool) en ik durf het risico niet aan om mijn bestaande pool te importeren. Verder zijn er geen datasets van pfSense en dergelijke te vinden voor SmartOS en ik vraag me af in hoeverre pfSense gedraaid kan worden binnen KVM. Kom er wel wat tutorials van tegen op internet, maar niet bizar veel.

Ik heb nu ~2 jaar alles onder ESXi draaien, maar zou toch wel eens iets anders willen proberen. (Gewoon omdat het kan).

[ Voor 6% gewijzigd door FREAKJAM op 27-10-2015 10:11 ]

[CyBeR]

pfsense kun je zelfs alleen binnen kvm draaien omdat 't bsd-gebaseerd is. Ik zie niet waarom dat lastig zou moeten zijn overigens; je kunt gewoon nics naar believen toevoegen en daarna is er voor pfsense weinig anders dan op een fysieke host draaien.

Dat gezegd hebbende: wat wil je met pfsense doen, aangezien smartos ook een capabele netwerkstack heeft ?

Overigens, fifo is vrij duidelijk georienteerd op organisaties met meerdere smartos servers en niet echt op iemand die een enkele server wil managen; daar is 't veel te uitgebreid voor. Dat is wel iets waar volgens mij nog wat aan ontbreekt in de smartos wereld.

[ Voor 27% gewijzigd door CyBeR op 27-10-2015 11:03 ]

[FREAKJAM]

Ik heb 2 nics toegewezen aan mijn pfSense VM in ESXi. LAN + WAN. pfSense routeert mijn internet (geeft internet door aan al mijn VM's, en ik heb mijn ASUS AC56U aangesloten op de LAN nic zodat ik ook een thuis wifi heb). Verder heb ik niet zo bizar veel geregeld via pfSense. Voornamelijk DHCP en NAT. (Ik heb een dyndns draaien zodat ik van buitenaf het een en ander kan benaderen).

[CyBeR]

Ah, je gebruikt je pfSense ook als router voor je thuisnetwerk? Dan snap ik 't wel ja. Voor alleen je vm's leek 't me wat overdreven namelijk

[FREAKJAM]

Inderdaad. Maar met fwadm moet ik eigenlijk hetzelfde kunnen of niet? Ik gebruik nu nog Ziggo trouwens (bridge modus). Ik ben ook van plan glasvezel in de toekomst te nemen. Ik weet niet in hoeverre fwadm dan verstandig is om te gebruiken.

[ Voor 55% gewijzigd door FREAKJAM op 27-10-2015 11:06 ]

[CyBeR]

Zeker, Solaris kan ook gewoon firewallen, NAT'en, DHCP'en en watdanooknogmeer maar je hebt met pfsense een wat handigere interface ervoor.

[FREAKJAM]

Volgens mij ondersteunt de meest recente versie van Project FiFo ook een webschilletje voor fwadm, maar zeker weten doe ik het niet.

Good news is that fwadm is already fully integrated into the UI in the current Dev Release of FiFo. It will be in the next stable release. It works great and we have spent quite a bit of time testing it etc :-)

Anyhow, er komt natuurlijk meer bij kijken dan enkel pfSense in een KVM. SmartOS is in principe veel CLI en heeft eigenlijk geen GUI (tenzij je FiFO gebruikt). Het meeste wat ik nu draai kan volgens mij perfect op SmartOS gedraaid worden binnen dan wel een lx of een zone (ik draai nzbget, nginx, mariadb, plex etc).

Ik lees echt veel positieve dingen over SmartOS in ieder geval, maar kom helaas nog weinig gebruikerservaringen tegen hier op GoT. In het ZFS topic wordt er wel een beetje over gesproken, maar daar blijft het wel bij. Ik ben persoonlijk ook heel erg benieuwd naar het nieuwe firewall product van Sophos, die ziet er heel erg tof uit en de beta is ook te verkrijgen speciaal voor KVM (qcow2 files).

Deze knakker had trouwens ook een leuke tut hoe een router in te richten in SmartOS zelf.

[ Voor 19% gewijzigd door FREAKJAM op 27-10-2015 11:15 ]

[CyBeR]

FREAKJAM schreef op dinsdag 27 oktober 2015 @ 11:12:
Ik lees echt veel positieve dingen over SmartOS in ieder geval, maar kom helaas nog weinig gebruikerservaringen tegen hier op GoT. In het ZFS topic wordt er wel een beetje over gesproken, maar daar blijft het wel bij.

Inderdaad. Jammer eigenlijk want ZFS als filestore is voor mij een enorm pluspunt en eigenlijk de hele reden dat ik 't gebruik. En met KVM kan ik ook gewoon normale linux VMs maken, alles nog steeds backed by ZFS. (Hoewel ik trouwens ook niet vies ben van Solaris wat natuurlijk de basis is voor SmartOS.)

[ Voor 7% gewijzigd door CyBeR op 27-10-2015 11:25 ]

[heggico]

Ik zit ook te kijken naar smartOS. Mijn idee is om het als fileserver/downloader(sickrage, couchpotato)/router(pfsense)/VM te gaan gebruiken. Het viel mij ook tegen hoe weinig info er te vinden was op tweakers.
Momenteel draai ik Xpenology, waar ik eigenlijk van af wil (Twijfelachtige legaliteit, updates vertraagd, zelf meer controle willen) en natuurlijk ZFS.

Ik heb gekeken naar ESXI, ZFS on linux, freeBSD en nog een paar anderen. SmartOS lijkt eigenlijk alles te hebben wat ik zoek. Ik draai het nu virtueel om te testen en configureren, daarna ga ik het op een oude pc installeren om te kijken hoe goed het daar op werkt voordat ik ga kijken hoe ik alles wil omzetten op mijn server. Maar ik hoopte natuurlijk wel op wat ervaringen van anderen.

[CyBeR]

Houdt er wel rekening mee dat voor KVM-ondersteuning je een wat recentere 'oude pc' wilt hebben, aangezien je bepaalde virtualisatie-gerelateerde cpu extensions nodig hebt daarvoor. En dat AMD op dit moment niet ondersteund wordt door de standaard image.

[heggico]

Jup, deze "oude" pc heeft een Q6600 en die heeft VT-x, dus voor zover ik weet zou het moeten werken toch?

-edit-
Ben nu ook eens aan het kijken naar dat project FIFO. Ook al is het zo te zien meer gericht op clusters e.d. zitten hier toch wel wat ideale features bij. Ik denk dat ik eens serieus ga kijken naar SmartOS, of ik moet nog wat negatieve dingen vinden.

[ Voor 55% gewijzigd door heggico op 27-10-2015 14:20 ]

[CyBeR]

Nope, je moet VT-x met EPT hebben en dat heeft die niet.

Overigens kun je dan wel geen KVM gebruiken maar wel nog LX-branded zones, waarin je vrijwel alle linux-software kunt draaien. En er wordt wel gewerkt aan KVM-ondersteuning voor CPU's met VT-x maar zonder EPT. Zie ook de links hier: https://wiki.smartos.org/display/DOC/Hardware+Requirements

[ Voor 84% gewijzigd door CyBeR op 27-10-2015 14:25 ]

[heggico]

Hm.. damn, dan maar virtueel blijven. Van EPT wist ik niet, maar mijn i5 4690 heeft het zo te zien wel.

[FREAKJAM]

Goed om te weten. Mijn oude Dell L502X laptop heeft een CPU met VT-x en EPT. Binnenkort maar eens mee spelen.

[CyBeR]

Ook wel geinig trouwens, je kunt ook Docker images draaien op SmartOS:

[root@juliet ~]# imgadm sources --add-docker-hub
Added "docker" image source "https://docker.io"
[root@juliet ~]# imgadm sources -v
URL                  TYPE    INSECURE
http://datasets.at/  imgapi  -
https://docker.io    docker  -
[root@juliet ~]# imgadm import busybox
Importing 98c76d61-baaf-08bc-8a6a-775131f5d953 (docker.io/busybox:latest) from "https://docker.io"
Gather image 98c76d61-baaf-08bc-8a6a-775131f5d953 ancestry
Must download and install 2 images
Downloaded image 98c76d61-baaf-08bc-8a6a-775131f5d953 (32.0 B)                                                                                                               
Downloaded image e8f94902-6bb4-7607-15ab-ee2a60f1300e (659.5 KiB)                                                                                                            
Download 2 images                           [==============================================================================================>] 100% 659.63KB 251.67KB/s     2s
Imported image e8f94902-6bb4-7607-15ab-ee2a60f1300e (docker-layer@bf0f46991aed)
Imported image 98c76d61-baaf-08bc-8a6a-775131f5d953 (docker-layer@3d5bcd78e074)

[root@juliet ~]# cat dockertest.json 
{
    "alias": "busybox",
    "image_uuid": "e8f94902-6bb4-7607-15ab-ee2a60f1300e",
    "nics": [
        {
            "interface": "net0",
            "nic_tag": "admin",
            "ip": "dhcp"
        }
    ],
    "brand": "lx",
    "kernel_version": "3.13.0",
    "docker": true,
    "cpu_shares": 1000,
    "zfs_io_priority": 1000,
    "max_lwps": 2000,
    "max_physical_memory": 8192,
    "max_locked_memory": 8192,
    "max_swap": 16384,
    "cpu_cap": 1000,
    "tmpfs": 16384,
    "maintain_resolvers": true,
    "resolvers": [
        "8.8.8.8",
        "8.8.4.4"
    ],
    "internal_metadata": {
        "docker:cmd": "[\"/bin/sleep\", \"3600\"]"
    },
    "quota": 100
}

[root@juliet ~]# vmadm create -f dockertest.json 
Successfully created VM 95213b0e-eb39-4dd1-9c37-b55bc66e548a

[root@juliet ~]# zlogin 95213b0e-eb39-4dd1-9c37-b55bc66e548a 
[Connected to zone '95213b0e-eb39-4dd1-9c37-b55bc66e548a' pts/2]
~ # busybox | head -n 5
BusyBox v1.24.0 (2015-10-19 17:58:36 UTC) multi-call binary.
BusyBox is copyrighted by many authors between 1998-2015.
Licensed under GPLv2. See source distribution for detailed
copyright notices.

~ # 
[Connection to zone '95213b0e-eb39-4dd1-9c37-b55bc66e548a' pts/2 closed]

[FREAKJAM]

Voornamelijke reden dat ik wil uitwijken naar SmartOS, is omdat het alles in een heeft. Ik draai nu alles wat ik thuis gebruik in elk een aparte VM binnen ESXi. ZFS draai ik op een CentOS 7 VM, pfSense in een aparte VM, NZBGet+Sonarr+Couchpotato wederom in een aparte VM en ik draai Plex in een aparte VM.

Bij een OS als SmartOS kan ik ZFS direct aanroepen (geen geneuzel met passthrough) en kan ik alles in een docker en/of lx container stoppen wat volgens mij zuiniger omgaat met mijn RAM vergeleken met een volwaardige VM in ESXi.

Het enige wat me tegenhoudt is dat alles CLI based is (maar moet te doen zijn aangezien ik vorige maand ook Arch Linux heb weten te installeren op mijn desktop, dus ik kan aardig overweg met CLI) en dat pfSense/OPNSense/Sophos niet zo heel makkelijk is te installeren.

Binnenkort stap ik ook over naar glasvezel, dus neem ik het liefst een migratie naar SmartOS mee. Eerst uitzoeken welke firewall ik wil draaien en hoe ik mijn VLAN's ook allemaal moet inrichten. Tenslotte durf ik mijn bestaande pool ook niet zomaar in SmartOS te importeren. Maar goed, wellicht eerst spelen met het OS op een laptop.

[heggico]

Ik ben nu ook eerst aan het spelen, kijken of dat project fifo wil draaien op smartos in virtualbox. Mijn reden is eigenlijk omgedraaid. Ik draai dus nu de fileserver+sickrage+plex+couchpotato op xpenology, waar dus eigenlijk geen scheiding is.

[FREAKJAM]

Ben er ook mee aan het spelen. Zojuist mijn eerste lx-branded zone gemaakt en daarop ingelogd

code:

[root@smartos /tmp]# zlogin 4e8c82f2-4dc4-49d4-bc9c-5a2a5653ec23
[Connected to zone '4e8c82f2-4dc4-49d4-bc9c-5a2a5653ec23' pts/2]
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0 x86_64)

 * Documentation:  https://help.ubuntu.com/

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

   __        .                   .
 _|  |_      | .-. .  . .-. :--. |-
|_    _|     ;|   ||  |(.-' |  | |
  |__|   `--'  `-' `;-| `-' '  ' `-'
                   /  ;  Instance (Ubuntu 14.04 lx-brand 20150601)
                   `-'   https://docs.joyent.com/images/lx-brand-beta

root@4e8c82f2-4dc4-49d4-bc9c-5a2a5653ec23:~# uname -a
Linux 4e8c82f2-4dc4-49d4-bc9c-5a2a5653ec23 3.13.0 BrandZ virtual linux x86_64 x86_64 x86_64 GNU/Linux

[heggico]

Zover was ik idd ook al wel gekomen, maar ik moet toch eens inlezen in hoe de (virtuele) netwerk adapters werken. Mijn zones hadden namelijk geen toegang tot het internet, of zelfs het lokale netwerk, maar wel met elkaar. Mijn global zone kon wel gewoon images downloaden e.d. Ach, weer wat leuk speelgoed erbij om wat te leren.

[FREAKJAM]

heggico schreef op woensdag 28 oktober 2015 @ 08:07:
Zover was ik idd ook al wel gekomen, maar ik moet toch eens inlezen in hoe de (virtuele) netwerk adapters werken. Mijn zones hadden namelijk geen toegang tot het internet, of zelfs het lokale netwerk, maar wel met elkaar. Mijn global zone kon wel gewoon images downloaden e.d. Ach, weer wat leuk speelgoed erbij om wat te leren.

Ik had gewoon internet in mijn lx branded zone! Ik had mijn zone wel een eigen ip-adres gegeven (binnen de dhcp range van mijn pfSense box). Post je json file anders eens?

Ik vind het aanbod qua images voor de lx branded zones wel een beetje magertjes trouwens. Zo is er nog geen lx image voor CentOS 7. Binnenkort eens pfSense of wat dan ook testen in SmartOS. Als ik straks glasvezel neem wil ik het liefst geen Fritzbox gebruiken en mijn eigen router inzetten (in SmartOS dus). Moet hij wel met VLAN's en dergelijke overweg kunnen. Ben benieuwd wat daarin allemaal mogelijk is.

[CyBeR]

lx branded met dhcp werkt zover ik doorheb niet inderdaad, maar statisch is geen probleem.

[FREAKJAM]

CyBeR schreef op woensdag 28 oktober 2015 @ 08:59:
lx branded met dhcp werkt zover ik doorheb niet inderdaad, maar statisch is geen probleem.

Klopt, staat ook op de Wiki van SmartOS.

the LX brand does not support DHCP yet. Please use a static IP configuration. This note will be removed when DHCP is supported.

[heggico]

Ik had hem als statisch IP staan en in mijn router zag ik hem ook verschijnen met het juiste ip. Maar een ping of traceroute werkte alleen intern op smartos zelf. Moet vanavond eens uitzoeken wat er fout ging.
Ik was overigens bezig met de LeoFS zones voor project fifo.

[CyBeR]

gateway niet ingesteld?

[heggico]

Naar mijn idee stond alles goed (wat dus niet kan, anders werkte het wel). Ik ga vanavond nog eens kijken, mocht het niet lukken zal ik mijn json eens posten.

[FREAKJAM]

Ik denk trouwens dat ik dat geneuzel met een pfSense of iets dergelijks in een VM laat voor wat het is en straks gewoon een EdgeRouter Lite direct achter mijn FTU hang van XS4All/KPN. Switch in de woonkamer die internet doorkrijgt van de ERL (VLAN 4) en dan SmartOS en mijn workstation in VLAN 100 stoppen en gaan met die banaan.

@heggico
Ik zal vanavond mijn json posten als je wil.

[ Voor 8% gewijzigd door FREAKJAM op 28-10-2015 11:45 ]

[heggico]

Moet je een vnic hebben voor een "normale" zone (dus echt alleen een zone, niet via een kvm zone)? Daar heb ik niet op gelet namelijk en gewoon de admin tag gebruikt voor de nic. Of probeert hij die aan te maken vanaf de json? Toch eens inlezen hoe het zit met vnics, ik denk dat ik daar gewoon wat fout mee doe. Nooit echt gekeken waar het namelijk voor nodig is.

[CyBeR]

Admin tag is prima. Zie die json die ik hierboven heb als onderdeel van m'n docker testje, dat is ook een LX-branded zone.

[heggico]

Ah, de interface tag klinkt belangrijk, deze ben ik volgens mij vergeten erin te zetten. Ik kan het niet controleren momenteel, maar ik dacht het volgende te hebben:

code:

"nics": [
        {
            "nic_tag": "admin",
            "ip": "192.168.178.5",
            "gateway": "192.168.178.1",
            "netmask": "255.255.255.0"
        }
    ]

[FREAKJAM]

Heeft SmartOS eigenlijk een SSD nodig voor L2ARC/SLOG? Ik heb nu een SSD als datastore voor mijn ESXi server, maar die houd ik straks dus over als ik naar SmartOS zou migreren. Aangezien ik nu in ESXi mijn VM's op mijn SSD host heb ik geen L2ARC/SLOG nodig. Als ik zou migreren naar SmartOS misschien wel aangezien ik dan mijn dockers/zones op ZFS ga hosten?

Ik heb nu een Crucial M500SSD die ik volgens mij wel hiervoor zou moeten kunnen gebruiken. Ding is 240GB groot, dus volgens mij meer dan voldoende. Zou ik zowel L2ARC/SLOG kunnen op dezelfde SSD of is dedicated dan beter?

[ Voor 50% gewijzigd door FREAKJAM op 28-10-2015 16:19 ]

[CyBeR]

Ik heb een SLOG/cache op dezelfde device (een speciale 24GB flash-module in DIMM-vorm die sata praat en in m'n server past) en dat werkt prima. De disk partitioneren met fdisk en dan de partities opgeven. Als je primaire storage sowieso al SSD is, is een extra SLOG idd niet nodig aangezien die dan sowieso al op je SSD staat en je cache wordt er ook niet sneller van natuurlijk.

In principe wordt de SLOG alleen gebruikt voor writes en kun je die vrij klein houden en de rest voor cache gebruiken. Ik gebruik 20% van die 24GB als SLOG en de rest als cache.

[FREAKJAM]

Cool. Kan ik mooi de M500 daar voor gebruiken!

[CyBeR]

Houdt er wel rekening mee dat de SLOG gebruikt wordt in het geval van panne zoals bij stroomuitval e.d., dus een SSD met supercaps die in dat geval de data die in het geheugen (van de ssd) zit nog naar flash kan schrijven is een goed idee.

[FREAKJAM]

Dat heeft de M500 toevallig, maar daar was ik me ook al bewust van! Thanks voor de heads up.

[heggico]

Ben er nog niet helemaal achter wat het probleem is. Ik ben ff opnieuw begonnen en heb nu 1 physical nic (e1000g0) en 1 virtuele (net0). Deze virtuele geeft een speed van 0, is dat mijn probleem? Ik draai smartOS nu in virtualbox met een bridged netwerkadapter. Ik zou ff niet weten of ik het bij virtualbox of bij smartOS moet zoeken.

[CyBeR]

Oh d'r is een redelijke kans dat je bij virtualbox moet zijn dan aangezien dat soort software vaak in de weg zit bij dit soort dingen.

Als je vnics er zo uitzien is dat prima:

[root@juliet ~]# dladm show-vnic
LINK         OVER       SPEED MACADDRESS        MACADDRTYPE VID  ZONE
net0         igb0       0     12:53:f3:77:c2:52 fixed       0    727c0465-957d-419f-9df8-7381bb0b9fa5
net0         igb0       0     a2:31:cd:86:1d:fd fixed       0    aece275e-7609-4d76-b3ed-8870153bc4da

Ik heb voordat ik 't op een echte server zette SmartOS uitgeprobeerd in VMWare Fusion. Daarin werkte netwerken prima. Extra voordeel is dat 't nested virtualisation ondersteunt dus je kunt er ook KVM vm's in draaien.

Check in je VirtualBox settings bij network onder advanced de 'Promiscuous Mode' setting. Die moet op 'Allow All' en dan denk ik dat 't moet werken.

[ Voor 9% gewijzigd door CyBeR op 29-10-2015 10:08 ]

[heggico]

Hm.. mijn vnics zagen er wel zo uit, maar ik had alleen intern toegang. Ik kon van mij pc alleen in de globale zone komen en niet in de overige zones, maar vanaf de globale zone kon ik wel in de andere zones komen. Straks eens mijn virtualbox settings controleren.

[heggico]

Ik weet niet wat het probleem nu precies was, maar ik heb smartOS geinstalleerd in een vm op mijn server, daar hadden de zones wel gewoon internet toegang. (ook virtualbox btw)

Project fifo is me nu gelukt om te installeren. Ik ben nu nog bezig met de metrics in een zone te krijgen. Op zich werkt het wel ideaal, maar als je de standaard waardes van de zones pakt is het ram usage echt enorm.
LeoFS zone 1: 3072MB
LeoFS zone 2: 512MB
Fifo zone: 3072MB
Dalmiter zone: 2048MB

Waardoor je dus al bijna op 9GB uitkomt voor wat stats en een GUI voor de VM's te beheren. Ik heb nog niet gekeken of dit omlaag kan, maar als dat niet flink omlaag kan laat ik het mooi voor wat het is.

[FREAKJAM]

Hmm, dat is wel een beetje jammer! Ik heb zelf 32GB aan RAM in mijn server zitten, maar om dan zoveel GB aan FiFO toe te wijzen zie ik ook niet zitten. Hoewel je volgens mij alles uitstekend moet kunnen regelen met CLI.

Ik vind CoreOS + Rocket (docker alternatief) trouwens ook vrij interessant, alleen jammer dat die niet out of the box met ZFS overweg kan.

[heggico]

Metrics geinstalleerd, wat nog best lastig was, aangezien nsq-3.5.0 package niet wil installeren. Die bleef gewoon hangen en voor het installeren gaf hij ook aan: 18M download, 0B install, wut? Deze met een omweg toch kunnen installeren en project FiFo geeft nu wel mooie grafiekjes, maar alle data erin staat op 0, jippie.

VM's aanmaken met FiFo gaat wel makkelijk. Je maakt een aantal packages aan met een gedefineerd MB Ram, max cpu usage, Disk quota e.d. Hiermee en een aantal andere settings maakt hij de VM aan. Zit ook een halve DHCP in (je geeft gewoon een range IP's aan en daar krijgt je nieuwe VM er gewoon 1 van).

Wel handig als het werkt, maar als de nadelen blijven (Hoge RAM usage, geen metrics) dan kan ik net zo goed gewoon via cli blijven werken.

[FREAKJAM]

Misschien kun je Mist of Kitematic in een lx/docker kunnen draaien, daarmee kun je volgens mij ook de boel managen. Shipyard is ook vrij nieuw volgens mij.

Er zijn vast nog wel mee gui-interfaces om de boel te managen denk ik zo. Panamax ziet er ook goed uit. Genoeg keuze in ieder geval om je dockers te managen.

[ Voor 31% gewijzigd door FREAKJAM op 31-10-2015 15:15 ]

[CyBeR]

heggico schreef op zaterdag 31 oktober 2015 @ 14:31:
Wel handig als het werkt, maar als de nadelen blijven (Hoge RAM usage, geen metrics) dan kan ik net zo goed gewoon via cli blijven werken.

Dat is precies waarom ik fifo niet gebruik. Handig maar de grootte van 't verhaal en het gebruik van resources maakt 't 't niet waard.

[FREAKJAM]

ik denk dat ik binnenkort wel de stap ga wagen. Ik ben vrij gecharmeerd van het product. Ik ga tevens mijn pool ietwat uitbreiden en opnieuw indelen, moet ik alleen nog even kijken hoe ik de data ga overzetten. Ik start het liefst met een nieuwe pool in ieder geval.

[heggico]

Alle FiFo onderdelen (LeoFS, DalmatinerDB, Fifo, etc) gebruikten ook al 25% van mij CPU. Voor grote clusters zie ik er veel voordelen mee, aangezien je per hypervisor kan aangeven welke vms je wilt draaien, en overzetten is ook simpel. Aangezien ik maar 1 node zou draaien is dit pakket gewoon veel te zwaar.

Mijn data moet ik ook nog eens kijken. Ik heb momenteel 5TB aan data in een SHR-2 opstelling met 6 schijven, maar daar kijk ik later nog wel naar. Eerst maar eens alle zones opzetten met smartOS in een VM zodat ik daar alles in heb zitten en dan gewoon de VM's overzetten.

[FREAKJAM]

Ik zit met een ZFS pool met op dit moment 7TB aan data (4TB vrij). Ik wil het liefst een nieuwe pool opzetten en denk ik de boel uitbreiden naar 8x3TB (RAIDZ2). Maar dan moet ik eerst nog zien te bedenken hoe ik die 6TB op mijn nieuwe pool krijg zonder dataverlies.

[heggico]

Een vraagje die niet direct met SmartOS te maken heeft, behalve dat het op smartOS gaat draaien:
Ik heb nu pfSense draaien op SmartOS. Dit wil ik straks dus ook inzetten als router/firewall/etc. Ik heb alleen geen plek om mijn server neer te zetten waar mijn internet binnenkomt. Daar ligt momenteel mijn modem/router + een (unmanged) switch. Kan ik een managed switch daar neerzetten en dus de WAN een vlan tag geven die word opgepikt door de server? En dan van daaruit het Lan beginnen. (om het zo maar ff te noemen) Ik nooit iets met vlans gedaan, maar dit is het idee wat ik momenteel heb.

[CyBeR]

Geen probleem. Je kunt in SmartOS ook gewoon VLAN tags gebruiken.

[avdpeijl]

SmartOS heeft ook mijn interesse. CLI is redelijk duidelijk en allemaal lekker lean waar je toch eigen tools erbij kan zetten (ben een nano gebruiker ipv vi). Paar vraagjes:

• Zodra een (SmartOS) VM is aangemaakt, kan ik dan nog filesystems toevoegen? Er wordt wel over disks gesproken (die geformatteerd worden volgens mij), maar wil op een later moment mijn huidige ZFS pools (nu nog freeBSD) eraan toevoegen.
• Wat zou optimaal zijn? mysql, netatalk, samba, nginx, sabnzb, etc allemaal apart, of toch combineren in 1 VM?

[CyBeR]

avdpeijl schreef op zondag 08 november 2015 @ 15:00:
SmartOS heeft ook mijn interesse. CLI is redelijk duidelijk en allemaal lekker lean waar je toch eigen tools erbij kan zetten (ben een nano gebruiker ipv vi). Paar vraagjes:

• Zodra een (SmartOS) VM is aangemaakt, kan ik dan nog filesystems toevoegen? Er wordt wel over disks gesproken (die geformatteerd worden volgens mij), maar wil op een later moment mijn huidige ZFS pools (nu nog freeBSD) eraan toevoegen.

Hoe zie je dat voor je?

• Wat zou optimaal zijn? mysql, netatalk, samba, nginx, sabnzb, etc allemaal apart, of toch combineren in 1 VM?

Als je alles in 1 vm gaat stoppen, waarom dan nog VM's gebruiken?

Meer VM's (of zones) is beter te onderhouden maar heeft als nadeel een wat hogere overhead. Andersom geldt het omgekeerde.

[avdpeijl]

Bij het creëren van een VM stop ik dit in mijn JSON:

code:

"filesystems": [
{
        "type": "lofs",
        "source": "/timetank",
        "target": "/timetank"
}
]

In de VM netatalk builden en draaien. Hiermee kan ik beginnen met Time Machine backup draaien.
Later komt er een RAIDZ2 array in de server. Als ik die pool 'datatank' ga noemen, wil ik later '/datatank' aan deze VM kunnen toevoegen. Of kost mij dit een opbouw van een nieuwe VM?

Terugkomend op de tweede vraag: wat zou de overhead zijn voor een base-64 VM?

[CyBeR]

avdpeijl schreef op zondag 08 november 2015 @ 17:09:
Bij het creëren van een VM stop ik dit in mijn JSON:

code:

"filesystems": [
{
        "type": "lofs",
        "source": "/timetank",
        "target": "/timetank"
}]

In de VM netatalk builden en draaien. Hiermee kan ik beginnen met Time Machine backup draaien.
Later komt er een RAIDZ2 array in de server. Als ik die pool 'datatank' ga noemen, wil ik later '/datatank' aan deze VM kunnen toevoegen. Of kost mij dit een opbouw van een nieuwe VM?

Dat kan, door het volgende aan 'vmadm update' te geven:

{
  "add_filesystems": [
    {
      "type": "lofs",
      "source": "/timetank",
      "target": "/timetank"
    }
  ]
}

en de zone te rebooten.

Terugkomend op de tweede vraag: wat zou de overhead zijn voor een base-64 VM?

D'r is een klein beetje (doch niet heel veel) filesystem overhead en je draait een aantal services dubbel. Over het algemeen is dat het wel waard echter.

Ik doe 't zo dat dingen die direct bij elkaar horen, in één zone gaan. Dus ik heb één zone voor mail en die heeft dan exim (smtp), dovecot (imap), spamassasin en clamav. En webmail (plus nginx en php) zit dan in een eigen zone.

[avdpeijl]

De overstap gewaagd en nu alles op SmartOS aan het zetten. Ondanks dat ik mezelf een noob voel op linux gebied, toch eenvoudig met diverse commando's alles kunnen inrichten.

Op dit moment vier VM's draaien (3x SmartOS, 1xUbuntu), wat ik eigenlijk wel zou willen monitoren.

Hoe monitoren jullie je server? Ik zoek een oplossing om cpu / mem / disk gebruik te monitoren en het liefst in combinatie met andere snmp system (router, wifi).

[FREAKJAM]

Je zou Observium of LibreNMS eens kunnen proberen? Observium brengt elk half jaar een update uit in de vorm van een community edition; LibreNMS is een fork van Observium en die hebben vrijwel daily updates (git).

Aangezien SmartOS ook overweg kan met Docker, wellicht dat proberen? Anders draaien in Ubuntu.
Even zoeken in de Docker Hub naar Observium en LibreNMS.

[ Voor 108% gewijzigd door FREAKJAM op 21-11-2015 13:06 ]

[avdpeijl]

Ik had Observium al op de Ubuntu (15.04) geïnstalleerd. Mooi programma, maar leunt natuurlijk op snmp.
Ik krijg net-snmp niet actief op Global Zone of andere SmartOS VMs.
Hoe haal je dan info uit de SmartOS systemen?

[CyBeR]

https://wiki.smartos.org/...g+NRPE+in+the+global+zone

[avdpeijl]

@freakjam: Docker Hub ziet er handig uit -> kan ik voor couchpatato ook gaan toepassen.
Ik krijg het alleen voor mekaar om officiële releases uit de repository te installeren. Enig idee hoe je dit met de non-officials doet?

@cyber: NRPE zal dus vereisen dat ik me op Nagios ga richten?

[CyBeR]

Volgens mij ondersteunen LibreNMS en Observium (als nagios-forks) dat ook. En die pagina gaat dan wel over nagios maar 't idee is natuurlijk ook toepasbaar op andere agents.

[CyBeR]

Ik heb m'n blogpost van dit jaar geschreven, over smartos en hoe ik zie dat je 't zou moeten gebruiken: http://www.cyberhq.nl/art...utable-servers-on-smartos

Dat gaat dus over custom datasets die je gebruikt met delegated datasets waardoor je persistent storage hebt bij het gebruik van vmadm reprovision (waarbij jouw installatie vervangen wordt door een verse, eventueel nieuwe versie van, een dataset). Het idee zijnde dat je je zones elke zoveel tijd compleet wipet en vervangt door een nieuwe, als je nieuwe software wilt gebruiken of nieuwe instellingen wilt. Zo weet je altijd zeker dat je zone goed in elkaar zit en dat er niet over tijd kleine wijzigingen gedaan zijn die nergens opgeslagen zijn.