Homelab i.c.m. GPU passthrough, kvm over ip

[ZaZ]

Ik zal de wens een beetje uit proberen te leggen. Ik ben nog een beetje zoekende en zou graag wat feedback krijgen van mensen die hier al eens mee geëxperimenteerd hebben.

In de woonkamer hebben wij een computer staan voor algemeen gebruik.
De vrouw doet er wat boekhouding op en een beetje word/excel/internet enzovoorts. Gewoon licht gebruik.
De kinderen zitten een beetje youtube en soms wat simpele games te spelen op dat ding.
Nu wil het zo dat die computer het aan het begeven is en er dus een vervanger moet komen.

Ik wil toevallig ook al een tijdje een nieuw homelab opzetten en zat te denken aan een threadripper gezien de gunstige prijs ten opzichte van intel op het moment en de prima multi core prestaties.
Voor wat het waard is: Daar ga ik een stuk of 10 servertjes op huisvesten en kreeg ineens het wilde idee dat de computer in de woonkamer misschien wel eens vervangen moest gaan worden door een VM in plaats van 2 computers aan te schaffen.

Het plan dat ik heb is om een dedicated gpu voor de woonkamer in de hypervisor te zetten en die met een passthrough beschikbaar maken voor de VM die in de woonkamer gebruikt gaat worden.

De volgende uitdaging is de beleving: Met een RDP sessie via een soort van thin client ga ik niet wegkomen vanwege trage graphics.
Nu heb ik wel eens prima prestaties gezien van HDMI over IP (dat werkte zelfs via homeplug) en kwam zo op het idee om een KVM over IP te gaan gebruiken. Ik heb in elke hoek in huis gigabit ethernet zitten dus dat moet wel kunnen denk ik.

Als ik nou zoiets gebruik, dan heb ik volgens mij gewoon in de woonkamer audio, vloeiend beeld en toetsenbord en muis?

Ik heb nog geen beslissing genomen welke hypervisor ik zou moeten gaan nemen. De kandidaten tot nu toe zijn vooral ESXI (ervaring mee) of Unraid of Proxmox (geen ervaring mee)

Maar goed, voordat ik nog heel veel aandacht ga besteden aan welke hardware ik precies wil hebben, welke hypervisor etc. vroeg ik mij af wat de meningen zijn.
Het lijkt me wel een leuk projectje, alleen is het zonde van de tijd als er hier al wat techneuten rondlopen die nu al weten dat het niet gaat werken want....

Barst los en bedankt alvast

[DukeBox]

HDMI over cat5/6 zou nog een optie kunnen zijn maar echt over IP zit je met dezelfde latency, zeker met een KVM.

[ Voor 9% gewijzigd door DukeBox op 03-12-2018 11:33 ]

[Vorkie]

@|sWORDs| Kan waarschijnlijk wel een goed advies geven hiervoor.

Het is mogelijk een shared ESX te maken, waarvan 1 VM dan een pass-through heeft zodat het lijkt alsof je geen ESX draait.

[Paul]

Is het een optie om die PC in de woonkamer te zetten en de HDMI-uitgang van de kaart te gebruiken?

Als je Hyper-V gebruikt dan kun je browsen, gamen etc op de host, en je VM's draaien dan middels Hyper-V. Scheelt een hoop kopzorgen met passthrough, KVM-over-IP en andere zaken.

[|sWORDs|]

Meerdere wegen die naar Rome leiden.

Remote graphics is echt heel erg goed tegenwoordig met hardware graphics. Microsoft RemoteFX, VMware Blast Extreme (+HTML5 Redir) en Citrix HDX zijn bijna niet van fysiek te onderscheiden met een GPU, alleen de latency is wat hoger, maar zeker speelbaar.

Passthrough en dan de HDMI output plus een USB controller gebruiken is ook een optie, maar het verlengen van de kabels is wat lastig en niet alle kaarten werken vlekkeloos. HDBaseT is dan zeker een optie.

[vso]

Een VM (server) en VDI (desktop) zijn 2 aparte dingen. De VM leunt meer op RAM en de VDI meer op Disk I/O waarbij de cpu secundair is.

Ik heb zelf een ding gebouwd Xen op freebsd als Domain 0 (host) + vga,usb,sound als je veel van linux weet is het een gok waard ..
ik zou je zelf adviseren doe het niet .. leuk experiment maar updaten/crash en "even reboot" door de vm bij de tv word een last.


je kan wellicht beter een rasberry pi pakken met embedded windows / linux voor het "grafische werk" bij de tv en een vm (rdp) voor de office en andere meuk als je meer "cpu" nodig hebt,

HDMI over ethernet (cat5) is wat anders als HDMI over IP en dat laatste is denk wat je liever wilt als 'optie" omdat het routeerbaar is. Overgens vergeet niet dat je ook nog met IR afstandsbediening(en) zit, audio en tja hoewel het niet echt onmogelijk is kan het wel snel vrij prijzig worden.
Terwijl een Raspberry Pi gewoon een extra hdmi kabeltje is ..

[|sWORDs|]

vso schreef op maandag 3 december 2018 @ 11:58:
Een VM (server) en VDI (desktop) zijn 2 aparte dingen. De VM leunt meer op RAM en de VDI meer op Disk I/O waarbij de cpu secundair is.

Ik heb zelf een ding gebouwd Xen op freebsd als Domain 0 (host) + vga,usb,sound als je veel van linux weet is het een gok waard ..
ik zou je zelf adviseren doe het niet .. leuk experiment maar updaten/crash en "even reboot" door de vm bij de tv word een last.


je kan wellicht beter een rasberry pi pakken met embedded windows / linux voor het "grafische werk" bij de tv en een vm (rdp) voor de office en andere meuk als je meer "cpu" nodig hebt,

HDMI over ethernet (cat5) is wat anders als HDMI over IP en dat laatste is denk wat je liever wilt als 'optie" omdat het routeerbaar is. Overgens vergeet niet dat je ook nog met IR afstandsbediening(en) zit, audio en tja hoewel het niet echt onmogelijk is kan het wel snel vrij prijzig worden.
Terwijl een Raspberry Pi gewoon een extra hdmi kabeltje is ..

Hij heeft het over een office PC, niet over een mediaplayer (dan zou ik het zeker niet aanraden). Neemt niet weg dat een lichte fysieke PC waarschijnlijk de goedkoopste optie met de minste rompslomp is.

[vso]

|sWORDs| schreef op maandag 3 december 2018 @ 12:00:
[...]

Hij heeft het over een office PC, niet over een mediaplayer (dan zou ik het zeker niet aanraden). Neemt niet weg dat een lichte fysieke PC waarschijnlijk de goedkoopste optie met de minste rompslomp is.

nu leg je de TS woorden in zijn tekst Office pc ? dan is RDP snel zat

Raspberry pi is niet alleen een mediaplayer (kodi ofzo) maar is sterk genoeg om simpele games te doen.


overgens dit zei de TS

De vrouw doet er wat boekhouding op en een beetje word/excel/internet enzovoorts. Gewoon licht gebruik.
De kinderen zitten een beetje youtube en soms wat simpele games te spelen op dat ding.
Nu wil het zo dat die computer het aan het begeven is en er dus een vervanger moet komen.

youtube/games = niet simpel over RDP protocol (zou het 80% wel beetje trekken oid)

Of je dan een ander protocol kiest, hdmi (heb je gpu passthrough nodig) + hdmi extender (cat5 of IP)

wil je "zware" simpele games dan heb je een andere uitdaging .

[|sWORDs|]

vso schreef op maandag 3 december 2018 @ 12:26:
[...]

nu leg je de TS woorden in zijn tekst Office pc ? dan is RDP snel zat

Raspberry pi is niet alleen een mediaplayer (kodi ofzo) maar is sterk genoeg om simpele games te doen.


overgens dit zei de TS
[...]

youtube/games = niet simpel over RDP protocol (zou het 80% wel beetje trekken oid)

Of je dan een ander protocol kiest, hdmi (heb je gpu passthrough nodig) + hdmi extender (cat5 of IP)

wil je "zware" simpele games dan heb je een andere uitdaging .

Ik haalde de volgende kernwoorden uit jouw reactie: TV, Audio, IR. Zo kom ik bij mediaplayer functionaliteit en dat wil je niet vanuit een VM doen. Youtube is geen enkel probleem zo lang je zoiets als HTML5 redirection gebruikt (stuurt de stream naar de client zonder re-encoding), gaming is ook geen enkel probleem (extra latency door de re-encoding, echter kunnen de meeste zelfs prima remote, dus UK->NL spelen, dan mag lokaal zeker geen probleem zijn, zie ook Geforce Now).

[ZaZ]

Ik wil alvast bedanken voor de reacties tot nu toe en ik zie dat ik al wat dingen heb om in te duiken.
Ter verduidelijking: De hypervisor gaat er sowieso komen omdat ik die ook voor andere dingen nodig heb en omdat ik niet vies ben van een beetje 'spelen' met tech leeft het idee om 2 vliegen in 1 klap te slaan.
1 omdat het gewoon een leuk project lijkt en 2 omdat ik dan eigenlijk alleen een extra videokaart en KVM extender erbij hoef te nemen en daarbij ook nog esthetisch gezien gaat het vooruit (geen lompe kast meer in de woonkamer)

Ik begrijp dat het geen setup zal zijn die je in een enterprise omgeving neer moet gaan zetten, maar een beetje onderhoud en wat uitdagingen met updaten e.d. schrik ik niet van.
De keuze voor HDMI over ip en niet HDMI over ethernet is, hoewel ik ze eerst als hetzelfde zag, vanwege betrouwbaarheid. Als ik het goed begrepen heb is het over ethernet dat ie gewoon de kabel soort van 'gebruikt' en als er dan maar iets is krijg je knipperend beeld en dat soort grappen. Over IP heb je het voordeel van TCP en merk je schommelingen in het signaal eigenlijk alleen maar in de vorm van lag

Dat laatste zou wel een probleem kunnen zijn bij gamen, maar er wordt toch niet serieus gegamed op die PC. Alle kids hebben eigen PC's waarop ze dingen zoals Fortnite spelen etc. Die in de woonkamer doet alleen dingen zoals Age of the Empires enzo en daar is een beetje lag geen ramp. Hoewel ik me niet echt zorgen maak dat er extreme lag gaat plaatsvinden. Ik heb het werkend gezien met een slechtere verbinding dan dat het bij mij gaat krijgen. Ik patch 'm vanuit het serverhok meteen door naar de socket in de woonkamer dus dat wordt dan cat6 zonder iets ertussen.

Maar goed, ik ga vanavond eens de linkjes aanklikken en lezen en kijken wat de technologie inhoudt waar |sWORDs| het over heeft.

[|sWORDs|]

ZaZ schreef op maandag 3 december 2018 @ 13:14:
[...]
De keuze voor HDMI over ip en niet HDMI over ethernet is, hoewel ik ze eerst als hetzelfde zag, vanwege betrouwbaarheid. Als ik het goed begrepen heb is het over ethernet dat ie gewoon de kabel soort van 'gebruikt' en als er dan maar iets is krijg je knipperend beeld en dat soort grappen. Over IP heb je het voordeel van TCP en merk je schommelingen in het signaal eigenlijk alleen maar in de vorm van lag
[...]

HDBaseT gaat niet over IP of ethernet, maar p1911, het gebruikt alleen dezelfde RJ45 connectoren en kabels.

[Tha_Butcha]

Ik heb dit draaien en werkt prima in een huis omgeving: de server beneden op de eerste verdieping en de client op de 2e verdieping.

Mijn setup:

- Supermicro mobo
- Xeon 1220V3
- Geforce 270x

De gebruikte materialen:
- cat5e bekabeling
- USB 1.1 over ip
- HDMI over ip (deze)

Client:
- Samsung scherm
- HDMI-DVI converter
- Generic usb keyboard/muis
- cheap ass usb soundcard

Gebruikte OS:
- Proxmox 5.2 stable
- Windows 10 Pro

Het kan allemaal prima, ik heb gewoon de videokaart en de usb devices (dus niet de controller) doorgegeven aan de vm. Latency is te doen, maar wel 'voelbaar', overigens kan ik wel er prima Overwatch mee spelen. Geluidskwaliteit is afhankelijk van je usb geluidskaart.

Let wel dat dit highly experimental is: d.w.z. dat je wel redelijk bekend met linux moet zijn (het is wel goed gedocumenteerd) en het kan zijn dat een update alles breekt en dan zit je dus met niet werkende zooi. Vraag is dus of dat de WAF doorstaat.

Voor de google nerds, hier mijn configuratie:

code:

bootdisk: virtio0
cores: 2
cpu: host
hostpci0: 01:00,pcie=1,x-vga=on
ide0: local:iso/Windows.iso,media=cdrom,size=3986112K
ide2: local:iso/virtio-win-0.1.141.iso,media=cdrom,size=309208K
machine: q35
memory: 8192
name: athena
net0: virtio=F6:14:F3:4B:21:F1,bridge=vmbr0,tag=60
numa: 0
ostype: l26
scsihw: virtio-scsi-pci
smbios1: uuid=dc617f8a-2867-454a-b0b9-9748cb2564ed
sockets: 1
virtio0: /dev/sdb,size=234431064K
vmgenid: 905f6946-4ac5-4476-ab75-a19c84b3aff4

[ Voor 3% gewijzigd door Tha_Butcha op 03-12-2018 21:42 ]

[Paul]

Tha_Butcha schreef op maandag 3 december 2018 @ 21:41:
- HDMI over ip (deze)

Het is belangrijk een paar dingen uit elkaar te houden. Dat iets over een netwerkkabel gaat wil niet zeggen dat het IP (IPv4/IPv6)-verkeer is, het hoeft zelfs geen ethernet te zijn.

You're gonna have a bad time als je dit ding op een router, switch of netwerkpoort van je PC aansluit. Met een beetje geluk werkt het simpelweg niet, met een beetje pech werkt het nooit meer...

KVM over IP (IPMI, ILO, DRAC, je zou er zelfs VNC en RDP onder kunnen scharen) is iets anders dan HDMI-signalen over een UTP-kabel sturen Het prijsverschil voor de kastjes is daar ook wel naar

[|sWORDs|]

Het verschil is ook heel groot, 10Gbit vs 100Mbit (waarvan dan 0.5-2Mbit gebruikt) in de meeste gevallen.
Tenzij je het over HDBaseT-IP of SDVoE hebt, maar dan heb je 10Gbit switches (+ HDBaseT bridges) en CAT6A kabels nodig (en is voor een andere use case).

[ Voor 74% gewijzigd door |sWORDs| op 04-12-2018 10:57 ]

[johnkeates]

Heb je ook de randzaken zoals non-standaard gebeurtenissen meegenomen? Wat als ergens een handleiding zegt "herstart de pc" en ze naar je server lopen om die een reset te geven? En wat als het ding vastloopt. En wat als een software update niet goed gaat en je een toetsencombinatie moet gebruiken om naar recovery te komen. En wat als je USB bus overloaded is en die een reset moet hebben, wat niet kan aan de client kant...

Alles is op te lossen, maar wat als je zelf toevallig niet thuis bent?

[ZaZ]

johnkeates schreef op dinsdag 4 december 2018 @ 10:19:
Heb je ook de randzaken zoals non-standaard gebeurtenissen meegenomen? Wat als ergens een handleiding zegt "herstart de pc" en ze naar je server lopen om die een reset te geven? En wat als het ding vastloopt. En wat als een software update niet goed gaat en je een toetsencombinatie moet gebruiken om naar recovery te komen. En wat als je USB bus overloaded is en die een reset moet hebben, wat niet kan aan de client kant...

Alles is op te lossen, maar wat als je zelf toevallig niet thuis bent?

Ja ik word dan meestal gebeld en via VPN los ik het op. Voor reboot maak ik wel een web interface ofzo die de VM een schop geeft

[Tha_Butcha]

Paul schreef op dinsdag 4 december 2018 @ 08:19:
[...]
Het is belangrijk een paar dingen uit elkaar te houden. Dat iets over een netwerkkabel gaat wil niet zeggen dat het IP (IPv4/IPv6)-verkeer is, het hoeft zelfs geen ethernet te zijn.

You're gonna have a bad time als je dit ding op een router, switch of netwerkpoort van je PC aansluit. Met een beetje geluk werkt het simpelweg niet, met een beetje pech werkt het nooit meer...

KVM over IP (IPMI, ILO, DRAC, je zou er zelfs VNC en RDP onder kunnen scharen) is iets anders dan HDMI-signalen over een UTP-kabel sturen Het prijsverschil voor de kastjes is daar ook wel naar

rephrase: hdmi over utp. Maar dat had je ook kunnen concluderen als je de link had gevolgd of de rest van de post had gelezen

Nog 3 dingen die ik had bedacht:

- Mijn hypervisor draait op een servermoederbord (supermicro zoals gezegd), dus Ik kan IPMI naar de server doen voor reboots e.d. Er zijn helaas geen threadripper mobo's die dat hebben
- De hypervisor heeft ook een eigen videokaart (wederom: servermobo), wat wel zo handig is bij installeren en troubleshooting.
- Om te kijken of mijn client werkt (en verder te installeren), gebruik ik altijd iets als teamviewer of nomachine. Want op het moment dat je een graka doorgeeft, kan je hem niet meer via de console/nospice benaderen.

[ZaZ]

Tha_Butcha schreef op maandag 3 december 2018 @ 21:41:
Ik heb dit draaien en werkt prima in een huis omgeving: de server beneden op de eerste verdieping en de client op de 2e verdieping.

Mijn setup:
......
[/code]

Ik zie dat die HDMI extender ook via een ethernet switch kan? (die overigens wel over TCP loopt volgens de beschrijving)

Deze HDMI verlenger is ontworpen om een HDMI-signaal te converteren naar standaard TCP / IP en dit te versturen via een internet kabel.

Ik neig nog steeds namelijk naar mijn oorspronkelijke setup. Het enige waar ik een beetje mee zit is, hoewel ik door heel mijn huis overal ethernet aansluitingen heb, ik maar op elke plek een enkele aansluiting heb.
Dat wil volgens mij zeggen dat als ik voor een HDBaseT oplossing zou kiezen, ik het poortje opoffer met geen enkele mogelijkheid om een ander apparaat daar nog 'normaal' internet te verschaffen.

Hoe heb jij dan de USB over IP gerealiseerd? Zit er een ethernet switch tussen (met dus IP fallback) of heb je 2 poorten op locatie?
De omschrijvingen zijn vaak onduidelijk wat betreft de exacte technologie die gebruikt wordt, maar ik heb begrepen dat de harde standaard van HDBaseT een fallback over IP ondersteunt, hoewel die lang niet altijd geimplementeerd wordt.

Ik wil het uiteindelijk zo geisoleerd mogelijk gaan aansluiten en over IP vind ik helemaal goed als ik het dan ook over een VLAN kan laten lopen of het signaal kan splitten. Ik wil niet dat het HDMI signaal door mijn hele netwerk 'schreeuwt'

Ik heb nog wat vraagtekens bij het totaalplaatje.

Tha_Butcha schreef op dinsdag 4 december 2018 @ 15:30:
[...]
Nog 3 dingen die ik had bedacht:

- Mijn hypervisor draait op een servermoederbord (supermicro zoals gezegd), dus Ik kan IPMI naar de server doen voor reboots e.d. Er zijn helaas geen threadripper mobo's die dat hebben
- De hypervisor heeft ook een eigen videokaart (wederom: servermobo), wat wel zo handig is bij installeren en troubleshooting.
- Om te kijken of mijn client werkt (en verder te installeren), gebruik ik altijd iets als teamviewer of nomachine. Want op het moment dat je een graka doorgeeft, kan je hem niet meer via de console/nospice benaderen.

- IPMI heb ik niet nodig. De server staat gewoon thuis.
- Wordt de videokaart niet pas geclaimed door de hypervisor als die opstart? Vergeef me als ik dom overkom, maar je stelt in de hypervisor de pass through in: Dus zolang je de software nog niet inlaadt, heb je toch gewoon nog signaal? Je geeft 'm toch niet door in de BIOS?

[ Voor 23% gewijzigd door ZaZ op 06-12-2018 02:41 ]

[Paul]

Tha_Butcha schreef op dinsdag 4 december 2018 @ 15:30:
rephrase: hdmi over utp. Maar dat had je ook kunnen concluderen als je de link had gevolgd of de rest van de post had gelezen

Dat heb ik gedaan, en juist daarom wil ik het verschil nogmaals benadrukken.

Echter: Het wordt wel ingewikkeld nu. Ik heb over een klein zinnetje op die die pagina, en dat is dat ze zeggen het over TCP/IP te doen?!?

- Waarom 10.2 Gbit/s en het dan toch via een switch kunnen laten lopen?
- Waarom 120m als ethernet maar tot 100m gaat?
- Waarom noemen ze het zelf dan ook steeds "over UTP" ipv "over IP"
- Deze lijkt er heel erg veel op (allekabels blinkt niet uit in het geven van merken of typenummers), daar hebben ze het over 100 Mbit/s, maar ik mis zaken als IP-adressen, subnet maskers of gateways, terwijl je het wel kunt extenden over "router" connection.

Ik vind het een raar apparaat

[Tha_Butcha]

ZaZ schreef op donderdag 6 december 2018 @ 02:35:
[...]

Ik zie dat die HDMI extender ook via een ethernet switch kan? (die overigens wel over TCP loopt volgens de beschrijving)

[...]

Volgens de handleiding wel, to be honest, heb ik dat nog nooit geprobeerd.

Hoe heb jij dan de USB over IP gerealiseerd? Zit er een ethernet switch tussen (met dus IP fallback) of heb je 2 poorten op locatie?

Ik heb een patchpanel en ethernet aansluitingen door het hele huis. Dus ik prik die USB en HDMI extenders rechtsstreeks in mijn patchpanel en op mijn kantoor rechtstreeks in de muur, zonder dat er een switch aan te pas komt.

- IPMI heb ik niet nodig. De server staat gewoon thuis.
- Wordt de videokaart niet pas geclaimed door de hypervisor als die opstart? Vergeef me als ik dom overkom, maar je stelt in de hypervisor de pass through in: Dus zolang je de software nog niet inlaadt, heb je toch gewoon nog signaal? Je geeft 'm toch niet door in de BIOS?

- Mijn bak staat ook gewoon thuis, denk dat ik ook heel lui ben
- Technisch gezien zou dat inderdaad pas moeten worden geclaimed als je OS is opgestart (OS geeft niks door inderdaad). Ik heb de kernel modules ook nog eens geblacklist. Echter ik heb wel eens gehad op een bak (way back, in de experimenteer fase) dat maar 1 graka hebben problemen gaf en heb het ook wel eens zien langskomen als probleem in forumthreads.

Dus het ligt niet aan jou, heel vfio (gebruikte techniek in proxmox/linux) is highly experimental en een enorme niche, dus er zijn nogal wisselende resultaten. En bij esx zit je nog met een HCL, wat ook niet altijd makkelijk is. Moet wel zeggen dat 5.1 de laatste versie is van esxi is die ik heb gebruikt.

Btw, nog een ding schiet me te binnen: ik heb expliciet een AMD kaart er in zitten. De GTX 950 werkte niet, omdat Nvidia drivers dat actief blokkeren (ze willen dat je een grid kaart koopt) als ze 'zien' dat je draait op een gevirtualiseerd os draait. Again, sommigen hebben dit opgelost door diverse cpu instructies te hidden op hypervisor niveau, maar mij lukte het niet.

edit: toevoeging reactie op Paul:

Paul schreef op donderdag 6 december 2018 @ 10:07:
[...]

- Waarom 10.2 Gbit/s en het dan toch via een switch kunnen laten lopen?
- Waarom 120m als ethernet maar tot 100m gaat?
- Waarom noemen ze het zelf dan ook steeds "over UTP" ipv "over IP"
- Deze lijkt er heel erg veel op (allekabels blinkt niet uit in het geven van merken of typenummers), daar hebben ze het over 100 Mbit/s, maar ik mis zaken als IP-adressen, subnet maskers of gateways, terwijl je het wel kunt extenden over "router" connection.

Ik vind het een raar apparaat

Het lijkt inderdaad op degene die ik heb, en ook de "handleiding" (aka dat a5 votje dat erbij zat) lijkt op de pdf die je linkt.

Ik vind het ook raar en heb om die reden hem nog niet in mijn Avaya switch geplugd. Alles zit zoals gezegd rechtstreeks geplugd in patchpanels. Enige wat ik weet dat het werkt.

Overigens het ik het hele idee van deze blog gestolen en omgezet naar proxmox (na een hele lang thread op de archlinux over vfio te hebben doorgeploegd)

Voor mij werkt het prima en ik ga het binnenkort uitrollen bij mijn pa, als goedkope variant op VDI (hij is vaak weg) en om geautomatiseerde zfs snapshots te kunnen maken.

[ Voor 24% gewijzigd door Tha_Butcha op 06-12-2018 12:54 . Reden: toevoeging ]