Citrix ADC - CVE-2019-19781

[Tylen]

Eindelijk een topic gevonden voor in PNS

Citrix heeft in December een exploit gevonden: https://support.citrix.com/article/CTX267027

En mitigation steps: https://support.citrix.com/article/CTX267679

Omdat veel bedrijven niet goed geacteert hebben hierop zijn deze aangevallen vanaf +/- week 2 januari.
Bedrijven die direct de mitigation steps GOED/CORRECT hebben uitgevoerd zijn veilig en kunnen gewoon door blijven werken.

Het NCSC heeft als advies uitgebracht dat het verstandig is om de NetScalers uit te zetten omdat (volgens hun) de maatregelen niet altijf effectief zijn: https://www.ncsc.nl/actue...len-niet-altijd-effectief

Citrix heeft het originele artikel aangepast. Nu staat er duidelijk dat op bepaalde versies een bug zit dat responder policies niet goed werken. Advies is ook die te upgraden en de mitigation steps uit te voeren. Ook dan zijn deze NetScalers veilig om te gebruiken.

Natuurlijk moeten compromised NetScalers volledig opnieuw geinstalleerd worden en met een MPX betekend dat nieuwe diskken aanvragen bij Citrix.

Meer informatie, checks en wat te doen kan je hier vinden: https://nerdscaler.com/20...19781-exploited-what-now/

[ Voor 6% gewijzigd door Tylen op 17-01-2020 15:38 ]

[Alfa Novanta]

Ondanks dat we de mitigation hebben toegepast toch maar het zekere voor het onzekere genomen en de Netscaler uitgezet. We hebben maar een stuk of wat thuiswerkers en eventueel een alternatief voor wie dat echt wil. Maar je zult een kantoorbedrijf zijn met 100den zo niet 1000den thuiswerkers. Dan is het wel een dingetje..

Ik ben heel benieuwd hoe snel Citrix met een oplossing komt..

[furian88]

wij hebben ook gekozen om dit uit te schakelen. de impact is wat groter ivm 5000 man personeel.
Alternatieven wordt hard aan gewerkt. Tevens kan vanaf onze vaste locaties nog netjes ingelogd worden.

slechte zaak dat Citrix zolang op zich laat wachten.

[AddictIT]

Het duurt inderdaad lang, maar de mitigation doet in principe wel zijn werk als je er op tijd bij was.

Het probleem is veel complexer dan gewoon de directory traversal op zich, en ze hebben heel wat testen te doen vooraleer ze iets publiek kunnen maken zonder weer andere dingen kapot te maken.

Communicatie is een groter probleem mijn inziens.

[Tylen]

Die mitigation werkt perfect. We zitten met alle NetScaler Guru’s in een whatsapp groep. Alle appliances welke de mitigation hebben zijn goed. Maar lakse beheerders waren te laat met de stappen doorvoeren en het NCSC verspreid leugens . Dit gaat nog een staartje krijgen.

[GH45T]

Hier ook een hoop gedoe. We zitten op versie 13.0 en ik heb de mitigatie voor de kerst doorgevoerd. Ook niets verdachts te zien maar toch is de keuze gemaakt om de Netscaler vanavond uit te schakelen. Het lijkt de vraag te zijn wanneer ook voor onze situatie de mitigatie niet meer afdoende is.

Overigens denk ik dat we wel veilig zitten, maar gezien nu de hele wereld weet dat er een probleem is kunnen we ons geen -we dachten dat we goed zaten maar helaas zijn ze toch binnengekomen- veroorloven.

Edit: overigens gefeliciteerd Tylen!

[ Voor 3% gewijzigd door GH45T op 17-01-2020 15:29 ]

[Zwelgje]

handige site om te checken of je (nog) kwetsbaar bent

http://cve-2019-19781.azurewebsites.net/

[Luc45]

Tylen schreef op vrijdag 17 januari 2020 @ 15:11:
Die mitigation werkt perfect. We zitten met alle NetScaler Guru’s in een whatsapp groep. Alle appliances welke de mitigation hebben zijn goed. Maar lakse beheerders waren te laat met de stappen doorvoeren en het NCSC verspreid leugens . Dit gaat nog een staartje krijgen.

Waarop baseer je dat het NCSC leugens verspreid?

[Zwelgje]

D0bly schreef op vrijdag 17 januari 2020 @ 15:55:
[...]

Waarop baseer je dat het NCSC leugens verspreid?

omdat de praktijk uitwijst dat je een NetScaler die correct (december 2019) aangepast is met de juiste responder policy geen enkel risico loopt.

Adviezen om de boel maar uit te zetten raken kant nog wal en getuigen van onzekerheid aangaande de materie.

[revolution-nl]

Wij hebben voor de kerst de mitigatie al doorgevoerd, daarnaast is er sinds een 13-01 SNORT coverage voor de IPS.

[Tylen]

D0bly schreef op vrijdag 17 januari 2020 @ 15:55:
[...]

Waarop baseer je dat het NCSC leugens verspreid?

Wat @Zwelgje zegt. Alles wat netjes in december aangepast is zijn niet compromised. NCSC zegt maar dat alles uitgezet moet worden zonder enige onderbouwing. En dit is niet mijn ervaring maar van iedere Netscaler man die ik ken.

revolution-nl schreef op vrijdag 17 januari 2020 @ 16:02:
Wij hebben voor de kerst de mitigatie al doorgevoerd, daarnaast is er sinds een 13-01 SNORT coverage voor de IPS.

En ook niets aan de hand toch?

[Luc45]

Zwelgje schreef op vrijdag 17 januari 2020 @ 15:59:
[...]


omdat de praktijk uitwijst dat je een NetScaler die correct (december 2019) aangepast is met de juiste responder policy geen enkel risico loopt.

Adviezen om de boel maar uit te zetten raken kant nog wal en getuigen van onzekerheid aangaande de materie.

Citrix geeft het volgende zelf aan:

In Citrix ADC Release 12.1 builds before 51.16/51.19 and 50.31, a bug exists that affects responder and rewrite policies bound to VPN virtual servers causing them not to process the packets that matched policy rules. Citrix recommends customers update to an unaffected build for the mitigation steps to apply properly.

Hierin vertellen ze zelf dat in sommige builds deze mitigaties juist niet werkt en het risico hierdoor nog steeds van toepassing is bij deze builds.

Hierdoor zegt het NCSC dat er nog geen gegarandeerde betrouwbare oplossing is voor dit probleem (niet voor alle versies in ieder geval). Ze geven ook niet aan dat de servers zo uitgezet moeten worden, maar dat er een goede afweging gemaakt moet worden of dit gewenst is voor het risico van de organisatie:

Tot het moment dat een patch beschikbaar is, adviseert het NCSC om inzichtelijk te maken wat de impact is van het uitzetten van de Citrix ADC en Gateway servers. Afhankelijk van de impact, adviseert het NCSC te overwegen de Citrix ADC en Gateway servers uit te zetten.

[ Voor 7% gewijzigd door Luc45 op 17-01-2020 16:04 ]

[Zwelgje]

D0bly schreef op vrijdag 17 januari 2020 @ 16:04:
[...]

Citrix geeft het volgende zelf aan:

[...]


Hierin vertellen ze zelf dat in sommige builds deze mitigaties juist niet werkt en het risico hierdoor nog steeds van toepassing is bij deze builds.

Hierdoor zegt het NCSC dat er nog geen gegarandeerde betrouwbare oplossing is voor dit probleem (niet voor alle versies in ieder geval). Ze geven ook niet aan dat de servers zo uitgezet moeten worden, maar dat er een goede afweging gemaakt moet worden of dit gewenst is voor het risico van de organisatie:

[...]

dat is alleen van toepassing op die builds als je de mitigatie NIET volgens citrix plan hebt uitgevoerd. de policy moet global worden gebind en niet op een VPN/Gateway server expliciet.. dan ben je idd kwetsbaar.

.. maar dan heb je het dus niet volgens het boekje gedaan

[Tylen]

D0bly schreef op vrijdag 17 januari 2020 @ 16:04:
[...]

Citrix geeft het volgende zelf aan:

[...]


Hierin vertellen ze zelf dat in sommige builds deze mitigaties juist niet werkt en het risico hierdoor nog steeds van toepassing is bij deze builds.

Hierdoor zegt het NCSC dat er nog geen gegarandeerde betrouwbare oplossing is voor dit probleem (niet voor alle versies in ieder geval). Ze geven ook niet aan dat de servers zo uitgezet moeten worden, maar dat er een goede afweging gemaakt moet worden of dit gewenst is voor het risico van de organisatie:

[...]

Lees zelf even goed wat Citrix schrijft. Wij hebben bewijs van die versies waar de mitigaties stappen stappen goed (dus op globaal niveau en niet op vserver niveau) gezet zijn wel werkt. Wil natuurlijk niet zeggen dat je gewoon die versies moet upgraden zoals Citrix ook al aangaf in DECEMBER.

[JohanKupers]

Ik voorzie wel dat Citrix hierdoor een behoorlijke imago schade voor de kiezen krijgt. Mensen onthouden de slechte dingen goed en de goede dingen van diezelfde leveranciers vergeten ze sneller.

[Rolfie]

revolution-nl schreef op vrijdag 17 januari 2020 @ 16:02:
Wij hebben voor de kerst de mitigatie al doorgevoerd, daarnaast is er sinds een 13-01 SNORT coverage voor de IPS.

Note is wel... Dat dat de meeste aanvallen over https gaan. Hier moet je wel even rekening mee houden met je setup. Om immers in je HTTPs verkeer te scannen, moet je wel het nodige doen. Anders heeft je Snort ook niet zoveel nut.

Zwelgje schreef op vrijdag 17 januari 2020 @ 16:05:
[...]


dat is alleen van toepassing op die builds als je de mitigatie NIET volgens citrix plan hebt uitgevoerd. de policy moet global worden gebind en niet op een VPN/Gateway server expliciet.. dan ben je idd kwetsbaar.

.. maar dan heb je het dus niet volgens het boekje gedaan

Probleem is, dat dit tot nu toe is. Eerst was het de responder voldoende. Daarna bleek bij 1 versie de responder niet te werken. En nu zijn het 3 versies.

Ik heb op Internet ook al informatie gevonden die alleen met een extra responder bepaalde aanvallen geblokkeerd worden. Of dit ook werkelijk zo is, durf ik niet te zeggen. We hebben niet het risico genomen en doorgevoerd.

code:

add responder policy ctx267027_2 "HTTP.REQ.HEADER(\"NSC_USER\").CONTAINS(\"/../\") || HTTP.REQ.HEADER(\"NSC_NONCE\").CONTAINS(\".pl\") " respondwith403
bind responder global ctx267027_2 2 END -type REQ_OVERRIDE

Maar... Het veranderd nog wel eens, dat maakt deze zo lastig en gevaarlijk.

[Tylen]

Rolfie schreef op vrijdag 17 januari 2020 @ 16:55:
[...]

Note is wel... Dat dat de meeste aanvallen over https gaan. Hier moet je wel even rekening mee houden met je setup. Om immers in je HTTPs verkeer te scannen, moet je wel het nodige doen. Anders heeft je Snort ook niet zoveel nut.

Correct. Een nextgen firewall kan niet, zonder TLS-Off-Onloading, in het packetje kijken.

Probleem is, dat dit tot nu toe is. Eerst was het de responder voldoende. Daarna bleek bij 1 versie de responder niet te werken. En nu zijn het 3 versies.

Niet correct, dit was altijd al aangegeven.

Ik heb op Internet ook al informatie gevonden die alleen met een extra responder bepaalde aanvallen geblokkeerd worden. Of dit ook werkelijk zo is, durf ik niet te zeggen. We hebben niet het risico genomen en doorgevoerd.

code:

add responder policy ctx267027_2 "HTTP.REQ.HEADER(\"NSC_USER\").CONTAINS(\"/../\") || HTTP.REQ.HEADER(\"NSC_NONCE\").CONTAINS(\".pl\") " respondwith403
bind responder global ctx267027_2 2 END -type REQ_OVERRIDE

Klopt. Deze heb ik ook al dagen draaien met 0,0 hits op gehad. CISO Citrix gaf ook aan dat het niet nodig was.

Maar... Het veranderd nog wel eens, dat maakt deze zo lastig en gevaarlijk.

[Rolfie]

Tylen schreef op vrijdag 17 januari 2020 @ 16:59:
Correct. Een nextgen firewall kan niet, zonder TLS-Off-Onloading, in het packetje kijken.

Ik heb hier ook nog naar gekeken, maar ik kon weinig officiele documenten vinden.

Niet correct, dit was altijd al aangegeven.

Tijdens eerste Citrix berichten niet, toen was er nog niets over bekend. Dinsdag avond, vondt ik de eerste informatie hierover, en woensdag middag zag ik bij het Citrix artikel 3 versies genoemd. Citrix artikel geeft dit ook aan.
16th January 2020 SD-WAN WANOP added/Citrix ADC 12.1 responder bug detail added
Dit had eigenlijk natuurlijk niet gemogen, bij deze fout. Het is niet dat we het over een klein risico hebben.

Het is niet voor niets, dat bedrijven de NetScaler van het Internet afhalen. Het vertrouwen is iets beschadigd.

Klopt. Deze heb ik ook al dagen draaien met 0,0 hits op gehad. CISO Citrix gaf ook aan dat het niet nodig was.
[Afbeelding]

Deze had ik nog niet gezien. Maar ik ga hem ook niet verwijderen. Ik wil een rustig weekend hebben. Al zijn de Gateways alleen maar intern momenteel te gebruiken.

Risico is gewoon te groot.

[Stefanovic45]

Ik vind het maar uiterst opmerkelijk dat dit onderwerp zoveel aandacht krijgt. Natuurlijk moet je de mitigation steps hebben doorgevoerd, maar dat geldt voor elk kritiek lek. Bij de RDS gateway is ook een mega gat ontdekt en daar hoor je niemand over. Het lijkt wel een heksenjacht tegenover Citrix.

Heel Nederland zet pro actief netscalers uit. Bij mij draaien ze nog omdat we er behoorlijk afhankelijk van zijn, er draaien 100den websites achter. We doen alleen SSL offloading, Maar ook daarmee is je netscaler kwetsbaar zo te lezen.

De mitigation steps zijn vorig jaar al door gevoerd dus ik maak me op zich geen zorgen, maar de aandacht in de media zet je toch aan het denken. Zou er niet meer spelen dan het grote publiek weet?

[Zwelgje]

Stefanovic45 schreef op vrijdag 17 januari 2020 @ 18:32:
Ik vind het maar uiterst opmerkelijk dat dit onderwerp zoveel aandacht krijgt. Natuurlijk moet je de mitigation steps hebben doorgevoerd, maar dat geldt voor elk kritiek lek. Bij de RDS gateway is ook een mega gat ontdekt en daar hoor je niemand over. Het lijkt wel een heksenjacht tegenover Citrix.

Heel Nederland zet pro actief netscalers uit. Bij mij draaien ze nog omdat we er behoorlijk afhankelijk van zijn, er draaien 100den websites achter. We doen alleen SSL offloading, Maar ook daarmee is je netscaler kwetsbaar zo te lezen.

De mitigation steps zijn vorig jaar al door gevoerd dus ik maak me op zich geen zorgen, maar de aandacht in de media zet je toch aan het denken. Zou er niet meer spelen dan het grote publiek weet?

met alleen SSL offloading en dus niet de Citrix ICA/VPN functionaliteit ben je niet kwetsbaar

[Bob-B190]

Stefanovic45 schreef op vrijdag 17 januari 2020 @ 18:32:
Zou er niet meer spelen dan het grote publiek weet?

Ja dát weten we niet, wellicht wil het NCSC ook niemand wijzer maken en hebben ze nog meer gevonden, wellicht dat daarom de patch (ondanks de acties in december) nog op zich laat wachten. Beetje kort door de bocht om als beheerder het NCSC te beschuldigen van leugens. Ik weet wel wie ik eerder zou geloven...

[Tylen]

Rolfie schreef op vrijdag 17 januari 2020 @ 17:48:
[...]

Tijdens eerste Citrix berichten niet, toen was er nog niets over bekend. Dinsdag avond, vondt ik de eerste informatie hierover, en woensdag middag zag ik bij het Citrix artikel 3 versies genoemd. Citrix artikel geeft dit ook aan.
16th January 2020 SD-WAN WANOP added/Citrix ADC 12.1 responder bug detail added
Dit had eigenlijk natuurlijk niet gemogen, bij deze fout. Het is niet dat we het over een klein risico hebben.

Het is niet voor niets, dat bedrijven de NetScaler van het Internet afhalen. Het vertrouwen is iets beschadigd.

Het stond er wel degelijk in. Alleen later is het aangescherpt omdat sommige beheerders dachten slimmer te zijn en de responder policy direct op een vserver te zetten ipv globaal te binden. Daardoor heeft Citrix dat stukje aangepast en toegevoegd dat je het globaal moet binden

[...]

Deze had ik nog niet gezien. Maar ik ga hem ook niet verwijderen. Ik wil een rustig weekend hebben. Al zijn de Gateways alleen maar intern momenteel te gebruiken.

Risico is gewoon te groot.

Laten staan kan geen kwaad idd.

Stefanovic45 schreef op vrijdag 17 januari 2020 @ 18:32:
Ik vind het maar uiterst opmerkelijk dat dit onderwerp zoveel aandacht krijgt. Natuurlijk moet je de mitigation steps hebben doorgevoerd, maar dat geldt voor elk kritiek lek. Bij de RDS gateway is ook een mega gat ontdekt en daar hoor je niemand over. Het lijkt wel een heksenjacht tegenover Citrix.

Heel Nederland zet pro actief netscalers uit. Bij mij draaien ze nog omdat we er behoorlijk afhankelijk van zijn, er draaien 100den websites achter. We doen alleen SSL offloading, Maar ook daarmee is je netscaler kwetsbaar zo te lezen.

De mitigation steps zijn vorig jaar al door gevoerd dus ik maak me op zich geen zorgen, maar de aandacht in de media zet je toch aan het denken. Zou er niet meer spelen dan het grote publiek weet?

Omdat het ncsc onzin heeft verkondigd op hun webite. De rest van de wereld laat alles aan staan en blijft gewoon doorwerken. Maar een klein clubje in nl zal het allemaal wel beter weten.. onzin... Nee er speelt niet meer... Punt... En geloof @Zwelgje en mij maar. We zitten we dieper in de materie en hebben de connecties.

Na iets meer onderzoek kom ik erachter dat het ncsc hun artikel ook gister avond heeft aangepast. Ze hebben het woordje “voor” voor de 12.1 versie gezet. Deze stond er eerst niet. Waarschijnlijk (let op dit is een AANNAME) hebben ze daarom gedacht, hey 12.1 ##.## werkt niet goed maar volgens citrix moet deze wel werken... Of ze hadden reacties van andere gehad (welke de responder op vserver hadden gebind ipv globaal) welke gezegd hadden, “nou die mitigation steps van citrix werken dus mooi niet.” We krijgen dat antwoord natuurlijk nooit van het ncsc.

Bob-B190 schreef op vrijdag 17 januari 2020 @ 19:41:
[...]

Ja dát weten we niet, wellicht wil het NCSC ook niemand wijzer maken en hebben ze nog meer gevonden, wellicht dat daarom de patch (ondanks de acties in december) nog op zich laat wachten. Beetje kort door de bocht om als beheerder het NCSC te beschuldigen van leugens. Ik weet wel wie ik eerder zou geloven...

Ahhh nog zo iemand. Misschien moet je de rest van de wereld maar even vragen waarom hun nog wel alles gewoon aan hebben staan. En waarom overheids instanties in NL alles uitzetten (gelukkig niet allemaal) omdat die het “advies” van het ncsc opvolgen....


Sorry mannen het zit diep bij mij. Mijn geliefde product wordt door het slijkt gehaald door ontwetende

[ Voor 8% gewijzigd door Tylen op 17-01-2020 20:02 ]

[Rolfie]

Stefanovic45 schreef op vrijdag 17 januari 2020 @ 18:32:
Ik vind het maar uiterst opmerkelijk dat dit onderwerp zoveel aandacht krijgt. Natuurlijk moet je de mitigation steps hebben doorgevoerd, maar dat geldt voor elk kritiek lek. Bij de RDS gateway is ook een mega gat ontdekt en daar hoor je niemand over. Het lijkt wel een heksenjacht tegenover Citrix.

Klopt helemaal. RDS Gateway issue is ook een hele grote. Alleen hiervoor zijn nog geen exploits voor tot zo ver ik weet.

Heel Nederland zet pro actief netscalers uit. Bij mij draaien ze nog omdat we er behoorlijk afhankelijk van zijn, er draaien 100den websites achter. We doen alleen SSL offloading, Maar ook daarmee is je netscaler kwetsbaar zo te lezen.

Daar ben ik nog benieuwd naar. Volgens mij zit het issue alleen in de VPN pagina's. Die zit alleen op de gateway functionaliteit en admin Interface. Maar niet in de SSL offloading / loadbalancer.

Tylen schreef op vrijdag 17 januari 2020 @ 19:58:
Het stond er wel degelijk in. Alleen later is het aangescherpt omdat sommige beheerders dachten slimmer te zijn en de responder policy direct op een vserver te zetten ipv globaal te binden. Daardoor heeft Citrix dat stukje aangepast en toegevoegd dat je het globaal moet binden

Dat zou kunnen, ik bedoelde voornamelijk op de versies waarop de responder policy niet werkte. Dat kwam allemaal veel later.

Sorry mannen het zit diep bij mij. Mijn geliefde product wordt door het slijkt gehaald door ontwetende

Ben ik met je eens. Heeft mij de afgelopen tijd al de nodige uren gekost, vanaf de bekendmaking.
Maar ik/we wil ook geen risco's nemen. De bedrijven waarvoor ik werk, kunnen geen risico's nemen of permitteren. En ik wil ook graag een rustig weekend hebben, zonder management overleg over de issues.

[Tylen]

.

[ Voor 95% gewijzigd door Tylen op 17-01-2020 21:23 ]

[KnoxNL]

ICT manager van groot bedrijf hier.

Zelf voor kerst de Netscalers al laten patchen.
Versie 11.

Sinds Juli een uitbesteding gedaan van systeem/netwerkbeheer.

Toch heb ik vanmiddag alsnog de Netscalers uit laten zetten.
Te veel tegenstrijdige geluiden van teveel verschillende bronnen voor mij om het risico te lopen.

[Zwelgje]

KnoxNL schreef op vrijdag 17 januari 2020 @ 21:28:
ICT manager van groot bedrijf hier.

Zelf voor kerst de Netscalers al laten patchen.
Versie 11.

Sinds Juli een uitbesteding gedaan van systeem/netwerkbeheer.

Toch heb ik vanmiddag alsnog de Netscalers uit laten zetten.
Te veel tegenstrijdige geluiden van teveel verschillende bronnen voor mij om het risico te lopen.

snap de reactie. er is teveel tegenstrijdige informatie in omloop voor de leek om het nog te snappen en een besluit te nemen.

[KnoxNL]

Zwelgje schreef op vrijdag 17 januari 2020 @ 21:59:
[...]


snap de reactie. er is teveel tegenstrijdige informatie in omloop voor de leek om het nog te snappen en een besluit te nemen.

Als je met leek bedoeld "mensen die de code van een netscaler niet kennen en snappen en dus de volledige impact niet kunnen inschatten" dan volg ik je.

Ik ben met een netwerkbeheerdersachtergrond van bijna 20 jaar verre van een leek, maar hier moet je inderdaad wel een expert voor zijn.

[Zwelgje]

citrix blog just in

https://www.citrix.com/bl...ix-gateway-vulnerability/

"We investigated those that came to our attention, and we confirm that our mitigation is effective across all known scenarios."

[ Voor 35% gewijzigd door Zwelgje op 17-01-2020 22:24 ]

[Tylen]

Fox-It die het gelukkig ook snapt: https://www.fox-it.com/nl...t-citrix-advisory-update/

[KnoxNL]

Tylen schreef op vrijdag 17 januari 2020 @ 22:18:
Fox-It die het gelukkig ook snapt: https://www.fox-it.com/nl...t-citrix-advisory-update/

Even een quickscan gedaan, maar dit geeft dus ook geen duidelijkheid. Het legt nogmaals de mitigation steps uit, maar is inconclusive.

Precies dezelfde overwegingen die ik en velen met mij in acht hebben genomen.

[Isane]

https://www.rijksoverheid...n-ernstige-gevolgen-heeft

Toch het advies om de netscalers uit te zetten.

[Zwelgje]

Isane schreef op vrijdag 17 januari 2020 @ 23:41:
https://www.rijksoverheid...n-ernstige-gevolgen-heeft

Toch het advies om de netscalers uit te zetten.

omdat niemand de ballen heeft om te zeggen: als je de juiste mitigatie's hebt gedaan is er feitelijk niks aan de hand.

allemaal indekkerij, uitzetten is de veilige keuze.

ik blijf erbij en ik ben daar heel eenvoudig in. als je in de week tijd (!) dat deze exploit beschikbaar is en overl toeslaat nog niet gehackt dan zal dat morgen of overmorgen ook niet gebeuren.

letwel: met DEZE exploit, ik sta niet in voor een andere exploit (waarvan wij geen weet hebben, maar daar gaat de patch van maandag/vrijdag ook oplossing voor bieden

[P_de_B]

Ik ben ook verantwoordelijk voor een redelijk groot bedrijf. Hoewel ik wel geloof dat als je op tijd de juiste mitigation steps hebt doorgevoerd je geen risico loopt heb ik ook besloten ze uit te zetten. Het feit dat het NCSC het zo expliciet zegt én dat Citrix een paar keer een toevoeging heeft gedaan maakt dat je eigenlijk geen keuze hebt.

Ik ga er vanuit dat verreweg de meeste bedrijven waarbij Telewerken niet vitaal is hiervoor gaan kiezen. Voor ons is het vervelend, maar het werk kan gewoon door gaan. Dan is 1+1 als snel 2 en kies je er voor om ze uit te zetten. Wellicht gaan we nog IP-whitelisting toevoegen, de hoeveelheid externe locaties waarvoor het wenselijk is om het toch aan te zetten kan ik wel overzien.


Ik ben wel heel benieuwd naar een soort after action report van het NCSC, ik heb echt het idee dat ze te ver gegaan zijn. Natuurlijk better safe than sorry, maar je hebt juist zo'n organisatie om met feiten te komen.

[Bob-B190]

Tylen schreef op vrijdag 17 januari 2020 @ 22:18:
Fox-It die het gelukkig ook snapt: https://www.fox-it.com/nl...t-citrix-advisory-update/

Uiteraard snappen ze het, en zoals ze zeggen: publiekelijk bekende exploits. Als achteraf blijkt dat er niets meer is dan dat is, dan is de actie en advies van het NCSC wellicht overdreven. Echter, dan vraag ik me wel af: als alle lekken verholpen zijn, waarom er in één keer allemaal patches uitkomen komende week. Onder de streep zullen verantwoordelijken een keuze moeten maken tussen het risico en alle gevolgen nadien, waarbij indekken een beetje zielige term daarvoor is: consequenties kunnen enorm zijn. Vooral als het gaat om gemeenten en zorginstellingen. Ik ben zelf, als burger, blij dat hier niet lichtzinnig mee omgegaan wordt. Vooralsnog weten we niet wat de afwegingen van het NCSC zijn voor het advies, dus kunnen wij in dit topic er feitelijk enkel persoonlijke waarde oordelen of meningen aan hangen.

[AddictIT]

Als je nu niet-bekende exploits hebt, zou het maar dom zijn die net nu in te zetten wanneer de alertheid enorm is. Niet-bekende exploits erbij betrekken is dus zinloos in de besluitvorming.

Ik heb deze hele heisa van op de eerste rij meegemaakt samen met Mads (zie eerdere screenshot) vanuit Orlando waar we allebei op Citrix Summit aanwezig waren.

Als je NetScaler aangepast was voor kerst is er niets aan de hand, aan alertheid heb je dan meer dan genoeg. Zeker als die correct geconfigureerd is.

[ijdod]

Ik zie, zeker in de hogere regionen van de organisatie, een houding van 'als de patch uit is, is alles weer okay'. Dat is vreemd. We vertrouwen de leverancier niet als hij zegt dat de fix voldoende is, maar wel dat de patch het probleem oplost? Testen is het probleem niet... er wordt weinig zo uitvoering getest als Netscalers momenteel

En als je, because of reasons, niet de laatste release draait, is maar de vraag of je de patch uberhaupt kan installeren zonder dat er delen van je omgeving omvallen.

Ik ben wel erg benieuwd waar het NCSC mee gaat komen; ze zinspeelden gisteren op hun Twitten om 'mogelijk aanvullend handelingsperspectief'. Daarmee was mijn bullshitbingo kaart overigens ook meteen vol... BINGO!

[ Voor 28% gewijzigd door ijdod op 19-01-2020 16:45 ]

[Tylen]

Haha precies. Ik hoop de ze met een excuses komen als alles achter de rug is. Vanavond ga ik de patch bij de eerste klant installeren. Dan is daar het politieke spelletje voorbij.

[Bob-B190]

Tylen schreef op zondag 19 januari 2020 @ 16:51:
Haha precies. Ik hoop de ze met een excuses komen als alles achter de rug is. Vanavond ga ik de patch bij de eerste klant installeren. Dan is daar het politieke spelletje voorbij.

Patches komen toch vanaf morgen uit?

[Zwelgje]

Bob-B190 schreef op zondag 19 januari 2020 @ 16:56:
[...]

Patches komen toch vanaf morgen uit?

vanavond 21:00

inside informatie

[ijdod]

Kom er maar in, Management vragen of we kunnen downgraden naar een releases die nu al uitkomen....

[Bob-B190]

Zwelgje schreef op zondag 19 januari 2020 @ 16:58:
[...]


vanavond 21:00

inside informatie

Ik laat me verrassen...

[Tylen]

ijdod schreef op zondag 19 januari 2020 @ 16:59:
Kom er maar in, Management vragen of we kunnen downgraden naar een releases die nu al uitkomen....

Normaal kan dat ja.

[Zwelgje]

ijdod schreef op zondag 19 januari 2020 @ 16:59:
Kom er maar in, Management vragen of we kunnen downgraden naar een releases die nu al uitkomen....

waarom zou je willen downgraden? de mitigaties zoals ze er nu zijn zijn voldoende. als je nu nog niet gehackt bent dan gaat dit ook niet gebeuren tot het de 27ste is (dag van de laatste patch)

blijf gewoon zitten waar je zit en wacht tot de dag dat de patch voor je betreffende NetScaler uitkomt en upgrade hem dan naar die build.

[ijdod]

@Tylen Normaal wel. Maar daar we al functionele issues hebben met updates binnen 12.1 lijkt me een compleet andere releasetrain geen goed plan.

@Zwelgje Dat weten wij, maar het management niet.

[AddictIT]

ijdod schreef op zondag 19 januari 2020 @ 17:52:
@Tylen Normaal wel. Maar daar we al functionele issues hebben met updates binnen 12.1 lijkt me een compleet andere releasetrain geen goed plan.

@Zwelgje Dat weten wij, maar het management niet.

Gisteren een klant naar de laatste release gezet op 12.1, ging prima!

[Tylen]

ijdod schreef op zondag 19 januari 2020 @ 17:52:
@Tylen Normaal wel. Maar daar we al functionele issues hebben met updates binnen 12.1 lijkt me een compleet andere releasetrain geen goed plan.

@Zwelgje Dat weten wij, maar het management niet.

Ik zit met een politiek verhaal waarom ik ga downgraden. We gebruiken geen nieuwe features waardoor ik wel gewoon kan downgraden.

[Bor]

Tylen schreef op vrijdag 17 januari 2020 @ 15:11:
Maar lakse beheerders waren te laat met de stappen doorvoeren en het NCSC verspreid leugens.

Wauw wat een kortzichtige reactie. Zelfs Citrix geeft aan dat het NCSC advies defensive maar goed is.

Tylen schreef op vrijdag 17 januari 2020 @ 19:58:
[...]

Ahhh nog zo iemand. Misschien moet je de rest van de wereld maar even vragen waarom hun nog wel alles gewoon aan hebben staan. En waarom overheids instanties in NL alles uitzetten (gelukkig niet allemaal) omdat die het “advies” van het ncsc opvolgen....


Sorry mannen het zit diep bij mij. Mijn geliefde product wordt door het slijkt gehaald door ontwetende

Waarom zo offensief? Ook in het buitenland zijn er organisaties die ervoor kiezen om uit te schakelen. Mogelijk ken jij ze alleen niet. Jij vindt het duidelijk een slecht advies, dat maakt het echter nog niet zo dat het ook daadwerkelijk een slecht advies is. Het NCSC geeft ook niet aan dat iedereen de devices direct uit moet zetten. Het is een risico overweging die iedereen voor zichzelf moet maken.

Zwelgje schreef op zondag 19 januari 2020 @ 16:58:
[...]


vanavond 21:00

inside informatie

De verwachting voor 11.1 en 12.0 is Sunday, Jan 19 at 12:00 noon PST.
12 PST is 21:00 Amsterdam. Dat is al bekend.

[ Voor 73% gewijzigd door Bor op 19-01-2020 19:53 ]

[Tylen]

Zojuist gedowngrade van 12.1 55xx naar de nieuwe 12.0. Alles loopt nog steeds als een zonnetje. Klant slaap wat geruster nu, terwijl ze al safe waren

[Arfman]

Iemand heeft een overzichtje gemaakt:

https://twitter.com/Bartr00s/status/1219008357744377856

[ijdod]

Gisteravond is het NSCS advies al weer iets teruggeschaald. Niet geheel onverwacht.

[Ultra]

AFAS heeft afgelopen weekend blijkbaar IP whitelisting toegevoegd. Gezwicht voor veel zeurende mensen (intern en extern)?

Het kan voorkomen dat Profit Windows niet opent, nadat je klikt op de tegel. Sinds zaterdag 18-1-2020 hebben we extra maatregelen getroffen. Een daarvan is dat we IP-Whitelisting toegepast hebben op het gebruik van AFAS Online Profit (Citrix). Dat betekent dat alleen de bij AFAS Online bekende IP adressen toegang kunnen krijgen tot Profit. Mocht het inloggen op AFAS Profit dus niet lukken, dan kan het maximaal 1 uur duren voordat het gebruikte IP-adres is toegevoegd aan de IP-Whitelist en het inloggen wel weer moet lukken. Voor het toevoegen van het IP-adres hoef je geen incident in te sturen

[ijdod]

Wat me daar meer opvalt is dat ze kennelijk het toevoegen van IP adressen geautomatiseerd hebben...

[KnoxNL]

Wij zijn weer up and running.

Met de kennis van nu hadden we ook niet plat gehoeven, maar zoals de informatievoorziening vrijdag was sta ik nog steeds achter onze keuze.

[Ultra]

ijdod schreef op maandag 20 januari 2020 @ 12:09:
Wat me daar meer opvalt is dat ze kennelijk het toevoegen van IP adressen geautomatiseerd hebben...

Inderdaad, ik vroeg me ook al af in hoeverre dat geautomatiseerd is.

[Turdie]

Eindelijke definitieve patches beschikbaar voor ADC versie 11.1 en 12:
https://www.citrix.com/bl...ble-timeline-accelerated/

[Tylen]

shadowman12 schreef op maandag 20 januari 2020 @ 18:21:
Eindelijke definitieve patches beschikbaar voor ADC versie 11.1 en 12:
https://www.citrix.com/bl...ble-timeline-accelerated/

Al 22 uur . Vanavond de derde klant patchen. 👍🏻👍🏻

[Tuumke]

Tylen schreef op maandag 20 januari 2020 @ 18:28:
[...]


Al 22 uur . Vanavond de derde klant patchen. 👍🏻👍🏻

En? Wat is de ervaring tot nu toe? Zou niet de 1e keer zijn dat ze een andere bug maken bij het (versneld) uitbrengne van een patch..

[Tylen]

Tuumke schreef op dinsdag 21 januari 2020 @ 09:39:
[...]


En? Wat is de ervaring tot nu toe? Zou niet de 1e keer zijn dat ze een andere bug maken bij het (versneld) uitbrengne van een patch..

Nergens issues mee. Ik doe iedereen naar de 12.0 release. Ik merk wel iets van RADIUS issues op de 11.1 variant. Maar zelf niet gehad op 12.0

[Tuumke]

Tylen schreef op dinsdag 21 januari 2020 @ 09:40:
[...]


Nergens issues mee. Ik doe iedereen naar de 12.0 release. Ik merk wel iets van RADIUS issues op de 11.1 variant. Maar zelf niet gehad op 12.0

Wat voor radius issues zie je dan? Of heb je dat ergens gelezen? Wij gaan waarschijnlijk morgen vroeg updaten

[Tylen]

Tuumke schreef op dinsdag 21 januari 2020 @ 10:31:
[...]


Wat voor radius issues zie je dan? Of heb je dat ergens gelezen? Wij gaan waarschijnlijk morgen vroeg updaten

In combinatie met smspasscode. Dat werkt niet meer.

[ijdod]

Ik hoor ook wat issues met 2FA in de wandelgangen, maar geen nadere info. Zelf nog geen ervaring mee, wij wachten nog op de 12.1 patch.

[Tylen]

12.1 Patch staat op Vrijdag geloof ik.

Het probleem zit in RADIUS. Dus als je mfa/2fa niet gebasseerd is op RADIUS dan gaat het goed.

[ijdod]

Grapperhaus: Nederland geprezen voor Citrix-aanpak
dinsdag 21 januari 2020, 17:08 door Redactie, 0 reacties
Enkele overheden van grote bevriende naties hebben Nederland geprezen voor de manier waarop het omging met het beveiligingslek in Citrix, zo heeft minister Grapperhaus van Justitie en Veiligheid laten weten tijdens het mondelinge vragenuur in de Tweede Kamer.

https://www.security.nl/p...prezen+voor+Citrix-aanpak

Srsly wtf.

https://www.ncsc.nl/actue...eelgestelde-vragen-citrix

Met welke versie van Citrix kan ik de organisatie weer online brengen?
Onder de voorwaarde dat mitigerende maatregelen zijn toegepast voor 9 januari 2020 kunt u elke Citrix versie behalve 12.1 v50.28 weer online brengen. Het NCSC adviseert daarnaast om logbestanden te analyseren vanaf 17 december 2019, omdat op dat moment Citrix de kwetsbaarheid gepubliceerd heeft.

Als je dus op rijd gemitigeerd ben, kan je dus weer live.

We zullen wel nooit te horen krijgen waarom ze zo hoog opgeschaald hebben.

[ Voor 38% gewijzigd door ijdod op 21-01-2020 18:05 ]

[Tuumke]

ijdod schreef op dinsdag 21 januari 2020 @ 17:39:
[...]


https://www.security.nl/p...prezen+voor+Citrix-aanpak

Srsly wtf.

https://www.ncsc.nl/actue...eelgestelde-vragen-citrix


[...]


Als je dus op rijd gemitigeerd ben, kan je dus weer live.

We zullen wel nooit te horen krijgen waarom ze zo hoog opgeschaald hebben.

Misschien meer informatie dan ze hebben gehad? Schijnbaar zijn er toch wat nederlandse bedrijven geraakt

Wij gelukkig niet. IPS laat ook geen aanvallen meer zien

[ijdod]

Ik zou zeggen 'maar' 29?

Het probleem blijft dat mysterieuze advies van de AIVD. Wat kennelijk nu niet meer relevant is. Ja, het kan zijn dat ze 'iets' wisten. Een AIVD zal die informatie allicht onder embargo aan het NCSC geven. Dat gezegd, kan het ook zijn dat de AIVD letterlijk hetzelfe heeft gezegd als de rest van de wereld...

Mijn gevoel zegt eerder dat het NCSC onder grote druk stond een advies te geven over dichtzetten, mogelijk omdateen aantal hooggeplaatste rijks-ICT ambtenaren niet zelf die call wilden maken hun remote werkplek dicht te gooien. Of iets van die strekking.

[Tylen]

Veeeeeel meer adc’s zijn getroffen. Elke adc heeft iig veel attacks gehad. Was je niet optijd met de mitigerende maatregel dan was je de sjaak.

AIVD was erbij gehaald omdat er een ministerie getroffen was. Mocht het echt tot datalek zijn gekomen horen we het vanzelf .

[mangoara]

Citrix heeft een tool online gezet in samenwerking met FireEye om tot op zekere hoogte te checken of er op je NetScaler ingebroken is:
https://www.citrix.com/bl...-tool-for-cve-2019-19781/

Tool:
https://github.com/citrix/ioc-scanner-CVE-2019-19781/

Info en instructie vanuit FireEye:
https://www.fireeye.com/b...ted-to-vulnerability.html

[Tylen]

Pas op voor de vele false positives op deze tool. Als je clientless access gebruikt op de gateway heb je veel xml bestanden op de netscaler. Deze tool geeft hierop false positives.

Controlleer dus wel even die xmls

[ Voor 10% gewijzigd door Tylen op 23-01-2020 09:51 ]

[GH45T]

Tylen schreef op donderdag 23 januari 2020 @ 09:51:
Pas op voor de vele false positives op deze tool. Als je clientless access gebruikt op de gateway heb je veel xml bestanden op de netscaler. Deze tool geeft hierop false positives.

Controlleer dus wel even die xmls

De tool geeft bij ons ook false positives omdat ik een aantal keer in /etc/passwd heb zitten kijken via ssh om te zien of er geen verdachte (nieuwe) entries bij kwamen.

[Tylen]

Leuk om zelf mee te testen, maar stuur die logs niet naar management Dis vinden het gelijk unsecure blablabla.

[Turdie]

Hier wel interessant rapport van een analyse van een Netscaler die aangevallen is:
Citrix CVE-2019-19781 malware analyses

[ Voor 23% gewijzigd door Turdie op 23-01-2020 18:38 ]

[ijdod]

Interview met de ciso van Citrix. Krijg een beetje de smaak dat het aan iedereen ligt maar niet aan Citrix.

https://www.techzine.nl/b...-serna-waar-ging-het-mis/

[AddictIT]

ijdod schreef op vrijdag 24 januari 2020 @ 06:47:
Interview met de ciso van Citrix. Krijg een beetje de smaak dat het aan iedereen ligt maar niet aan Citrix.

https://www.techzine.nl/b...-serna-waar-ging-het-mis/

Nee hoor, hij brengt gewoon duidelijkheid over de tijdlijn (wat eerst interne informatie was). Dit was exact de info waar ik toen over beschikte.

En hij heeft ergens wel gelijk: als je de mitigation had toegepast (volledig), dan was er “niets aan de hand”. Maar ik kan je deels wel volgen dat het enigszins makkelijk gezegd is voor sommige partijen.

[Tuumke]

ijdod schreef op vrijdag 24 januari 2020 @ 06:47:
Interview met de ciso van Citrix. Krijg een beetje de smaak dat het aan iedereen ligt maar niet aan Citrix.

https://www.techzine.nl/b...-serna-waar-ging-het-mis/

Deels ligt het natuurlijk aan je zelf. Als op 17 december al een workarround word gepubliceerd maar beheerders doen er niet mee omdat de processen niet op orde zijn.. Dan ligt het niet aan Citrix.
Anderszijs moet Citrix hun security test processen natuurlijk goed op orde hebben

-edit-
Wat AddictIT dus ook zegt

[ Voor 3% gewijzigd door Tuumke op 24-01-2020 07:25 ]

[Tylen]

ijdod schreef op vrijdag 24 januari 2020 @ 06:47:
Interview met de ciso van Citrix. Krijg een beetje de smaak dat het aan iedereen ligt maar niet aan Citrix.

https://www.techzine.nl/b...-serna-waar-ging-het-mis/

Tuurlijk was citrix fout met de vulrenability die erin zat. Maar overal zitten die in. Maar het is zeker citrix hun schuld niet dat sysadmins hun netscalers niet optijd hadden voorzien van de mitigatie stappen.

[ijdod]

@AddictIT@Tuumke Ik doelde meer op het gebrek aan zelfreflectie over wat hier gebeurt is, minder de fallout na het bekend worden (want idd, op tijd gemitigeerd was geen probleem). Verder denk ik dat Citrix best een hoop steken heeft laten vallen in deze, en dan doel ik niet op de snelheid van de patch of de workaround. En dat bugs voor kunnen en zullen komen is ook het probleem niet (hoewel deze nog lang zal worden nabesproken, vermoed ik).

Een niet ongebruikelijk motief voor publicatie is als de eigenaar van de bug niet snel genoeg acteert. Die vraag wordt helaas niet gesteld.


Overigens zag ik Grapperhaus ook weer op zijn borst slaan dat 'De Minister toestemming had gegeven' voor dat advies van Vrijdagavond. Lees: Een politiek besluit dus.

[ Voor 47% gewijzigd door ijdod op 24-01-2020 07:54 ]

[FastFred]

Update voor V13 is gisteravond uitgebracht in plaats van vandaag, onze Netscaler is weer in de lucht

[ijdod]

12.1 patch in acceptatie getest, onze 2FA valt om.Nu uitzoeken waarom dat gebeurt.

[ Voor 24% gewijzigd door ijdod op 24-01-2020 13:09 ]

[AddictIT]

ijdod schreef op vrijdag 24 januari 2020 @ 13:07:
12.1 patch in acceptatie getest, onze 2FA valt om.Nu uitzoeken waarom dat gebeurt.

Vermoedelijk te maken met je RADIUS credentials die leeg blijven bij de RADIUS-Challenge.
Is al paar keer gemeld online dacht ik.

[ijdod]

@AddictIT Het is geen radius; maar het kan zijn dat er met andere protocollen en vergelijkbaar issue speelt.

[Phyt_]

ijdod schreef op vrijdag 24 januari 2020 @ 14:39:
@AddictIT Het is geen radius; maar het kan zijn dat er met andere protocollen en vergelijkbaar issue speelt.

Al Meer info ? ik ga nu testen zojuist onze acceptatie gepatched.
Ook mfa / radius / nps server oa.

[ijdod]

@Phyt_ Weinig meer info. Lijkt wel enigszins op de gemelde radius issues, dat er bepaalde credentials niet of niet goed meegestuurd worden.

[Phyt_]

ijdod schreef op vrijdag 24 januari 2020 @ 15:39:
@Phyt_ Weinig meer info. Lijkt wel enigszins op de gemelde radius issues, dat er bepaalde credentials niet of niet goed meegestuurd worden.

Zou je iets specifieker kunnen zijn, je hebt het over 2fa, maar niet icm radius. Maar wat dan wel? Dit kan mogelijk interessant voor andere zijn. En gelijk een case bij Citrix aanmaken zodat zij dit kunnen analyseren/ fixen.

[ijdod]

Lijkt inmiddels meer een issue op die specifieke NS te zijn dat structureel. Zal wel weer een upgrade artifact zijn; een stukje van de customs scripts die niet goed overkomen of iets van die strekking.

[DoleBole]

hier vanmiddag ook onze cluster updated naar de nieuwe 12.1 versie. geen enkel probleem gevonden ook niet met radius (safenet)

[Phyt_]

Hier ook geen vreemde dingen gezien 12.1, maandag nog wat dingen na lopen om zeker te zijn .

de 10.5 build is zojuist uit:

https://www.citrix.com/do...ease-105-build-70-12.html

en daarna gelijk naar 12.1 of 13.0 upgraden ! als je die nog draait .

[ Voor 50% gewijzigd door Phyt_ op 24-01-2020 21:01 ]

[Paul]

Zo, net 18 VPX'en (op SDX) bijgewerkt. Gelukkig met ADM kunnen doen, was redelijk vlot klaar.

Zijn aan het migreren van 8 oude MPX'en naar een 2 nieuwe SDX'en, en die draaien nog geen high profile productie VIPs. Als ze dat al wel deden dan was ik waarschijnlijk wat behoudender dan alles in één job knallen en gáán Al zorgt dit er wel op dat ik er vertrouwen in krijg dat ADM dit kan, dus mogelijk de volgende keer dat we firmware bijwerken ook weer (iig de OTA VPX'en) in één klap doen...

Nu nog kijken of / wanneer we de mitigations weer weghalen. Het NCSC geeft iig aan dat ze de patches onderzocht hebben en dat ze "beschermen tegen de op dit moment bekende exploits".

[Tylen]

Ja adm doet dit erg netjes. Ben er wel blij mee.

De mitigerende stappen kan je verwijderen. In de firmware zitten syslog messages voor als er een path traversal gedaan word.

[janbrede]

Hier wat gemengde resultaten. We hebben besloten de VPX'en met een gateway schoon weer op te bouwen ondanks dat we geen aanwijzingen hadden dat ze gehackt waren (de mitigatie was hier al op 19/12 aangebracht en later aangescherpt omdat de oorspronkelijke oplossing van Citrix niet alles tegenhield).
Dat hield in dat we eerst de niet-actieve VPX verwijderden van de SDX en opnieuw aanmaakten met de nieuwe release, waarna we hem weer toevoegden als HA node en een failover deden. Dus geen upgrade maar beginnen met een schone lei, de config en cert bestanden krijgt hij dan weer van de actieve (en ja we vergelijken die met de backups ). Omdat de cert keys mogelijk ook gecompromitteerd kunnen zijn hebben we daarna alle certs vervangen en de oude certs revoked. Dus het zekere voor het onzekere genomen.
Bij een van de VPX'en ging het echter mis en werden de cert bestanden wel gesynchroniseerd maar gingen alle cert-key koppelingen verloren op beide nodes . Die moesten we dus handmatig weer herstellen. Wellicht was dit te voorkomen geweest door de cert bestanden van tevoren handmatig te kopiëren naar de nieuw herbouwde VPX, hoewel het volgens Citrix wel automatisch moet kunnen. Maar kennelijk worden fouten die tijdens het synchroniseren van de config optreden gewoon genegeerd.

[Tylen]

janbrede schreef op zondag 26 januari 2020 @ 01:27:
Hier wat gemengde resultaten. We hebben besloten de VPX'en met een gateway schoon weer op te bouwen ondanks dat we geen aanwijzingen hadden dat ze gehackt waren (de mitigatie was hier al op 19/12 aangebracht en later aangescherpt omdat de oorspronkelijke oplossing van Citrix niet alles tegenhield).
Dat hield in dat we eerst de niet-actieve VPX verwijderden van de SDX en opnieuw aanmaakten met de nieuwe release, waarna we hem weer toevoegden als HA node en een failover deden. Dus geen upgrade maar beginnen met een schone lei, de config en cert bestanden krijgt hij dan weer van de actieve (en ja we vergelijken die met de backups ). Omdat de cert keys mogelijk ook gecompromitteerd kunnen zijn hebben we daarna alle certs vervangen en de oude certs revoked. Dus het zekere voor het onzekere genomen.
Bij een van de VPX'en ging het echter mis en werden de cert bestanden wel gesynchroniseerd maar gingen alle cert-key koppelingen verloren op beide nodes . Die moesten we dus handmatig weer herstellen. Wellicht was dit te voorkomen geweest door de cert bestanden van tevoren handmatig te kopiëren naar de nieuw herbouwde VPX, hoewel het volgens Citrix wel automatisch moet kunnen. Maar kennelijk worden fouten die tijdens het synchroniseren van de config optreden gewoon genegeerd.

Ja dat is een bekend iets. Niet heel erg. Gewoon de certs opnieuw koppelen.

[Stefanovic45]

Hier na de update ook geen vreemde dingen gezien. Radius MFA werkt ook gewoon nog prima op verschillende omgevingen.

[furian88]

Hier de secundaire eerst geupdate, geen issues.
Daarna de primaire update uitgevoerd, boot loop.. wtf.
recovery gedaan vanuit backup. VHDX vervangen en nogmaals geprobeerd. zelfde issue.

Ticket ingeschoten bij Citrix. Voor ons nog geen remote toegang tot Citrix dit issue heeft opgelost.
Waarom dit overigens zich voordoet is de vraag, zowel de primaire als secundaire draaiden allebei dezelfde versie etc.

[Tuumke]

furian88 schreef op maandag 27 januari 2020 @ 10:20:
Hier de secundaire eerst geupdate, geen issues.
Daarna de primaire update uitgevoerd, boot loop.. wtf.
recovery gedaan vanuit backup. VHDX vervangen en nogmaals geprobeerd. zelfde issue.

Ticket ingeschoten bij Citrix. Voor ons nog geen remote toegang tot Citrix dit issue heeft opgelost.
Waarom dit overigens zich voordoet is de vraag, zowel de primaire als secundaire draaiden allebei dezelfde versie etc.

Je kunt dan toch de secondairy als primairy houden? Kun je iig remote weer aanzetten.

[furian88]

Tuumke schreef op maandag 27 januari 2020 @ 10:31:
[...]


Je kunt dan toch de secondairy als primairy houden? Kun je iig remote weer aanzetten.

Daar gaat het "Gouden straatje" zeker weten niet mee akkkoord

[Tylen]

furian88 schreef op maandag 27 januari 2020 @ 10:20:
Hier de secundaire eerst geupdate, geen issues.
Daarna de primaire update uitgevoerd, boot loop.. wtf.
recovery gedaan vanuit backup. VHDX vervangen en nogmaals geprobeerd. zelfde issue.

Ticket ingeschoten bij Citrix. Voor ons nog geen remote toegang tot Citrix dit issue heeft opgelost.
Waarom dit overigens zich voordoet is de vraag, zowel de primaire als secundaire draaiden allebei dezelfde versie etc.

Die kapotte node opnieuw inrichten. 5 minuten werk.

[Zwelgje]

Tuumke schreef op maandag 27 januari 2020 @ 10:31:
[...]


Je kunt dan toch de secondairy als primairy houden? Kun je iig remote weer aanzetten.

nieuwe VM aanmaken met nieuwe NetScaler build. die huidige primary op 'stay primary' laten staan en dan deze toevoegen aan de HA pair. laten syncen en 'stay primary' weer uit

5 minuten werk inderdaad, niet de moeite waard om een ticket voor in te schieten bij Citrix support

[Tylen]

Wat mooi eigenlijk.

De ene maand is het allemaal ruk en moet "Citrix UIT"

En nu.....

Hadden ze imago schade opgelopen dan wordt het nu allemaal weer hersteld

[Arfman]

Omdat mensen nu thuiswerken? Het is de core business van Citrix dus ik verwacht niet minder dan dat het werkt.

[AddictIT]

Nee, niet omdat het werkt, natuurlijk werkt het.

Wat hij bedoelde is dat iedereen een maand geleden riep hoe ruk Citrix wel was (en bij uitbreiding alle remote oplossingen als ze erbij gehaald werden in de discussie), en dat ze nu massaal in de rij staan om extra licenties aan te kopen of om Citrix te gaan gebruiken.
Imagoschade = hersteld!
Bovendien zullen ze de updates en advisories van die NetScalers nu wel ter harte nemen.

Win-win voor Citrix!

Als je daar de ironie niet van inziet, waarin dan wel...

[ijdod]

Mwah, qua imago is het niet opeens weer hersteld, maar het is een populaire oplossing in de markt. Een bestaand product opschalen is nu eenmaal makkelijker dan een nieuwe product uitrollen.