"Whatever their future, at the dawn of their lives, men seek a noble vision of man’s nature and of life’s potential."
onze virtuele servers zijn impacted en de hyper-v servers waar ze op draaien ook.
HPE met raid 60, in repair vindt die zn schijven natuurlijk niet.
Booten via media en driver selecteren? Of hoe doe ik dit… Wordt leuk weekend.
O ja: HPE download site werkt ook niet😬
[ Voor 8% gewijzigd door ? ? op 19-07-2024 12:02 ]
Zover ik het begrijp stopt Crowdstrike deels met werken bij het verwijderen van die file. Het update mechanisme werkt wel, hij installeert vervolgens een oude versie en daarna zou alles weer gewoon goed moeten gaan en veilig moeten zijn.Gonza schreef op vrijdag 19 juli 2024 @ 11:48:
[...]
Blijft Crowdstrike werken na het verwijderen van die .sys file? Of wordt Crowdstrike uitgezet met deze actie?
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Wat we nu weten
De meest recente update van Crowdstrike agent veroorzaakt een Blue Screen of Death (BSOD). Crowdstrike erkent de problemen en voert momenteel onderzoek uit om de problemen op te lossen.
Op dit moment is er nog geen patch beschikbaar gesteld. Wel is er een workaround aangeboden door CrowdStrike die we hieronder in het handelingsperspectief delen. Meerdere partijen hebben tegenover het NCSC bevestigd dat de workaround die CrowdStrike aanbiedt werkt. Het NCSC kan daarnaast met redelijke zekerheid bevestigen dat de workaround geen gevolgen heeft voor de werking van de Crowdstrike agent. De workaround is wel zeer arbeidsintensief en moet per systeem worden uitgevoerd.
Het NCSC heeft op dit moment geen indicatie dat de situatie het gevolg is van acties door kwaadwillenden.
In Safe Mode zou de controller gewoon moeten werken, anders kan je niet eens in Safe Mode kunnen starten. Maar anders kan je bij HPE toch ook via Intelliboot naar de schijven komen of ben ik abuis? En desnoods ergens de drivers vandaan toveren en booten via WinPE en inladen van de driver.? ? schreef op vrijdag 19 juli 2024 @ 12:01:
klein vraagje:
onze virtuele servers zijn impacted en de hyper-v servers waar ze op draaien ook.
HPE met raid 60, in repair vindt die zn schijven natuurlijk niet.
Booten via media en driver selecteren? Of hoe doe ik dit… Wordt leuk weekend.
O ja: HPE download site werkt ook niet😬
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Mooie uitspraak. Maar dat bestand zal er niet voor niets zijn, anders hadden ze het bij crowdstrike zelf wel weggelaten.virtualjoe schreef op vrijdag 19 juli 2024 @ 12:09:
https://www.ncsc.nl/actue...li/19/wereldwijde-storing
Het NCSC kan daarnaast met redelijke zekerheid bevestigen dat de workaround geen gevolgen heeft voor de werking van de Crowdstrike agent.
[...]
edit: het zou beter zijn als het NCSC vermeldt dat na de workaround de agent van crowdstrike zichzelf update naar een oudere versie die het probleem niet kent.
[ Voor 14% gewijzigd door SunnieNL op 19-07-2024 12:12 ]
Crowdstrike werkt met allerlei kleine bestandjes die dynamisch worden ingeladen. Zie het als een virusscanner met losse signatures. Bij het verwijderen van het bestandje gooi je een deel van de beveiliging weg maar blijft de rest gewoon werken. Bij de eerstvolgende update vanuit de software wordt een werkende versie van dat bestand weer opgehaald.SunnieNL schreef op vrijdag 19 juli 2024 @ 12:11:
[...]
Mooie uitspraak. Maar dat bestand zal er niet voor niets zijn, anders hadden ze het bij crowdstrike zelf wel weggelaten.
edit: het zou beter zijn als het NCSC vermeldt dat na de workaround de agent van crowdstrike zichzelf update naar een oudere versie die het probleem niet kent.
Wordt deze gepushed voordat de CS driver wordt geladen en BSOD?Verwijderd schreef op vrijdag 19 juli 2024 @ 11:47:
Kwam deze oplossing tegen;
Automated Workaround in Safe Mode using Group Policy
Het grootste probleem is momenteel namelijk de BSOD loops..?
En werkt dit ook op apparaten welke wireless verbonden zijn?
Hier loopt een eenzame IT-er die een paar honderd computers in safemode aan het booten is om 1 bestandje te verwijderen. Allicht wordt hij blij van deze optie.
[ Voor 15% gewijzigd door kid1988 op 19-07-2024 12:19 ]
kid1988 wijzigde deze reactie 26-11-1998 04:19 (101%)
Vertroetel hem extra goed volgende week vrijdag, tijdens International SysAdmin daykid1988 schreef op vrijdag 19 juli 2024 @ 12:17:
[...]
Wordt deze gepushed voordat de CS driver wordt geladen en BSOD?
Het grootste probleem is momenteel namelijk de BSOD loops..?
En werkt dit ook op apparaten welke wireless verbonden zijn?
Hier loopt een eenzame IT-er die een paar honderd computers in safemode aan het booten is om 1 bestandje te verwijderen. Allicht wordt hij blij van deze optie.
Ik vraag mij af of Windows zover komt, wat ik lees is dat het een bootloop is dus dat zou betekenen dat de boot niet afgerond wordt. Dan is er vaak nog geen netwerkconnectie, dus geen GPO.kid1988 schreef op vrijdag 19 juli 2024 @ 12:17:
[...]
Wordt deze gepushed voordat de CS driver wordt geladen en BSOD?
Het grootste probleem is momenteel namelijk de BSOD loops..?
En werkt dit ook op apparaten welke wireless verbonden zijn?
Hier loopt een eenzame IT-er die een paar honderd computers in safemode aan het booten is om 1 bestandje te verwijderen. Allicht wordt hij blij van deze optie.
Die eenzame IT-er zou er goed aan doen om een paar mensen te ronselen die hij kan uitleggen wat er moet gebeuren, vele handen maken licht werk. Al helpen ze maar mee om de boel in Safe Mode te starten tot de inlog.
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Dat vraag ik me inderdaad ook af, maar het hele verhaal om een safe mode boot te forceren via GPO heeft weinig zin wanneer het systeem gewoon boot.Drardollan schreef op vrijdag 19 juli 2024 @ 12:24:
[...]
Ik vraag mij af of Windows zover komt, wat ik lees is dat het een bootloop is dus dat zou betekenen dat de boot niet afgerond wordt. Dan is er vaak nog geen netwerkconnectie, dus geen GPO.
Die eenzame IT-er zou er goed aan doen om een paar mensen te ronselen die hij kan uitleggen wat er moet gebeuren, vele handen maken licht werk. Al helpen ze maar mee om de boel in Safe Mode te starten tot de inlog.
Wanneer je geen policy kunt updaten moet je nog fysiek bij alle machines langs, en dat kinda defeats the purpose. Wanneer het systeem eenmaal in safe mode is ben je zo klaar...
kid1988 wijzigde deze reactie 26-11-1998 04:19 (101%)
Klopt. Als het systeem gewoon boot en enkele minuten kan draaien dan zal ook automatisch de nieuwe versie van de .sys gedownload worden verwacht ik en het probleem (misschien na nog 1 reboot) sowieso weg zijn.kid1988 schreef op vrijdag 19 juli 2024 @ 12:26:
[...]
Dat vraag ik me inderdaad ook af, maar het hele verhaal om een safe mode boot te forceren via GPO heeft weinig zin wanneer het systeem gewoon boot.
Het ligt helemaal aan de situatie, maar ik denk dat een GPO maken / testen en proberen aan de gang te krijgen voor veel bedrijven meer werk is dan handmatig de boel naar Safe Mode starten en 1 file wisselen. De handeling is dermate eenvoudig dat je in principe gebruikers die affiniteit met computers hebben zou kunnen vragen om je te helpen. Al is het maar het opstarten tot aan de Safe Mode, dan hoef je als IT'er enkel nog in te loggen en de file te verwijderen.
[ Voor 32% gewijzigd door Drardollan op 19-07-2024 12:30 ]
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Helaas lijkt het erop dat tot nu toe handmatig bestandje aanpassen de snelste optie is. Aangezien de laptop al in BSOD schiet voordat er iets van netwerk verbinding is.kid1988 schreef op vrijdag 19 juli 2024 @ 12:17:
[...]
Wordt deze gepushed voordat de CS driver wordt geladen en BSOD?
Het grootste probleem is momenteel namelijk de BSOD loops..?
En werkt dit ook op apparaten welke wireless verbonden zijn?
Hier loopt een eenzame IT-er die een paar honderd computers in safemode aan het booten is om 1 bestandje te verwijderen. Allicht wordt hij blij van deze optie.
"Whatever their future, at the dawn of their lives, men seek a noble vision of man’s nature and of life’s potential."
Ouderwets handwerk. Soms is het niet anders. Leuk is het niet, zeker niet als je als MSP'er meerdere klanten hebt en niet genoeg mensen om fysiek op pad te sturen. Maar het is wel eenvoudig en dankbaar werk met direct resultaat, als je even 10 minuten de tijd neemt om een handig proces in te richten op de plek waar je bent dan kan je snel doorwerken.corset schreef op vrijdag 19 juli 2024 @ 12:35:
[...]
Helaas lijkt het erop dat tot nu toe handmatig bestandje aanpassen de snelste optie is. Aangezien de laptop al in BSOD schiet voordat er iets van netwerk verbinding is.
Bijvoorbeeld iemand vragen de gebruikers naar plek X te komen en op plek X een aantal gebruikers met affiniteit met computers uitleggen hoe ze moeten opstarten naar Safe Mode. Dan kan je als IT'er gewoon inloggen, verwijderen en klaar. Misschien zelfs mogelijk om de inlog en/of verwijderen uit te leggen aan de plus gebruikers en dan zelf enkel overzicht houden. Maar dat vereist wel even rust en planning.
[ Voor 24% gewijzigd door Drardollan op 19-07-2024 12:39 ]
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Mijn werklaptop functioneerde vanmorgen gelukkig nog. Ben local admin en heb gelijk bitlocker uitgeschakeld aangezien de code niet beschikbaar was. Nu hopen dat de vervolg update snel komt.KryTech schreef op vrijdag 19 juli 2024 @ 12:45:
En als bitlocker of een andere encryptie tool in gebruik is wordt het plots wel een ander verhaal...
Experience is direct proportional to the amount of equipment ruined
De servers die ik had met dit probleem kwamen tot het loginscherm, je kon nog net CTRL+ALT+DEL doen en daarna BSOD.Drardollan schreef op vrijdag 19 juli 2024 @ 12:24:
[...]
Ik vraag mij af of Windows zover komt, wat ik lees is dat het een bootloop is dus dat zou betekenen dat de boot niet afgerond wordt. Dan is er vaak nog geen netwerkconnectie, dus geen GPO.
Die eenzame IT-er zou er goed aan doen om een paar mensen te ronselen die hij kan uitleggen wat er moet gebeuren, vele handen maken licht werk. Al helpen ze maar mee om de boel in Safe Mode te starten tot de inlog.
Computer Policy zou mogelijk al ingeladen moeten zijn dan.
Sowieso klopt dat pad niet. "C:\Windows\System32\drivers\C-00000291*.sys" moet "C:\Windows\System32\drivers\Crowdstrike\C-00000291*.sys" zijn.Verwijderd schreef op vrijdag 19 juli 2024 @ 11:47:
Kwam deze oplossing tegen;
Automated Workaround in Safe Mode using Group Policy
Deze kun je niet detach / attach aan een andere machine.
Wat zou hier de oplossing zijn?
Hoe werkt dat dan inloggen? Of zijn de gebruikers local admin?nodri2000 schreef op vrijdag 19 juli 2024 @ 12:48:
Hier draait het weer. IT geeft de bitlocker key lijst en diegene die thuis werken en het kunnen/ willen kunnen de file verwijderen. Daarna draait alles weer
CISSP! Drop your encryption keys!
CrowdStrike is actively working with customers impacted by a defect found in a single content update for Windows hosts. Mac and Linux hosts are not impacted. This is not a security incident or cyberattack. The issue has been identified, isolated and a fix has been deployed. We…
— George Kurtz (@George_Kurtz) 19 juli 2024
Oops.
— Grady Booch (@Grady_Booch) 19 juli 2024
— CrowdStrike
Backup terugzetten?Bulldog schreef op vrijdag 19 juli 2024 @ 12:50:
Wij hebben Azure VM's met een vaste OS disk.
Deze kun je niet detach / attach aan een andere machine.
Wat zou hier de oplossing zijn?
Anders de Azure-docs erbij pakken, de BSOD procedure staat daar in principe beschreven. Uit mijn hoofd gezegd kun je een OS-disk niet ontkoppelen zolang de gekoppelde VM-resource bestaat. Dus dan moet je de VM-resource verwijderen ZONDER de disk te verwijderen. Daarna kun je de OS-disk als Data-disk koppelen aan een troubleshoot VM, dingen aanpassen en vervolgens weer een VM aanmaken op basis van die originele OS-disk.
Maar nogmaals, pak de Azure-docs erbij of maak anders een Azure-support request aan.
[ Voor 98% gewijzigd door Peekster op 19-07-2024 13:19 ]
[ Voor 92% gewijzigd door CappieL op 19-07-2024 13:23 ]
Betreft: 7. Type "bcdedit/set {default) safeboot minimal", then press enter.nc.m schreef op vrijdag 19 juli 2024 @ 11:32:
Op X kwam ik een oplossing tegen die geen Bitlocker-sleutel vereist. Ik heb dit zelf niet geverifieerd:
1. Cycle through BSODs until you get the recovery screen.
2. Navigate to Troubleshoot> Advanced Options> Startup Settings
3. Press "Restart"
4. Skip the first Bitlocker recovery key prompt by pressing Esc
5. Skip the second Bitlocker recovery key prompt by selecting Skip This Drive in the bottom right
6. Navigate to Troubleshoot> Advanced Options> Command Prompt
7. Type "bcdedit/set {default) safeboot minimal", then press enter.
8. Go back to the WinRE main menu and select Continue.
9. It may cycle 2-3 times.
10. If you booted into safe mode, log in per normal.
11. Open Windows Explorer, navigate to C:\Windows \System32\drivers\Crowdstrike
12. Delete the offending file (STARTS with C-00000291*, sys file extension)
13. Open command prompt (as administrator)
14. Type "bcdedit /deletevalue (default) safeboot", then press enter.
15. Restart as normal, confirm normal behavior.
Moet dat zijn: 7. Type "bcdedit /set {default} safeboot minimal", then press enter.
En betreft: 14. Type "bcdedit /deletevalue (default) safeboot", then press enter.
Moet dat zijn: 14. Type "bcdedit /deletevalue {default} safeboot", then press enter.
[ Voor 6% gewijzigd door PuckStar op 19-07-2024 13:40 ]
Datzelfde geldt dan voor stap 14 neem ik aan?PuckStar schreef op vrijdag 19 juli 2024 @ 13:23:
[...]
Betreft: 7. Type "bcdedit/set {default) safeboot minimal", then press enter.
Moet dat zijn: 7. Type "bcdedit /set {default} safeboot minimal", then press enter.
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live.
Yep {} ipv () en daarna kon ik weer inloggen op mijn laptop.P1nGu1n schreef op vrijdag 19 juli 2024 @ 13:38:
[...]
Datzelfde geldt dan voor stap 14 neem ik aan?
Microsoft geeft advies in hun status page:Bulldog schreef op vrijdag 19 juli 2024 @ 12:50:
Wij hebben Azure VM's met een vaste OS disk.
Deze kun je niet detach / attach aan een andere machine.
Wat zou hier de oplossing zijn?
https://azure.status.microsoft/en-us/status.
[ Voor 14% gewijzigd door Sniels op 19-07-2024 13:52 ]
Vraag mij af of dit werkt, is bijvoorbeeld je wifi sneller verboden dan dat de cliënt van cs is opgestart?Mijn computer werkt niet meer door de foute update. Is er al een oplossing?
Ja. Voor getroffen computers heeft CrowdStrike een nieuwe update uitgebracht. Die update wordt automatisch gedownload en geïnstalleerd als je jouw computer herstart.
Maar het is erg druk op de servers van CrowdStrike. Miljoenen computers proberen die update te downloaden. Daardoor kan het zijn dat je jouw pc meerdere keren moet herstarten om hem weer aan de gang te krijgen.
[ Voor 67% gewijzigd door Jazzy op 19-07-2024 14:15 ]
10.000 WP Zuid, 3400 WP Oost/West, Tesla M3 AWD LR, PompAO 8KW, Marstek Venus E 10,24kWh
Je kan als je local admin bent ook gewoon je eigen bitlocker key achterhalen en die even opslaan (niet op hetzelfde device natuurlijkhebikniet schreef op vrijdag 19 juli 2024 @ 12:46:
[...]
Mijn werklaptop functioneerde vanmorgen gelukkig nog. Ben local admin en heb gelijk bitlocker uitgeschakeld aangezien de code niet beschikbaar was. Nu hopen dat de vervolg update snel komt.
Edit:
hiervoor kan je het volgende PS commando gebruiken:
(Get-BitLockerVolume -MountPoint C).KeyProtector
[ Voor 10% gewijzigd door Mouze88 op 19-07-2024 14:07 ]
Misschien zelfs een P0.Vorkie schreef op vrijdag 19 juli 2024 @ 08:46:
Ja en bedankt Crowdstrike...
Dit is een wereldwijde prio 1 gewoon....
Hmm.... bestaat er ook zoiets als P-1 (min één) ?
Het lijkt mij dat Microsoft na dit incident wel een aanpassing gaat maken en zorgt dat bij een BSOD standaard de vorige juist-werkende systeembestanden teruggeplaatst worden zonder dat verdere interactie van de gebruiker nodig is.
xzaz schreef op vrijdag 19 juli 2024 @ 14:06:
Is er al een uiteenzetting wat de bug veroorzaakt in de .sys?
The .sys files causing the issue are channel update files, they cause the top level CS driver to crash as they're invalidly formatted. It's unclear how/why Crowdstrike delivered the files and I'd pause all Crowdstrikes updates temporarily until they can explain.
This is going to turn out to be the biggest 'cyber' incident ever in terms of impact, just a spoiler, as recovery is so difficult.
Oops! Google Chrome could not find www.rijks%20museum.nl
[ Voor 90% gewijzigd door Jazzy op 19-07-2024 14:16 ]
https://gist.github.com/w...711589dcf9e7a5217797ca617
Nadat de IT admins dat hebben doorgevoerd, hoeven de affected gebruikers alleen nog naar Safe Mode te booten. Of zie ik dat verkeerd?
dan moet die eerst wel de juiste paden gebruiken.Jazco2nd schreef op vrijdag 19 juli 2024 @ 14:13:
Dit is toch eigenlijk de oplossing?
https://gist.github.com/w...711589dcf9e7a5217797ca617
Nadat de IT admins dat hebben doorgevoerd, hoeven de affected gebruikers alleen nog naar Safe Mode te booten. Of zie ik dat verkeerd?
dat doet die niet.
Ja en timestamp, maar dat soort foutjes kan je zelf natuurlijk fixen. Overall lijkt me dit gewoon de oplossing en is het dus over een paar uur weer business as usual?Dirtyrockers schreef op vrijdag 19 juli 2024 @ 14:15:
[...]
dan moet die eerst wel de juiste paden gebruiken.
dat doet die niet.
sowieso is nooit geschoten altijd mis.Jazco2nd schreef op vrijdag 19 juli 2024 @ 14:17:
[...]
Ja en timestamp, maar dat soort foutjes kan je zelf natuurlijk fixen. Overall lijkt me dit gewoon de oplossing en is het dus over een paar uur weer business as usual?
ik twijfel alleen of hij de GPO wel gaat aanraken tijdens de BSOD loop.
en ik denk zelfs dat als hij dat wel doet, hij gaat blijven lopen tussen de safe mode en weer terug continu.
Maar dat is niet de oplossing waar ik naar verwijsDirtyrockers schreef op vrijdag 19 juli 2024 @ 14:19:
[...]
sowieso is nooit geschoten altijd mis.
ik twijfel alleen of hij de GPO wel gaat aanraken tijdens de BSOD loop.
en ik denk zelfs dat als hij dat wel doet, hij gaat blijven lopen tussen de safe mode en weer terug continu.
Het gaat hier om een GPO die wordt uitgevoerd wanneer de machine in Safe Mode is geboot.
Niet om een GPO die tijdens booten wordt uitgevoerd.
Dus je moet nog wel handmatig naar safe mode toe..
[ Voor 4% gewijzigd door Jazco2nd op 19-07-2024 14:21 ]
die GPO weet niet dat jij in safemode zitJazco2nd schreef op vrijdag 19 juli 2024 @ 14:20:
[...]
Maar dat is niet de oplossing waar ik naar verwijs![]()
Het gaat hier om een GPO die wordt uitgevoerd wanneer de machine in Safe Mode is geboot.
Niet om een GPO die tijdens booten wordt uitgevoerd.
Dus je moet nog wel handmatig naar safe mode toe..
dus zal hij continu dat script runnen.
Die GIT is door iemand gemaakt sowieso die het niet getest heeft.
als je op je OU die 2 powershell scripts zou runnen... zou hij continu naar safe mode rebooten. (en nooit naar volgende script gaan)
Doe je alleen de 2e zal hij continu rebooten naar normal...
de paden in het script kloppen ook niet.
[ Voor 25% gewijzigd door Dirtyrockers op 19-07-2024 14:28 ]
Dit zie ik hier ook terug: https://azure.status.microsoft/en-us/status
Microsoft stelt dat het meerdere keren (tot wel 15x... euh ok) rebooten van een azure VM soms de oplossing is. Vermoeden is dus als je blijft rebooten en je een keer geluk hebt dat je de update krijgt. Dit zal voor de GPO dus ook gelden. Echter zijn er uiteraard ook heel veel computers die geen direct contact hebben met een domain controller (thuiswerken / Entra ID joined only etc).
Dan zal ik het wel niet begrijpen, want er zijn niet voor niets 2 scripts genoemd.Dirtyrockers schreef op vrijdag 19 juli 2024 @ 14:23:
[...]
die GPO weet niet dat jij in safemode zit
dus zal hij continu dat script runnen.
De eerste wordt gewoon uitgevoerd nadat de user in safe boot mode zit (of gewoon is opgestart, maar dat lukt m toch niet) en het script zorgt ervoor dat je weer naar normale modus boot.
Misschien is het aangepast, de post.. om hier rekening mee te houden. Maar al runt het script continu, is het doel van het verwijderen van het bestandje in elk geval bereikt. Dan ben je al een hele grote stap verder..
Als je al in safe mode kunt, dan is het peanuts om dat ene bestandje te verwijderen. Geautomatiseerd in Safe mode komen voor getroffen systemen is de uitdaging. En ook Bitlocker systemen. En het delen van je local admin credentials. Wil je echt aan je gebruikers gaan vertellen wat dat wachtwoord is? En wanneer LAPS wordt gebruikt, wens ik de IT afdeling al helemaal succes.Jazco2nd schreef op vrijdag 19 juli 2024 @ 14:20:
[...]
Maar dat is niet de oplossing waar ik naar verwijs![]()
Het gaat hier om een GPO die wordt uitgevoerd wanneer de machine in Safe Mode is geboot.
Niet om een GPO die tijdens booten wordt uitgevoerd.
Dus je moet nog wel handmatig naar safe mode toe..
zoals ik in mijn edit aangaf.Jazco2nd schreef op vrijdag 19 juli 2024 @ 14:29:
[...]
Dan zal ik het wel niet begrijpen, want er zijn niet voor niets 2 scripts genoemd.
De eerste wordt gewoon uitgevoerd nadat de user in safe boot mode zit (of gewoon is opgestart, maar dat lukt m toch niet) en het script zorgt ervoor dat je weer naar normale modus boot.
Misschien is het aangepast, de post.. om hier rekening mee te houden. Maar al runt het script continu, is het doel van het verwijderen van het bestandje in elk geval bereikt. Dan ben je al een hele grote stap verder..
als je 2 scripts zou doen... zou hij alleen de eerste continu uitvoeren bij opstarten.(en nooit de 2e uitvoeren)
en bij de 2e continu rebooten...
Cloud ☁️
oftewel, ik heb het idee dat de grote partijen met versie beheer & gecontroleerd updaten deze 'shit' hebben kunnen ontwijken?
volgens mij wordt dit gewoon naar je agent gepushed. dus de gebruiker had dit niet kunnen voorkomen.fib3rlight schreef op vrijdag 19 juli 2024 @ 14:45:
Waar ik benieuwd naar ben, had je dit kunnen voorkomen als klant door niet automatisch de agent te updaten?
oftewel, ik heb het idee dat de grote partijen met versie beheer & gecontroleerd updaten deze 'shit' hebben kunnen ontwijken?
Dit hebben ze uitgebracht om performance issues op te lossen met falcon agent, en gewoon iedereen z'n upgrade policy overruled.
als ik het goed begrepen heb ging dit niet om de agent zelf.jimmy87 schreef op vrijdag 19 juli 2024 @ 14:53:
Wat ik begreep (wij gebruiken het niet), kun je in hun portal aangeven welke versie van de agent je wil, dus laatste, een versie eerder, 2 versies eerder etc. daar is dan een tijd aangeknoopt.
Dit hebben ze uitgebracht om performance issues op te lossen met falcon agent, en gewoon iedereen z'n upgrade policy overruled.
maar om de definities die naar de agent gepushed werd
https://news.ycombinator.com/item?id=41003390
niet zelf bedacht, in hoeverre het klopt, dat laat ik even achterwege
Dan werken ze nog best snelsegil schreef op vrijdag 19 juli 2024 @ 14:55:
Ons server team in de VS is al de hele ochtend bezig met het recoveren. Huidige stand van zaken is dat ze ongeveer 300 van de getroffen 900 servers gefixed hebben.
[ Voor 80% gewijzigd door Jazzy op 19-07-2024 15:08 ]
In dit geval, klinkt heel kort door de bocht, alleen door CS niet te gebruiken, het was ook niet mijn bedoeling om te bashen, meer om aan te geven hoe het komt.fib3rlight schreef op vrijdag 19 juli 2024 @ 14:57:
[...]
dus kan je het voorkomen? (ik vraag dit omdat ik graag bezig wil met VOORKOMEN ipv bashen)
[ Voor 11% gewijzigd door jimmy87 op 19-07-2024 14:58 ]
Is ook een groot team
Peanuts voor.. je admin?segil schreef op vrijdag 19 juli 2024 @ 14:29:
[...]
Als je al in safe mode kunt, dan is het peanuts om dat ene bestandje te verwijderen. Geautomatiseerd in Safe mode komen voor getroffen systemen is de uitdaging. En ook Bitlocker systemen. En het delen van je local admin credentials. Wil je echt aan je gebruikers gaan vertellen wat dat wachtwoord is? En wanneer LAPS wordt gebruikt, wens ik de IT afdeling al helemaal succes.
Ons Slack kanaal was een continu stroom van mensen die dat echt never nooit kunnen hoor.. zelfs bij een groot corporate tech bedrijf..
Dus als je de helft kan automatiseren, hoef je ze alleen nog maar uit te leggen hoe ze in safe mode komen..
Dat scheelt echt een hoop.
Bij ons gebruiken ze ook Crowdstrike, en een week ofzo geleden hadden meerdere mensen bij ons dat het Crowdstrike proces continue CPU aan het gebruiken was en minimaal 1 core van je laptop bezig hield. Na een reboot was dat soms weer voorbij. Toen begreep ik van systeembeheer dat het een bekend probleem was van Crowdstrike waar ze mee bezig waren. Misschien dat de fix voor dat probleem nu roet in het eten gooit?jimmy87 schreef op vrijdag 19 juli 2024 @ 14:53:
Wat ik begreep (wij gebruiken het niet), kun je in hun portal aangeven welke versie van de agent je wil, dus laatste, een versie eerder, 2 versies eerder etc. daar is dan een tijd aangeknoopt.
Dit hebben ze uitgebracht om performance issues op te lossen met falcon agent, en gewoon iedereen z'n upgrade policy overruled.
Hail to the king baby!
Een collega heeft dit opgelost door in de BIOS van de Lenovo de Intel VMD controller te disabelen.
Hierna was het mogelijk om de schijf te benaderen, helaas wel na vrijgave van het lokale admin password en BIOS password, en als je bitlocker gebruikt heb je wel de recovery code nodig.
Na verwijderen van het bestand hebben we de Intel VMD weer aangezet, en werkte alles weer.
De wachtwoorden wijzigen we wel weer komende maandag wel weer via een GPO.
Wat me ook opgevallen is dat de folders niet zichtbaar waren in het CMD scherm, maar na opstarten van notepad konden we de Windows Explorer gebruiken om naar de juiste folder te navigeren, en konden we het bestand 291 verwijderen.
edit: aanvulling en tekstuele wijziging
[ Voor 7% gewijzigd door arie.v op 19-07-2024 15:50 ]
excuus! duidelijk!fib3rlight schreef op vrijdag 19 juli 2024 @ 14:57:
[mbr]Check de topic warning, we reserveren dit topic even voor mensen die het probleem proberen op te lossen. Discussies over preventie mogen later of in een apart topic.[/]
urk_forever schreef op vrijdag 19 juli 2024 @ 15:39:
[...]
Bij ons gebruiken ze ook Crowdstrike, en een week ofzo geleden hadden meerdere mensen bij ons dat het Crowdstrike proces continue CPU aan het gebruiken was en minimaal 1 core van je laptop bezig hield. Na een reboot was dat soms weer voorbij. Toen begreep ik van systeembeheer dat het een bekend probleem was van Crowdstrike waar ze mee bezig waren. Misschien dat de fix voor dat probleem nu roet in het eten gooit?
Dat was blijkbaar dit:
https://www.thestack.tech...requires-windows-reboots/
Verder geen idee of dit onderdeel van de oorzaak is. Ik ben hier technisch gezien ook geen mod, maar ik heb wel die rode naam waardoor ik voorzichtiger ben niet het verkeerde voorbeeld te geven. Daarom stel ik voor dat we deze beter kunnen laten en ontopic blijven naar oplossingen voor deze puinzooi.
Never argue with an idiot. He will drag you down to his own level and beat you with experience.
Ik zou zeggen bootable USB / booten? en via die bootable usb (met driver ) die disk mounten en het bestandje wegkeilen.? ? schreef op vrijdag 19 juli 2024 @ 12:01:
klein vraagje:
onze virtuele servers zijn impacted en de hyper-v servers waar ze op draaien ook.
HPE met raid 60, in repair vindt die zn schijven natuurlijk niet.
Booten via media en driver selecteren? Of hoe doe ik dit… Wordt leuk weekend.
O ja: HPE download site werkt ook niet😬
- Je hebt een bootable USB stick met OS erop nodig
- Dit OS moet de driver van die controller van je hebben.
- Dan moet je hem mounten en het bestandje wegkeilen
[ Voor 22% gewijzigd door 3DDude op 19-07-2024 15:55 . Reden: succes ]
Be nice, You Assholes :)
Ik zag op Reddit nog wel een slimme suggestie, om een bootable USB stick met Linux te maken, en daarop een autostart script dat de corrupte file delete, en het systeem weer opnieuw opstart. Hoef je alleen maar even die USB stick erin te douwen en de rest gaat automagisch. Werkt natuurlijk niet met bitlocker of met systemen die niet vanaf USB drives kunnen booten.Drardollan schreef op vrijdag 19 juli 2024 @ 12:24:
[...]
Ik vraag mij af of Windows zover komt, wat ik lees is dat het een bootloop is dus dat zou betekenen dat de boot niet afgerond wordt. Dan is er vaak nog geen netwerkconnectie, dus geen GPO.
Die eenzame IT-er zou er goed aan doen om een paar mensen te ronselen die hij kan uitleggen wat er moet gebeuren, vele handen maken licht werk. Al helpen ze maar mee om de boel in Safe Mode te starten tot de inlog.
Automatisch crypto handelen via een NL platform? Check BitBotsi !
https://www.reddit.com/r/...t_loopbsod_automatically/
I fixed the July 19th 2024 issue on 1100 machines in 30 minutes using the following steps.
I modified our standard WinPE image file (from the ADK) to make it delete the file 'C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys' using the following steps.
If you don't already have the appropriate ADK for your environment download it. The only problem with using a bare WinPE image is it may not have the drivers. Another caveat is that this most likely will not work on systems with encrypted filesystems.
Mount the WinPE file with Wimlib or using Microsoft's own tools, although Microsoft's tools are way clunkier and primative.
Edit startnet.cmd and add:
del C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys
exit
to it.
Save startnet.cmd [note the C:\ might be different for you on your systems but it worked fine on all of mine]
Unmount the WinPE image
Copy the WinPE image to either your PXE server or to a USB drive of some kind and make it BOOTABLE using Rufus or whatever you want.
Boot the impacted system.
Hope this helps someone. Would appreciate upvotes because this solution would save people from having to work all weekend and also if it's automatic it's less prone to fat fingering.
Also I am pretty sure that Crowdstrike couldve made this change automatically undoable by just using the WinRE partition.
@tremens suggested that this step might help with bitlocker in WinPE 'manage-bde -unlock X: -recoverypassword <recovery key>' should work in WinPE.
Stel dat je werklaptop vanmorgen heeft geboot. En je twijfelt of je er last van kan krijgen. Kan ik dan niet beter mijn laptop het weekend in slaapstand zetten?
ik zou ff naar die folder gaan en kijken of je de corrupte file in kwestie daar hebt staan...zo ja, delete dat ding...zo nee, niks (meer) aan de handBurns schreef op vrijdag 19 juli 2024 @ 16:21:
Ik heb gezocht maar ik kan het antwoord niet vinden:
Stel dat je werklaptop vanmorgen heeft geboot. En je twijfelt of je er last van kan krijgen. Kan ik dan niet beter mijn laptop het weekend in slaapstand zetten?
Bitlocker zou je toch ook met dislocker kunnen ontrgrendelen onder linux.olafmol schreef op vrijdag 19 juli 2024 @ 16:01:
[...]
Ik zag op Reddit nog wel een slimme suggestie, om een bootable USB stick met Linux te maken, en daarop een autostart script dat de corrupte file delete, en het systeem weer opnieuw opstart. Hoef je alleen maar even die USB stick erin te douwen en de rest gaat automagisch. Werkt natuurlijk niet met bitlocker of met systemen die niet vanaf USB drives kunnen booten.
PXE zou je ook kunnen gebruiken om het uit te rollen.
Als je laptop nu nog online is heeft de CS agent als het goed is al lang de fix binnengehaald. Maar veel kans, als je rond normale NL kantoortijden pas bent opgestart vanochtend, dan heb je überhaupt nooit de kapotte .sys ontvangen. Die heeft uiteindelijk echt maar een paar uur of zo online gestaan rond 6/7 uur vanochtend voor zover ik opmaak uit de berichten van CS.Burns schreef op vrijdag 19 juli 2024 @ 16:21:
Ik heb gezocht maar ik kan het antwoord niet vinden:
Stel dat je werklaptop vanmorgen heeft geboot. En je twijfelt of je er last van kan krijgen. Kan ik dan niet beter mijn laptop het weekend in slaapstand zetten?
[ Voor 3% gewijzigd door Orion84 op 19-07-2024 16:33 ]
The problem with common sense is that it's not all that common. | LinkedIn | Flickr
Ik zeg niet dat het peanuts is om in safe mode te komen. Wat Jazco2nd zegt is dat zodra je in Safe Mode zit, je die GPO kunt aftrappen. Ik reageer dat als je dan toch al in safe mode bent, je net zo goed dat ene bestandje kunt verwijderen en heb je die GPO niet nodig. Dat bestandje verwijderen is peanuts in vergelijking met het in safe mode geraken.Jazco2nd schreef op vrijdag 19 juli 2024 @ 15:32:
[...]
Peanuts voor.. je admin?
Ons Slack kanaal was een continu stroom van mensen die dat echt never nooit kunnen hoor.. zelfs bij een groot corporate tech bedrijf..
Dus als je de helft kan automatiseren, hoef je ze alleen nog maar uit te leggen hoe ze in safe mode komen..
Dat scheelt echt een hoop.
Iets om serieus te nemen?
Erik Westhovens is toch niet de minste op gebied van security.
Ik dacht dat het NCSC juist al had gemeld dat het geen gevolg is van acties door kwaadwillenden maar kan dat nu niet meer terugvinden.
Dank je wel, helder antwoord.Orion84 schreef op vrijdag 19 juli 2024 @ 16:33:
[...]
Als je laptop nu nog online is heeft de CS agent als het goed is al lang de fix binnengehaald. Maar veel kans, als je rond normale NL kantoortijden pas bent opgestart vanochtend, dan heb je überhaupt nooit de kapotte .sys ontvangen. Die heeft uiteindelijk echt maar een paar uur of zo online gestaan rond 6/7 uur vanochtend voor zover ik opmaak uit de berichten van CS.
Lijkt me vooral nogal een open deur. Uiteraard zullen ze de oorzaak voor het ontstaan van die kapotte file moeten achterhalen en daarbij zullen ze evt. kwade opzet (intern, danwel extern) niet op voorhand uit kunnen sluiten.JWPrutser schreef op vrijdag 19 juli 2024 @ 17:11:
https://www.dutchitchanne...is-van-supplychain-attack
Iets om serieus te nemen?
Dat zegt verder niets over hoe waarschijnlijk een dergelijk scenario is natuurlijk.
The problem with common sense is that it's not all that common. | LinkedIn | Flickr
Anders even een Ubuntu usb maken met een andere computer en daar mee booten als dat wel gaat. Bestand wegmikken en je kunt weer door. Dit werkt overigens alleen als Bitlocker niet aanstaat.RoBP74 schreef op vrijdag 19 juli 2024 @ 18:13:
Ik heb de problemen met mn windows laptop, ik krijg hem niet eens in safe mode
Onderzoek zeker, maar om nu supplychain te roepen is ook makkelijk scoren. Daarnaast, hoe zou dat iemand helpen.Orion84 schreef op vrijdag 19 juli 2024 @ 17:24:
[...]
Lijkt me vooral nogal een open deur. Uiteraard zullen ze de oorzaak voor het ontstaan van die kapotte file moeten achterhalen en daarbij zullen ze evt. kwade opzet (intern, danwel extern) niet op voorhand uit kunnen sluiten.
Dat zegt verder niets over hoe waarschijnlijk een dergelijk scenario is natuurlijk.
?
Bitlocker schijnt aan te staan, drive c is ook drive x gewordenL0g0ff schreef op vrijdag 19 juli 2024 @ 18:16:
[...]
Anders even een Ubuntu usb maken met een andere computer en daar mee booten als dat wel gaat. Bestand wegmikken en je kunt weer door. Dit werkt overigens alleen als Bitlocker niet aanstaat.
Als je de BitLocker recovery key hebt, kun je met externe tools ook bij de bestanden (Disc-locker)L0g0ff schreef op vrijdag 19 juli 2024 @ 18:16:
[...]
Anders even een Ubuntu usb maken met een andere computer en daar mee booten als dat wel gaat. Bestand wegmikken en je kunt weer door. Dit werkt overigens alleen als Bitlocker niet aanstaat.
Is dit je werk-laptop? Dan even de IT afdeling vragen.RoBP74 schreef op vrijdag 19 juli 2024 @ 18:13:
Ik heb de problemen met mn windows laptop, ik krijg hem niet eens in safe mode
Als het je persoonlijke laptop is, denk ik dat het niets met Crowdstrike te maken heeft, je bent dan in het verkeerde topic.
Nee, na x-aantal slechte reboots zou Windows vanzelf naar een soort last known good state teruggaan.Drardollan schreef op vrijdag 19 juli 2024 @ 16:04:
Hoor nu het en der ook dat meermaals opnieuw opstarten (MS geeft aan tot 15 keer) vaak helpt. Blijkbaar is er soms tijd genoeg om het netwerk aan te slingeren en een update te downloaden voor er een BSOD optreed.
Oh ja, dat was ik vergeten. Dat zal dan de reden zijn het weer kan gaan werken.680x0 schreef op vrijdag 19 juli 2024 @ 19:17:
[...]
Nee, na x-aantal slechte reboots zou Windows vanzelf naar een soort last known good state teruggaan.
Dank voor de aanvulling!
Automatisch crypto handelen via een NL platform? Check BitBotsi !
Ja, dat klopt. Een tijdelijke RAM-drive dacht ik. Kan geen kwaad. Komt vanzelf goed.RoBP74 schreef op vrijdag 19 juli 2024 @ 18:24:
[...]
Bitlocker schijnt aan te staan, drive c is ook drive x geworden
☎ Telecommunicatie van vroeger
🚅Alles over spoor en treintjes
Wat denk je wat wij gaan doen? Ook eerst even weekend vieren.Skit3000 schreef op vrijdag 19 juli 2024 @ 21:05:
Aan de mods van dit forum: Pas gerust mijn start topic aan als er een betere oplossing beschikbaar komt gedurende het weekend. Ik kan dit helaas zelf niet actief monitoren.
Hier ook een lange dag achter de rug. Vanmorgen om een uur of acht begonnen met kritieke infrastructuur (domain controlllers, ADFS, MIM/FIM/AAD Connect), daarna de meest kritische applicaties en tegen de avond bijgesprongen met de collega's om eindgebruikers te helpen. Wat voor ons vooral werkte was een paar groepen collega's bij elkaar met een duidelijke focus, alles tracken in een Excel sheet en een meeting met chat open.
Wat voor mij het vaakst en simpelste werkte is gewoon laten BSOD-en totdat je de recovery opties krijgt, daar naar Command Prompt, eventueel de Bitlkocker key invullen en vervolgens je truukje doen. Paar keer blind de eindgebruiker er doorheen gepraat en in 10, 12 minuten klaar.
Wat een dag!
Heb je dan ook het lokale admin ww aan je gebruikers verteld?Jazzy schreef op vrijdag 19 juli 2024 @ 23:18:
[...]
Wat denk je wat wij gaan doen? Ook eerst even weekend vieren.Bedankt voor het aftrappen van de discussie hier, gaaf om te zien hoe er dan vervolgens samengewerkt wordt.
Hier ook een lange dag achter de rug. Vanmorgen om een uur of acht begonnen met kritieke infrastructuur (domain controlllers, ADFS, MIM/FIM/AAD Connect), daarna de meest kritische applicaties en tegen de avond bijgesprongen met de collega's om eindgebruikers te helpen. Wat voor ons vooral werkte was een paar groepen collega's bij elkaar met een duidelijke focus, alles tracken in een Excel sheet en een meeting met chat open.
Wat voor mij het vaakst en simpelste werkte is gewoon laten BSOD-en totdat je de recovery opties krijgt, daar naar Command Prompt, eventueel de Bitlkocker key invullen en vervolgens je truukje doen. Paar keer blind de eindgebruiker er doorheen gepraat en in 10, 12 minuten klaar.
Wat een dag!
En aan de andere kant moet je op zo een moment maar even vertrouwen op je gebruikers ook. Lokale admin zou weg moeten zitten achter LAPS, dus die kun je achteraf weer relatief snel een expiry geven en laten roteren.
[ Voor 19% gewijzigd door Blokker_1999 op 20-07-2024 08:59 ]
No keyboard detected. Press F1 to continue.
Gaat mij wat te ver maar misschien vinden mensen het interessant.
Het is een tread.
Crowdstrike Analysis:
— Zach Vorhies / Google Whistleblower (@Perpetualmaniac) 19 juli 2024
It was a NULL pointer from the memory unsafe C++ language.
Since I am a professional C++ programmer, let me decode this stack trace dump for you. pic.twitter.com/uUkXB2A8rm
https://x.com/dinosn/status/1814526648043147704?s=46
zou me hogelijk verbazen want dan zou dit bitlocker compleet teniet doen toch?Unknowntje schreef op zaterdag 20 juli 2024 @ 11:18:
Iemand heeft een trucje gedeeld voor mensen met laptops/pc waarop bitlocker staat, ik weet nog niet of het werkt
https://x.com/dinosn/status/1814526648043147704?s=46
Nee, zoals @Blokker_1999 aangeeft is dat via deze procedure niet nodig.segil schreef op zaterdag 20 juli 2024 @ 08:21:
[...]
Heb je dan ook het lokale admin ww aan je gebruikers verteld?
Nee, op geen enkel moment doe je Bitlocker teniet. Uiteindelijk is het een andere manier om tegen Windows te zeggen dat het in veilige modus moet opstarten. Op geen enkel moment geraak jij bij de data op het volume dat door Bitlocker beschermd wordt. En na het opstarten heb je alsnog admin credentials nodig om aan te melden in veilige modus.olafmol schreef op zaterdag 20 juli 2024 @ 11:24:
[...]
zou me hogelijk verbazen want dan zou dit bitlocker compleet teniet doen toch?
No keyboard detected. Press F1 to continue.
Verwijderd
Je dient met deze methode uiteraard nog wel je BitLocker code invullen
https://techcommunity.mic...ue-impacting/ba-p/4196959
Waar we de eerste dagen reserveerden voor een focus op herstel van getroffen systemen, is er in dit topic nu weer ruimte voor meer algemene discussie rondom dit issue en de wereldwijde impact.