Wereldwijde Crowdstrike BSOD issue discussietopic

[Skit3000]

Probleem

Voor wie CrowdStrike gebruikt, ze hebben een update gepusht die wereldwijd BSODs veroorzaakt. Dit raakt zowel servers als end-user computers.

Status/informatie per cloud provider:

• Amazon AWS
• Microsoft Azure
• Google Cloud

Foutmelding

Windows toont een BSOD voor een fout in csagent.sys:

Oplossingen

Oplossing #1

Als je in safe mode in kunt loggen, kan je naar C:\Windows\System32\Drivers en de map CrowdStrike hernoemen naar CrowdStrikeBad en opnieuw opstarten en dat lijkt het probleem te verhelpen.

Oplossing #2 - Officiële workaround van CrowdStrike

De update is teruggetrokken. Dus systemen die nu opstarten hebben het probleem niet meer.
Er is een workaround beschikbaar die de BSOD oplost.
Workaround Steps:
1. Boot Windows into Safe Mode or the Windows Recovery Environment
2. Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
3. Locate the file matching “C-00000291*.sys”, and delete it.
4. Boot the host normally.

Oplossing 2A - Bootable recovery USB

Microsoft heeft een tool beschikbaar gesteld waarmee je een systeem kunt herstellen door een USB-stick met recovery-software.

https://techcommunity.mic...ue-impacting/ba-p/4196959

Oplossing #3

Alternatieve workaround voor wie nog in het Windows register kan komen:

Another Temp Workaround for the csagent.sys:

boot into safemode, go into the registry and edit the following key:

HKLM:\SYSTEM\CurrentControlSet\Services\CSAgent\Start from a 1 to a 4

This disables the csagent.sys loading. The machines are hopefully booting again.

https://old.reddit.com/r/...reening_stuck_at/ldw2aem/

Oplossing #4 - (Virtuele) servers

Workaround voor wie veel (virtuele) servers heeft waarbij je niet in safe mode kunt komen is om de virtuele schijf los te koppelen, daarna als secundaire schijf aan een nog werkend systeem te koppelen, daar bovenstaande stappen uit te voeren, en daarna weer terugkoppelen aan de originele virtuele server.

Oplossing #5 - Amazon AWS EC2

1. Create a snapshot of the EBS root volume of the affected instance
2. Create a new EBS Volume from the snapshot in the same availability zone
3. Launch a new Windows instance in that availability zone using a similar version of Windows
4. Attach the EBS volume from step (2) to the new Windows instance as a data volume
5. Navigate to \windows\system32\CrowdStrike\ folder on the attached volume and delete "C-00000291*.sys"
6. Detach the EBS volume from the new Windows instance
7. Create a snapshot of the detached EBS volume
8. Replace the root volume of the original instance with the new snapshot
9. Start the original instance

https://docs.aws.amazon.c...using-serial-console.html

Oplossing #6 - Bitlocker

Als je systeem gebruik maakt van Bitlocker, volg dan onderstaande stappen om dit te ontgrendelen.

• Start je computer in Veilige Modus en ga naar de BitLocker ontgrendelpagina.
• Ga op een ander apparaat naar https://myaccount.microsoft.com/device-list
• Log in met de Microsoft gegevens die zijn gekoppeld aan het getroffen apparaat.
• Zoek naar het apparaat dat hersteld moet worden
• Bekijk de BitLocker-sleutel die wordt weergegeven.
• Voer deze sleutel in op het vergrendelde apparaat.
• Volg de stappen van de "normale" workaround.

Oplossing #7 - Azure

Stappen om een machine opstarten in veilige modus:

• Inloggen op Azure console --> Ga naar Virtual Machines --> Selecteer de VM
• Linksboven in de console --> Klik op "Verbinden" --> Klik op "Verbinden" --> Klik op "Meer verbindingsopties" --> Klik op "Seriële console"
• Zodra SAC is geladen, typ 'cmd' en druk op enter.
• Typ het 'cmd' commando
• Typ : ch -si 1
• Druk op een toets (spatiebalk). Voer de beheerdersgegevens in.
• Typ het volgende:
• bcdedit /set {current} safeboot minimal
• bcdedit /set {current} safeboot network
• Herstart de VM

Oplossing #8 - Bitlocker herstellen zonder sleutel (niet geverifieerd)

nc.m schreef op vrijdag 19 juli 2024 @ 11:32:
Op X kwam ik een oplossing tegen die geen Bitlocker-sleutel vereist. Ik heb dit zelf niet geverifieerd:

1. Cycle through BSODs until you get the recovery screen.
2. Navigate to Troubleshoot> Advanced Options> Startup Settings
3. Press "Restart"
4. Skip the first Bitlocker recovery key prompt by pressing Esc
5. Skip the second Bitlocker recovery key prompt by selecting Skip This Drive in the bottom right
6. Navigate to Troubleshoot> Advanced Options> Command Prompt
7. Type "bcdedit/set {default} safeboot minimal", then press enter.
8. Go back to the WinRE main menu and select Continue.
9. It may cycle 2-3 times.
10. If you booted into safe mode, log in per normal.
11. Open Windows Explorer, navigate to C:\Windows \System32\drivers\Crowdstrike
12. Delete the offending file (STARTS with C-00000291*, sys file extension)
13. Open command prompt (as administrator)
14. Type "bcdedit /deletevalue {default} safeboot", then press enter.
15. Restart as normal, confirm normal behavior.

Oplossing #9 - Meerdere keren herstarten

Volgens Microsoft Azure zijn er berichten dat sommige gebruikers Windows hebben kunnen laten herstellen naar de systeembestanden van vóór de CrowdStrike update, door hun systeem tot 15 keer achter elkaar opnieuw op te starten.

We have received reports of successful recovery from some customers attempting multiple Virtual Machine restart operations on affected Virtual Machines.
...
We've received feedback from customers that several reboots (as many as 15 have been reported) may be required, but overall feedback is that reboots are an effective troubleshooting step at this stage.

https://azure.status.microsoft/en-us/status

Oplossing #10 - WinPE

https://www.reddit.com/r/...t_loopbsod_automatically/

I fixed the July 19th 2024 issue on 1100 machines in 30 minutes using the following steps.

I modified our standard WinPE image file (from the ADK) to make it delete the file 'C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys' using the following steps.

If you don't already have the appropriate ADK for your environment download it. The only problem with using a bare WinPE image is it may not have the drivers. Another caveat is that this most likely will not work on systems with encrypted filesystems.

Mount the WinPE file with Wimlib or using Microsoft's own tools, although Microsoft's tools are way clunkier and primative.

Edit startnet.cmd and add:

del C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys

exit

to it.

Save startnet.cmd [note the C:\ might be different for you on your systems but it worked fine on all of mine]

Unmount the WinPE image

Copy the WinPE image to either your PXE server or to a USB drive of some kind and make it BOOTABLE using Rufus or whatever you want.

Boot the impacted system.

Eerste reactie CrowdStrike

Van hun support forum:

7/18/24 10:20PT - Hello everyone - We have widespread reports of BSODs on windows hosts, occurring on multiple sensor versions. Investigating cause. TA will be published shortly. Pinned thread.

SCOPE: EU-1, US-1, US-2 and US-GOV-1

https://supportportal.cro...-Falcon-Sensor-2024-07-19

[ Voor 116% gewijzigd door Skit3000 op 21-07-2024 16:52 ]

[Skit3000]

Eerste Nederlandse artikel:

https://www.ed.nl/binnenl...blauwe-schermen~a2d494fd/

[latjeknal]

Waarom is hier nog geen nieuwsbericht van op de Frontpage? Wereldwijde issues en meerdere bedrijven liggen op zn gat.

[Vorkie]

Ja en bedankt Crowdstrike...

Dit is een wereldwijde prio 1 gewoon....

[krietjur]

Bedrijf waar ik werk ligt ook plat. Geen idee hoe ze dit gaan fixen, hoop niet dat er op elk systeem manuele acties gedaan moeten worden..

[Skit3000]

Onze oplossing is om bij onze virtuele servers (waar we niet in het bootmenu kunnen komen) de virtuele schijf los te koppelen en te koppelen aan een systeem dat wél werkt, om daar de CrowdStrike map te hernoemen en daarna weer terug te koppelen aan het oorspronkelijke systeem. En dat dan tientallen/honderden keren....

[Skit3000]

@TijsZonderH sorry voor het spammen, maar dit is echt groot nieuws.

[dehardstyler]

Skit3000 schreef op vrijdag 19 juli 2024 @ 08:52:
Onze oplossing is om bij onze virtuele servers (waar we niet in het bootmenu kunnen komen) de virtuele schijf los te koppelen en te koppelen aan een systeem dat wél werkt, om daar de CrowdStrike map te hernoemen en daarna weer terug te koppelen aan het oorspronkelijke systeem. En dat dan tientallen/honderden keren....

En uiteraard op een vrijdag....

[Tha Render_2]

Laatste update van CrowdStrike zelf:

Summary
CrowdStrike is aware of reports of crashes on Windows hosts related to the Falcon Sensor.

Details
Symptoms include hosts experiencing a bugcheck\blue screen error related to the Falcon Sensor.
Current Action
CrowdStrike Engineering has identified a content deployment related to this issue and reverted those changes.

If hosts are still crashing and unable to stay online to receive the Channel File Changes, the following steps can be used to workaround this issue:

Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.

Latest Updates
2024-07-19 05:30 AM UTC | Tech Alert Published.
2024-07-19 06:30 AM UTC | Updated and added workaround details.

[Remco VLD]

Current Action CrowdStrike Engineering has identified a content deployment related to this issue and reverted those changes.
If hosts are still crashing and unable to stay online to receive the Channel File Changes, the following steps can be used to workaround this issue:
Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.

Degene met een crowdstrike account; https://supportportal.cro...-Falcon-Sensor-2024-07-19

[Tha Render_2]

Ben benieuwd naar hun market value maandag

[RikvE]

Als je naar reddit kijkt gaat het wereldwijd om misschien wel miljoenen Windows servers en end user systems. Hele bedrijven staan stil. Ik denk dat crowdstrike dergelijke reputatieschade niet zal overleven

[flaskk]

Tha Render_2 schreef op vrijdag 19 juli 2024 @ 08:54:

Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.
.

Probleem is dat een sb'er hier wel uit komt, maar end user niet. Hoe kan zoiets gebeuren vraag je af? lijkt erop dat elk systeem hier last van heeft... dus dit zou bij testen al gelijk naar boven moeten komen. of per ongeluk de verkeerde update gepushed?

[Vorkie]

Vergeet niet dat het niet alleen servers zijn, maar ook werkplekken met bitlocker waar gebruikers dus gewoon niets meer kunnen en het ophalen van een bitlocker key is ook niet echt makkelijk.

[Dennis van der Stelt]

Is dit software die al in Windows zit, dat er zoveel computers getroffen zijn? Ik heb er nog nooit van gehoord.

[Tha Render_2]

Dennis van der Stelt schreef op vrijdag 19 juli 2024 @ 09:07:
Is dit software die al in Windows zit, dat er zoveel computers getroffen zijn? Ik heb er nog nooit van gehoord.

CrowdStrike is marktleider in EDR en dus veel grote bedrijven die het geïnstalleerd hebben op al hun servers en clients.

[F_J_K]

nieuws: Crowdstrike-problemen zorgen voor wereldwijde storingen in computersy...

Dennis van der Stelt schreef op vrijdag 19 juli 2024 @ 09:07:
Is dit software die al in Windows zit, dat er zoveel computers getroffen zijn? Ik heb er nog nooit van gehoord.

Nee. Het gaat hier om endpoint security software die je bedrijf moet hebben aangeschaft en geïnstalleerd. Niets waar "normale gebruikers" iets van zullen meekrijgen. Bedrijven wel.

Edit: of zie hieronder, goed punt: geen idee of dat ook met CrowdStrike is gedaan. Oef, dat zou het nog een stuk erger maken..

[ Voor 8% gewijzigd door F_J_K op 19-07-2024 09:18 ]

[Quad]

F_J_K schreef op vrijdag 19 juli 2024 @ 09:11:
nieuws: Crowdstrike-problemen zorgen voor wereldwijde storingen in computersy...

[...]

Nee. Het gaat hier om endpoint security software die je bedrijf moet hebben aangeschaft en geïnstalleerd. Niets waar "normale gebruikers" iets van zullen meekrijgen. Bedrijven wel.

Ligt eraan, KPN heeft ook wel eens managed endpoint security geleverd aan particulieren als onderdeel van een abonnement. Dit soort producten worden vaak als whitelabel geleverd door partners en resellers. Het kan dus zo maar zijn dat in Nederland genoeg gebruikers zijn die via een tussenpartij onwetend gebruik maken van Crowdstrike.

[Merkelbeek]

Een van onze klanten draait crowdstrike en er is contact geweest met crowdstrike support
ze geven onderstaande aan:


De update is teruggetrokken. Dus systemen die nu opstarten hebben het probleem niet meer.
Er is een workarround beschikbaar die de BSOD oplost.
Workaround Steps:
1. Boot Windows into Safe Mode or the Windows Recovery Environment
2. Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
3. Locate the file matching “C-00000291*.sys”, and delete it.
4. Boot the host normally.

[_JGC_]

Skit3000 schreef op vrijdag 19 juli 2024 @ 08:52:
Onze oplossing is om bij onze virtuele servers (waar we niet in het bootmenu kunnen komen) de virtuele schijf los te koppelen en te koppelen aan een systeem dat wél werkt, om daar de CrowdStrike map te hernoemen en daarna weer terug te koppelen aan het oorspronkelijke systeem. En dat dan tientallen/honderden keren....

Hier hetzelfde. Bij TransIP heb ik een paar Windows VMs draaien die automatisch in recovery mode booten, maar blijkbaar hebben ze de VirtIO drivers daar niet in zitten, dus ding vindt geen harddisks.

Gelukkig kan je die systemen ook met System Rescue CD booten en vanuit linux de bestanden weggooien (eerst ntfsfix draaien en dan pas mounten).

[Skit3000]

Edit: of zie hieronder, goed punt: geen idee of dat ook met CrowdStrike is gedaan. Oef, dat zou het nog een stuk erger maken..

Dat is precies wat veel grote organisaties hebben gedaan. In het eerste uur dat de problemen bezig waren las je overal berichten van administrators die de problemen op hun servers niet kunnen verhelpen omdat hun eigen computers vanzelf uitschakelden.

[krietjur]

Lekkere workaround als je duizenden systemen zo moet fixen.. ik zit nu nog op vakantie, maandag weer beginnen. Kijken of ik er een weekje aan vast kan knopen

[AcidBanger]

Bij ons draait 90% van de werkstation alweer automatisch. Update van CS was teruggetrokken en daardoor komen ze uit de bootloop.

[ByteDelight]

AcidBanger schreef op vrijdag 19 juli 2024 @ 09:38:
Bij ons draait 90% van de werkstation alweer automatisch. Update van CS was teruggetrokken en daardoor komen ze uit de bootloop.

Dus een werkstation dat vanmorgen bootloops had, komt daar uit door de teruggetrokken update?
Dus bij het opstarten, vóór het rebooten, controleert de Falcon Sensor software wel op updates?

Dat zou goed nieuws zijn voor het gros van de machines denk ik.
En ook voor CrowdStrike - als dit mechanisme zo'n probleem zonder tussenkomst van gebruiker of sb-er fixt, verdienen ze in ieder geval daarvoor een chapeau.
Even los van de enorme problemen die ze veroorzaakt hebben..

[ Voor 28% gewijzigd door ByteDelight op 19-07-2024 09:44 ]

[kouk]

Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

[ByteDelight]

kouk schreef op vrijdag 19 juli 2024 @ 09:43:
Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

Volgens mij dus een bootloop, niet 'niet opstarten'.

[Webgnome]

kouk schreef op vrijdag 19 juli 2024 @ 09:43:
Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

Hangt er vanaf hoe en wanneer die bsod gethrowed word he. Als het systeem al div. Services heeft opgestart dan zou het kunnen? (Zegt iemand met de ballen verstand van Windows )

[Merkelbeek]

kouk schreef op vrijdag 19 juli 2024 @ 09:43:
Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

Wellicht is crowdstrike wel zo slim dat hun tool al heel vroeg netwerk connectie maakt.
Dus ook al pre-windows een update kan terugrollen?

[Charlie_Root]

kouk schreef op vrijdag 19 juli 2024 @ 09:43:
Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

Niet. Vandaar de work-around die hierboven is genoemd.

[MarchelHoek]

Wij hebben vorige week een grotere MKB omgeving juist van CrowdStrike afgehaald.
Scheelt 4 vestigingen over het hele land bezoeken

[kouk]

ByteDelight schreef op vrijdag 19 juli 2024 @ 09:44:
[...]


Volgens mij dus een bootloop, niet 'niet opstarten'.

Ah, ok. De machine start dus wel eerst gewoon.

[rvhadam]

AcidBanger schreef op vrijdag 19 juli 2024 @ 09:38:
Update van CS was teruggetrokken en daardoor komen ze uit de bootloop.

Bedoel je dat reeds aangetaste machines automatisch weer zijn gaan werken?

[ Voor 28% gewijzigd door rvhadam op 19-07-2024 09:47 ]

[SmokingSig]

Waar vind je de officiele updates van Crowdstrike omtrent dit probleem?

[Montaner]

MarchelHoek schreef op vrijdag 19 juli 2024 @ 09:45:
Wij hebben vorige week een grotere MKB omgeving juist van CrowdStrike afgehaald.
Scheelt 4 vestigingen over het hele land bezoeken

Vandaag is het Crowdstrike, morgen is het een ander low-level software issue. Desalniettemin zal dit Crowdstrike zelf weinig goeds doen.

[Orangelights23]

SmokingSig schreef op vrijdag 19 juli 2024 @ 09:47:
Waar vind je de officiele updates van Crowdstrike omtrent dit probleem?

Het forum van ze, alleen wel verstopt achter een inlog.

[ralpje]

Voor mensen met Azure VM's met issues: met de 'serial console' kun je dingen als safe mode boots etc. regelen.

https://learn.microsoft.c...s/serial-console-overview

https://learn.microsoft.c...l-console-cmd-ps-commands

Alternatief: als de VM deallocated is de VHD openen, affected files verwijderen en weer booten.

[Razr]

rvhadam schreef op vrijdag 19 juli 2024 @ 09:46:
[...]


Bedoel je dat reeds aangetaste machines automatisch weer zijn gaan werken?
Lijkt mij dat zo’n machine nog geen connectie heeft als hij de BSOD krijgt en daardoor ook geen netwerk heeft nog, dus ook niet kan zien dat een update teruggetrokken moet worden op zijn eigen systeem.

Misschien komt de BSOD pas na een aantal minuten of als de CrowdStrike service volledig is opgestart. Wellicht dat het in sommige gevallen genoeg tijd geeft om e.e.a. terug te draaien.

[SmokingSig]

Orangelights23 schreef op vrijdag 19 juli 2024 @ 09:48:
[...]


Het forum van ze, alleen wel verstopt achter een inlog.

ja dat is dus het probleem.. iemand die wat info kan sharen?

[HKLM_]

latjeknal schreef op vrijdag 19 juli 2024 @ 08:45:
Waarom is hier nog geen nieuwsbericht van op de Frontpage? Wereldwijde issues en meerdere bedrijven liggen op zn gat.

nu.nl meld dat de systemen van DPG media er ook last van hadden / hebben.

[Merkelbeek]

Montaner schreef op vrijdag 19 juli 2024 @ 09:48:
[...]

Vandaag is het Crowdstrike, morgen is het een ander low-level software issue. Desalniettemin zal dit Crowdstrike zelf weinig goeds doen.

Nope,

aandelen waren deze ochtend al 3% gezakt...

[kouk]

Zoiets zou met alle checks en procedures bij een club als Crowdstrike niet moeten kunnen. Hopelijk zit er niet meer achter.

[HollovVpo1nt]

Ik kan mij niet voorstellen dat dat Microsoft blij is met deze issue. De branding van deze issue is gekoppeld aan Windows op grote nieuwssites.

[Merkelbeek]

kouk schreef op vrijdag 19 juli 2024 @ 09:51:
Zoiets zou met alle checks en procedures bij een club als Crowdstrike niet moeten kunnen. Hopelijk zit er niet meer achter.

Je kunt procedures in orde hebben, echter als iemand een fout klikje doet ben je nog steeds de sjaak.
Blijft mensen werken..

[TijsZonderH]

HKLM_ schreef op vrijdag 19 juli 2024 @ 09:49:
[...]


nu.nl meld dat de systemen van DPG media er ook last van hadden / hebben.

Daar hebben we bij Tweakers gelukkig weinig last van, wij draaien lekker onze eigen onbeheerde zelfbeheerde Linux-systemen

[ Voor 3% gewijzigd door TijsZonderH op 19-07-2024 12:55 ]

[d-vine]

dehardstyler schreef op vrijdag 19 juli 2024 @ 08:53:
[...]


En uiteraard op een vrijdag....

Liever vrijdag ochtend dan om 16.00

[Klauwhamer]

kouk schreef op vrijdag 19 juli 2024 @ 09:51:
Zoiets zou met alle checks en procedures bij een club als Crowdstrike niet moeten kunnen. Hopelijk zit er niet meer achter.

Waar denk jij aan bij 'meer'? Malicious intent van een werknemer of beter nog, groep werknemers kunnen aantonen met een behoorlijke transparante RCA, waarbij inzichtelijk wordt dat ondanks procedures en regels een "masterplan" succesvol is uitgevoerd zal je bedrijf niet meer kwaad doen dan "Foutje, bedankt!"

Overigens denk ik wel dat dit einde oefening is voor CrowdStrike zoals we het gekend hebben.

[DennusB]

Dit is toch gewoon het probleem van aanhaken op kernel onderdelen en je foutafhandeling niet op orde hebben? Of zit er echt een bug in een update?

[kouk]

Merkelbeek schreef op vrijdag 19 juli 2024 @ 09:55:
[...]


Je kunt procedures in orde hebben, echter als iemand een fout klikje doet ben je nog steeds de sjaak.
Blijft mensen werken..

Het uitrollen van een dergelijke update (wereldwijd op clients) wordt waarschijnlijk niet door 1 persoon gedaan (of besloten) nadat het niet uitgebreid is getest door meerdere ander personen.

Maar ja, dingen gebeuren.

[dehardstyler]

d-vine schreef op vrijdag 19 juli 2024 @ 09:55:
[...]


Liever vrijdag ochtend dan om 16.00

Ja dat is zeker waar.

[Drardollan]

AcidBanger schreef op vrijdag 19 juli 2024 @ 09:38:
Bij ons draait 90% van de werkstation alweer automatisch. Update van CS was teruggetrokken en daardoor komen ze uit de bootloop.

De systemen crashen voor ze updates kunnen ophalen zover ik het zie? Ik zie ook nergens berichten dat het automatisch opgelost kan worden. Wellicht hebben jullie geluk dat 90% van de machines de update nog niet gedownload heeft?

[marcop82]

Dit kan ook een fuckup zijn van Microsoft door een bug of ongedocumenteerde wijziging, dat zal er alleen uitkomen als het duidelijk wordt welke installaties wel en niet getroffen zijn.

Ik kan ook moeilijk geloven dat het geen geteste en gefaseerde update zou zijn, zelfs als het om malware-definities gaat.

[kouk]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 09:55:
[...]


Waar denk jij aan bij 'meer'?

Een "externe medewerker" die toegang had tot het update systeem van CrowdStrike.

[Klauwhamer]

d-vine schreef op vrijdag 19 juli 2024 @ 09:55:
[...]


Liever vrijdag ochtend dan om 16.00

Nja dat sentiment zie je wel meer; read-only friday weer herintroduceren en zo. Toch ben ik het daar mordicus mee oneens. Een deployment hoort standaardprocedure te zijn, inclusief rollbacks en wat dies meer zij. Anders gezegd; als je bang bent voor deployments op vrijdag omdat je in het weekend niet wil werken, heb je je product, kennis, service, en procedures domweg niet op orde.

Er zijn uitzonderingen als er nieuwe complexere functionaliteit wordt geïntroduceerd waarbij de klant ondanks gebruikers acceptatietests begeleiding moet bieden in beginfase etcetera, dat snap ik allemaal ook wel. Maar in beginsel vind ik het echt tenenkrommende slappe hap, de angst voor friday deploys.

[SmokingSig]

SmokingSig schreef op vrijdag 19 juli 2024 @ 09:48:
[...]


ja dat is dus het probleem.. iemand die wat info kan sharen?

niemand?

[dannyy]

@SmokingSig

https://x.com/Xaaavier_8613/status/1814180533108400569

Daar staat ook de oplossing.

[ Voor 94% gewijzigd door dannyy op 19-07-2024 10:05 ]

[dehardstyler]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 09:58:
[...]


Nja dat sentiment zie je wel meer; read-only friday weer herintroduceren en zo. Toch ben ik het daar mordicus mee oneens. Een deployment hoort standaardprocedure te zijn, inclusief rollbacks en wat dies meer zij. Anders gezegd; als je bang bent voor deployments op vrijdag omdat je in het weekend niet wil werken, heb je je product, kennis, service, en procedures domweg niet op orde.

Er zijn uitzonderingen als er nieuwe complexere functionaliteit wordt geïntroduceerd waarbij de klant ondanks gebruikers acceptatietests begeleiding moet bieden in beginfase etcetera, dat snap ik allemaal ook wel. Maar in beginsel vind ik het echt tenenkrommende slappe hap, de angst voor friday deploys.

Wij rollen nooit dingen uit op een vrijdag die niet strikt noodzakelijk zijn. Wij hebben te maken met strakke SLA's, en het platform moet 24/7/365 draaien. De bezetting is gewoon minder in het weekend, hoe je het ook went of keert. Dus als het niet nodig is, waarom dan niet gewoon de maandag erop een deployment doen?

[kouk]

Liever op maandag 06:00 dan op vrijdag 16:00 iig. Hoe vaak ik al niet heb gehoord "deze change heeft geen impact op de operationale bedrijfsvoering" ....

[kouk]

Maar goed, dat is bij security patches ook anders natuurlijk.

[Vorkie]

In een call met Crowdstrike zojuist, maar die zijn ook nog goed zoekende wat er gebeurt is. Dus aan wie het ligt staat gewoon nog open.

Ze geven wel aan dat herstarten lijkt wel te werken, alleen als je systemen geen (direct) internet hebt of via VPN moeten internetten, is dat best een uitdaging.

[Skit3000]

kouk schreef op vrijdag 19 juli 2024 @ 09:43:
Hoe kan een update automatisch weer verwijderd worden als de betreffende computer niet opstart?

Niet. Voor virtuele machines is er nog een kans dat Azure, AWS, etc een fix direct op de disk images uitvoeren, maar bedrijven waarbij de laptops van medewerkers in een bootloop terecht komen zullen die mensen handmatige instructies moeten geven om het probleem te verhelpen.

Overigens zijn "we" vooral in Azië, Afrika en Europa de sjaak; daar stonden veel werkstations al aan. In de VS was het midden in de nacht dus stonden de meeste computers waarschijnlijk uit. De foutieve update van CrowdStrike installeert niet meer, dus wie nu haar computer weer opstart krijgt het probleem niet.

Leuk voorbeeld van hoe "je updates buiten werktijden installeren" in plaats van tijdens werktijd wellicht de domste overweging is die je kunt maken.

[Drardollan]

marcop82 schreef op vrijdag 19 juli 2024 @ 09:58:
Dit kan ook een fuckup zijn van Microsoft door een bug of ongedocumenteerde wijziging, dat zal er alleen uitkomen als het duidelijk wordt welke installaties wel en niet getroffen zijn.

Ik kan ook moeilijk geloven dat het geen geteste en gefaseerde update zou zijn, zelfs als het om malware-definities gaat.

Het is al zo vaak voorgekomen in het verleden bij diverse leveranciers van onder andere AV producten. Zulke dingen gebeuren, ook na uitvoerig testen.

Daarom is normaal het devies om updates niet direct uit te rollen. Maar dat is in geval van AV software dan weer een tegenstrijdig advies en vaak niet wenselijk.

[Montaner]

Merkelbeek schreef op vrijdag 19 juli 2024 @ 09:50:
[...]


Nope,

aandelen waren deze ochtend al 3% gezakt...

Hah, dat was de stock van gister. Voordat de handel open gaat staat hij nu al op -13.5%. Dat gaat nog wel harder omlaag zodra de handel start.

[Drardollan]

Skit3000 schreef op vrijdag 19 juli 2024 @ 10:06:
[...]


Niet. Voor virtuele machines is er nog een kans dat Azure, AWS, etc een fix direct op de disk images uitvoeren, maar bedrijven waarbij de laptops van medewerkers in een bootloop terecht komen zullen die mensen handmatige instructies moeten geven om het probleem te verhelpen.

Ik mag toch hopen dat leveranciers zoals Azure, AWS, etc. niet zomaar een automatische fix op disk images gaan uitvoeren. Dan zou ik per direct mijn spullen pakken als klant.

[Klauwhamer]

dehardstyler schreef op vrijdag 19 juli 2024 @ 10:02:
[...]


Wij rollen nooit dingen uit op een vrijdag die niet strikt noodzakelijk zijn. Wij hebben te maken met strakke SLA's, en het platform moet 24/7/365 draaien. De bezetting is gewoon minder in het weekend, hoe je het ook went of keert. Dus als het niet nodig is, waarom dan niet gewoon de maandag erop een deployment doen?

Die vraag heb ik toch zojuist beantwoordt? Het hoort voor de meeste dingen domweg niet uit te maken. Als het dat wél doet, zit er iets verkeerd.

Overigens ben ik bekend met strakke SLOs en SLAs met boeteclausules. Het veranderd niets aan mijn afkeer voor angst voor deployments op vrijdag en de onderliggende redenen.

[Drardollan]

Montaner schreef op vrijdag 19 juli 2024 @ 10:11:
[...]

Hah, dat was de stock van gister. Voordat de handel open gaat staat hij nu al op -13.5%. Dat gaat nog wel harder omlaag zodra de handel start.

Treurigheid ten top dat soort emo reacties die je altijd ziet (niet jouw reactie!). Dingen gaan nu eenmaal wel eens fout, dat is balen maar levert vaak een beter proces met minder fouten op.

[d-vine]

dehardstyler schreef op vrijdag 19 juli 2024 @ 10:02:
[...]


Wij rollen nooit dingen uit op een vrijdag die niet strikt noodzakelijk zijn. Wij hebben te maken met strakke SLA's, en het platform moet 24/7/365 draaien. De bezetting is gewoon minder in het weekend, hoe je het ook went of keert. Dus als het niet nodig is, waarom dan niet gewoon de maandag erop een deployment doen?

Hier idem.
Al die SLA's en hoge beschikbaarheid die noodzakelijk is ontkom je niet aan om strategisch changes te moten uitvoeren.
En zo'n probleem is dat nooit om het begin van de week het te regelen.

[kouk]

Drardollan schreef op vrijdag 19 juli 2024 @ 10:12:
[...]

Treurigheid ten top dat soort emo reacties die je altijd ziet (niet jouw reactie!). Dingen gaan nu eenmaal wel eens fout, dat is balen maar levert vaak een beter proces met minder fouten op.

Het is nu juist een product dat moet voorkomen dat je systemen crashen of corrupt raken

Ik snap dat sentiment heel goed.

[dehardstyler]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 10:12:
[...]


Die vraag heb ik toch zojuist beantwoordt? Het hoort voor de meeste dingen domweg niet uit te maken. Als het dat wél doet, zit er iets verkeerd.

Overigens ben ik bekend met strakke SLOs en SLAs met boeteclausules. Het veranderd niets aan mijn afkeer voor angst voor deployments op vrijdag en de onderliggende redenen.

Net zoals het voor de meeste dingen niet uitmaakt of dat op een vrijdag of maandag gedeployed wordt. Pick your battles.
En dan gaan wij dus toch voor maandag, want het maakt letterlijk niet uit. Dus als er 0.00000000000001% kans op problemen is, is het het niet waard om dat op vrijdag te doen.

[R.van.M]

Drardollan schreef op vrijdag 19 juli 2024 @ 10:09:
[...]

Het is al zo vaak voorgekomen in het verleden bij diverse leveranciers van onder andere AV producten. Zulke dingen gebeuren, ook na uitvoerig testen.

Daarom is normaal het devies om updates niet direct uit te rollen. Maar dat is in geval van AV software dan weer een tegenstrijdig advies en vaak niet wenselijk.

Deels mee eens, vaak zijn er bepaalde specifieke configuraties die dan niet getest zijn omdat het onmogelijk is om alles te testen. In dit geval lijkt het probleem echter heel breed te zijn waardoor er toch iets mis moet zijn gegaan in de test procedure

[kouk]

Vrijdag = documentatie dag en mailtjes-weg-werk-dag

[Drardollan]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 09:58:
[...]


Nja dat sentiment zie je wel meer; read-only friday weer herintroduceren en zo. Toch ben ik het daar mordicus mee oneens. Een deployment hoort standaardprocedure te zijn, inclusief rollbacks en wat dies meer zij. Anders gezegd; als je bang bent voor deployments op vrijdag omdat je in het weekend niet wil werken, heb je je product, kennis, service, en procedures domweg niet op orde.

Er zijn uitzonderingen als er nieuwe complexere functionaliteit wordt geïntroduceerd waarbij de klant ondanks gebruikers acceptatietests begeleiding moet bieden in beginfase etcetera, dat snap ik allemaal ook wel. Maar in beginsel vind ik het echt tenenkrommende slappe hap, de angst voor friday deploys.

Dat is geen sentiment, dat is gewoon common sense. Waarom extra risico's lopen met niet noodzakelijke deploys op vrijdag of in bijvoorbeeld laatste 2 weken van december? Dat heeft niets met slap of angst te maken. Dat heeft gewoon te maken met risicomanagement. Elke deploy is een risico, hoe goed je het proces ook kent en beheerst.

Dat staat los van situaties waarbij een deploy noodzakelijk is uiteraard. En in geval van Crowdstrike lijkt mij dat heel plausibel om 24/7/365 te releasen wanneer nodig.

[Tha Render_2]

Safe Mode met Bitlocker enabled is a pain, iemand een work around?

[_JGC_]

Drardollan schreef op vrijdag 19 juli 2024 @ 10:12:
[...]

Treurigheid ten top dat soort emo reacties die je altijd ziet (niet jouw reactie!). Dingen gaan nu eenmaal wel eens fout, dat is balen maar levert vaak een beter proces met minder fouten op.

Wat is het alternatief? Die nieuwe partij zal ook fuckups maken, moet je weer overstappen. Dat overstappen is ook niet gratis.

Overigens ben ik niet heel erg blij met dit soort tools. Tijd terug kregen we een spoedje van security team, RDP zou open staan, inbraak poging uit Rusland. Wij konden niks in de event log vinden daarover en de firewall stond gewoon dicht. Blijkt dat Crowdstrike inhaakt in de kernel voor de firewall en al dat verkeer verwerkt. Een zeroday in het zwarte circuit is voldoende om zo'n server over te nemen als er geen externe firewall actief is.

[ID-College]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 10:12:
[...]


Die vraag heb ik toch zojuist beantwoordt? Het hoort voor de meeste dingen domweg niet uit te maken. Als het dat wél doet, zit er iets verkeerd.

Overigens ben ik bekend met strakke SLOs en SLAs met boeteclausules. Het veranderd niets aan mijn afkeer voor angst voor deployments op vrijdag en de onderliggende redenen.

Ligt beetje aan de kwaliteit van het team idd... Heb in teams gezeten die dat gewoon vrijdag einde dag deden (yolo). Heel belangrijk domein maar wisten gewoon: alles zit goed in elkaar dus niets aan de hand.

En teams die amper durfden te deployen, simpelweg omdat het niveau gewoon te laag is en ze gewoon niet weten of het blijft werken.. ook yolo, maar dan een stuk vervelender voor je gebruikers idd

[Drardollan]

R.van.M schreef op vrijdag 19 juli 2024 @ 10:17:
[...]


Deels mee eens, vaak zijn er bepaalde specifieke configuraties die dan niet getest zijn omdat het onmogelijk is om alles te testen. In dit geval lijkt het probleem echter heel breed te zijn waardoor er toch iets mis moet zijn gegaan in de test procedure

Kan, waar gewerkt wordt gaan dingen fout. Hoeveel je ook test. Het kan soms zo simpel zijn als timestamp die bereikt wordt, denk aan de Y2K problemen van jaren terug (of Y2K38 wat zou kunnen gebeuren binnen de Unix/Linux wereld). Kan je nog zoveel testen, zoiets gebeurd gewoon en kan je niet altijd voorkomen.

[Drardollan]

Tha Render_2 schreef op vrijdag 19 juli 2024 @ 10:18:
Safe Mode met Bitlocker enabled is a pain, iemand een work around?

Gewoon na de BL key direct op F8 gaan rammen toch?

[marcop82]

Tha Render_2 schreef op vrijdag 19 juli 2024 @ 10:18:
Safe Mode met Bitlocker enabled is a pain, iemand een work around?

Heb je de BitLocker vulnerability van januari gemitigate ? Anders kan je jezelf proberen te hacken:
https://msrc.microsoft.co...nerability/CVE-2024-20666

Het voordeel is toch dat Crowdstrike het nu niet kan tegenhouden

/s

[Sniels]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 10:12:
[...]


Die vraag heb ik toch zojuist beantwoordt? Het hoort voor de meeste dingen domweg niet uit te maken. Als het dat wél doet, zit er iets verkeerd.

Overigens ben ik bekend met strakke SLOs en SLAs met boeteclausules. Het veranderd niets aan mijn afkeer voor angst voor deployments op vrijdag en de onderliggende redenen.

In beginsel ben ik het absoluut met je eens en zou die angst voor vrijdag-deployments ongegrond moeten zijn.

Dat neemt niet weg dat voldoende beschikbaarheid van (kundige) resources onderdeel is van een risico-afweging. Als er dan ook nog eens geen reden is om het per sé op een vrijdag te doen kan een heel klein risico (iets met Murphy) genoeg zijn om het niet te doen.

[Klauwhamer]

Drardollan schreef op vrijdag 19 juli 2024 @ 10:18:
[...]

Dat is geen sentiment, dat is gewoon common sense. Waarom extra risico's lopen met niet noodzakelijke deploys op vrijdag of in bijvoorbeeld laatste 2 weken van december? Dat heeft niets met slap of angst te maken. Dat heeft gewoon te maken met risicomanagement. Elke deploy is een risico, hoe goed je het proces ook kent en beheerst.

Dat staat los van situaties waarbij een deploy noodzakelijk is uiteraard. En in geval van Crowdstrike lijkt mij dat heel plausibel om 24/7/365 te releasen wanneer nodig.

Dat is de kern van de discussie: ik vind het juist een gebrek aan risicomanagement om "read only friday" te propageren. Je kunt namelijk ook stellen dat je een inadequate manier van deployment hebt waarbij onvoldoende mitigerende maatregelen, procedure, en/of kennis aanwezig is om fouten of problemen op te vangen tijdens of na een deployment.

Maar goed, dit is een klassieke discussie en we gaan elkaar niet overtuigen.

[Drardollan]

_JGC_ schreef op vrijdag 19 juli 2024 @ 10:19:
[...]

Wat is het alternatief? Die nieuwe partij zal ook fuckups maken, moet je weer overstappen. Dat overstappen is ook niet gratis.

De nieuwe partij zal dat ook zeker een keer hebben. Ik heb het ooit met Sophos gehad in 2012 zoals ik in het SysAdmin topic noemde, nu is het een keer Crowdstrike. Ook Microsoft Defender heeft regelmatig dergelijke nukken gehad. En volgende keer is het SentinelOne of Bitdefender.

Het beste wat je kan doen om dit soort situaties te voorkomen is updates niet direct installeren. Maar dat is in geval van AV software wel tricky. En dat kan je helaas vaak ook niet instellen.

[Drardollan]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 10:25:
[...]


Dat is de kern van de discussie: ik vind het juist een gebrek aan risicomanagement om "read only friday" te propageren. Je kunt namelijk ook stellen dat je een inadequate manier van deployment hebt waarbij onvoldoende mitigerende maatregelen, procedure, en/of kennis aanwezig is om fouten of problemen op te vangen tijdens of na een deployment.

Maar goed, dit is een klassieke discussie en we gaan elkaar niet overtuigen.

Ik propageer geen read only Friday, ik propageer procedures die een zo laag mogelijke impact hebben op de dienstverlening en mensen. Elke deploy is een risico, altijd. Er is geen procedure of test tegen opgewassen om dat 100% te voorkomen. Soms moet een deploy plaatsvinden, ook op een vrijdag of andere vervelende dagen. Maar dat is iets heel anders dan deze dagen standaard voor deploys gebruiken.

En dat heeft helemaal niets te maken met onvoldoende kennis om fouten of problemen op te lossen. Wat een nonsens type je daar zeg. Het gaat erom dat je die kennis probeert niet in te zetten op vervelende momenten zoals net voor of in het weekend of rondom grote feestdagen. Als het uiteraard mogelijk is. Want er zijn altijd situaties waarbij het niet anders is of kan.

Ik zou in ieder geval niet graag bij jou in dienst zijn, ik hecht veel waarde aan mijn eigen vrije tijd en zie deze niet graag in het water vallen omdat er zo nodig dingen als deploys worden doorgeduwd omdat het maar moet kunnen zonder verdere echte noodzaak.

[dehardstyler]

Sniels schreef op vrijdag 19 juli 2024 @ 10:24:
[...]


In beginsel ben ik het absoluut met je eens en zou die angst voor vrijdag-deployments ongegrond moeten zijn.

Dat neemt niet weg dat voldoende beschikbaarheid van (kundige) resources onderdeel is van een risico-afweging. Als er dan ook nog eens geen reden is om het per sé op een vrijdag te doen kan een heel klein risico (iets met Murphy) genoeg zijn om het niet te doen.

Je zou denken dat dit heel makkelijk te begrijpen moet zijn. Ik vraag me dan ook echt af wat de mensen die hier gelijk aan de kundigheid van personeel gaan twijfelen zoal managen. Dat kan niet veel zijn.

[Jazzy]

Modbreak:

Gezien de enorme impact van dit issue gebruiken we dit topic om elkaar te helpen met work-arounds of oplossingen. Algemene discussie over Crowdstrike, softwareupdates of het managen van risico doen we hier op dit moment niet.

[Jazzy]

Oeps, topic per ongeluk gesloten. Is weer open.

[ByteDelight]

Volgens mij heb ik nog geen reacties gezien in dit topic, waaruit blijkt dat het terugtrekken van de update door
Crowdstrike, de bootloop oplost en de machines weer laat herstarten.

Kan iemand dat al bevestigen?

[Dirtyrockers]

ByteDelight schreef op vrijdag 19 juli 2024 @ 11:23:
Volgens mij heb ik nog geen reacties gezien in dit topic, waaruit blijkt dat het terugtrekken van de update door
Crowdstrike, de bootloop oplost en de machines weer laat herstarten.

Kan iemand dat al bevestigen?

dat doet het ook niet.

je zal handmatig de bootloop moeten oplossen door in safe mode op te starten.

Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.

[de Peer]

ByteDelight schreef op vrijdag 19 juli 2024 @ 11:23:
Volgens mij heb ik nog geen reacties gezien in dit topic, waaruit blijkt dat het terugtrekken van de update door
Crowdstrike, de bootloop oplost en de machines weer laat herstarten.

Kan iemand dat al bevestigen?

nee. terugtrekken van een update heeft uiteraard geen invloed op systemen die al plat liggen.

[TijsZonderH]

Heeft er iemand in dit topic toevallig toegang tot de supportpagina van CS? Ik kan daar niet in omdat het een klantenportal dus ik ben afhankelijk van anderen om het te lezen, als iemand me aan die info kan helpen dan graag!

[nc.m]

Op X kwam ik een oplossing tegen die geen Bitlocker-sleutel vereist. Ik heb dit zelf niet geverifieerd:

1. Cycle through BSODs until you get the recovery screen.
2. Navigate to Troubleshoot> Advanced Options> Startup Settings
3. Press "Restart"
4. Skip the first Bitlocker recovery key prompt by pressing Esc
5. Skip the second Bitlocker recovery key prompt by selecting Skip This Drive in the bottom right
6. Navigate to Troubleshoot> Advanced Options> Command Prompt
7. Type "bcdedit/set {default) safeboot minimal", then press enter.
8. Go back to the WinRE main menu and select Continue.
9. It may cycle 2-3 times.
10. If you booted into safe mode, log in per normal.
11. Open Windows Explorer, navigate to C:\Windows \System32\drivers\Crowdstrike
12. Delete the offending file (STARTS with C-00000291*, sys file extension)
13. Open command prompt (as administrator)
14. Type "bcdedit /deletevalue (default) safeboot", then press enter.
15. Restart as normal, confirm normal behavior.

[Drardollan]

ByteDelight schreef op vrijdag 19 juli 2024 @ 11:23:
Volgens mij heb ik nog geen reacties gezien in dit topic, waaruit blijkt dat het terugtrekken van de update door
Crowdstrike, de bootloop oplost en de machines weer laat herstarten.

Kan iemand dat al bevestigen?

De update is zover ik begrepen heb teruggetrokken, maar als je in de bootloop zit zal je eerst handmatig de kapotte versie moeten verwijderen. Daarna gaat het allemaal weer als normaal werken begreep ik.

Maar het is geen automatische oplossing, je systeem kan niet automatisch de vorige versie downloaden omdat hij niet zover komt en crasht met een BSOD.

[Klauwhamer]

nc.m schreef op vrijdag 19 juli 2024 @ 11:32:
Op X kwam ik een oplossing tegen die geen Bitlocker-sleutel vereist. Ik heb dit zelf niet geverifieerd:

1. Cycle through BSODs until you get the recovery screen.
2. Navigate to Troubleshoot> Advanced Options> Startup Settings
3. Press "Restart"
4. Skip the first Bitlocker recovery key prompt by pressing Esc
5. Skip the second Bitlocker recovery key prompt by selecting Skip This Drive in the bottom right
6. Navigate to Troubleshoot> Advanced Options> Command Prompt
7. Type "bcdedit/set {default) safeboot minimal", then press enter.
8. Go back to the WinRE main menu and select Continue.
9. It may cycle 2-3 times.
10. If you booted into safe mode, log in per normal.
11. Open Windows Explorer, navigate to C:\Windows \System32\drivers\Crowdstrike
12. Delete the offending file (STARTS with C-00000291*, sys file extension)
13. Open command prompt (as administrator)
14. Type "bcdedit /deletevalue (default) safeboot", then press enter.
15. Restart as normal, confirm normal behavior.

Je zult als helpdesk mensen op afstand hier door heen moeten loodsen, zeg. Wat een catastrofe.

// Overigens net op Radio 1 een vraag "welk besturingssysteem heeft op dit moment wereldwijd problemen" als onderdeel van een serie vragen over nieuws. En ook op het nieuws wordt aangekondigd dat specifiek Microsoft Windows een probleem heeft, dat 'vermoedelijk" wordt veroorzaakt door CrowdStrike. Het is lullig voor Microsoft c.q. Windows dat ze dit min of meer aangewreven wordt.

[Gonza]

Kan iemand bevestigen of na de workaround de Crowdstrike software weer 'normaal' werkt? Of is deze workaround eigenlijk gelijk aan het uitzetten van Crowdstrike, zodat je systeem het wel weer doet maar dan een stukje onveiliger...

[Haaguit]

Is bekend wat de impact is op de functionaliteit van de suite als je C-00000291*, sys verwijderd? Ik ga er nu van uit dat de hele mitigatie uitvalt.

[SlinkingAnt]

TijsZonderH schreef op vrijdag 19 juli 2024 @ 11:32:
Heeft er iemand in dit topic toevallig toegang tot de supportpagina van CS? Ik kan daar niet in omdat het een klantenportal dus ik ben afhankelijk van anderen om het te lezen, als iemand me aan die info kan helpen dan graag!

Summary
CrowdStrike is aware of reports of crashes on Windows hosts related to the Falcon Sensor.

Summary
CrowdStrike is aware of reports of crashes on Windows hosts related to the Falcon Sensor.

Details
Symptoms include hosts experiencing a bugcheck\blue screen error related to the Falcon Sensor.
This issue is not impacting Mac- or Linux-based hosts
Channel file "C-00000291*.sys" with timestamp of 0527 UTC or later is the reverted (good) version.
Current Action
CrowdStrike Engineering has identified a content deployment related to this issue and reverted those changes.

If hosts are still crashing and unable to stay online to receive the Channel File Changes, the following steps can be used to workaround this issue:

Workaround Steps for individual hosts:
Reboot the host to give it an opportunity to download the reverted channel file. If the host crashes again, then:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory

Locate the file matching “C-00000291*.sys”, and delete it.

Boot the host normally.
Note: Bitlocker-encrypted hosts may require a recovery key.


Workaround Steps for public cloud or similar environment:
Detach the operating system disk volume from the impacted virtual server
Create a snapshot or backup of the disk volume before proceeding further as a precaution against unintended changes
Attach/mount the volume to to a new virtual server
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Detach the volume from the new virtual server
Reattach the fixed volume to the impacted virtual server

Latest Updates
2024-07-19 05:30 AM UTC | Tech Alert Published.
2024-07-19 06:30 AM UTC | Updated and added workaround details.
2024-07-19 08:08 AM UTC | Updated

[corset]

Haaguit schreef op vrijdag 19 juli 2024 @ 11:36:
Is bekend wat de impact is op de functionaliteit van de suite als je C-00000291*, sys verwijderd? Ik ga er nu van uit dat de hele mitigatie uitvalt.

In principe niks. Je mitigatie blijft werken. Het lijkt erop dat die 291 alleen de BSOD's veroorzaakt. Tot nu toe tenminste

[Montaner]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 11:34:
[...]


Je zult als helpdesk mensen op afstand hier door heen moeten loodsen, zeg. Wat een catastrofe.

// Overigens net op Radio 1 een vraag "welk besturingssysteem heeft op dit moment wereldwijd problemen" als onderdeel van een serie vragen over nieuws. En ook op het nieuws wordt aangekondigd dat specifiek Microsoft Windows een probleem heeft, dat 'vermoedelijk" wordt veroorzaakt door CrowdStrike. Het is lullig voor Microsoft c.q. Windows dat ze dit min of meer aangewreven wordt.

Zeker met dit soort kwaliteitskranten: https://www.volkskrant.nl...-bij-microsoft~b3ccf5573/

Is het mogelijk om via intune een re-image van een werkplek te initiëren, die wordt opgepakt voordat de bootloop/BSOD optreed?

[zzattack]

ByteDelight schreef op vrijdag 19 juli 2024 @ 11:23:
Volgens mij heb ik nog geen reacties gezien in dit topic, waaruit blijkt dat het terugtrekken van de update door
Crowdstrike, de bootloop oplost en de machines weer laat herstarten.

Kan iemand dat al bevestigen?

Hier lijkt dit bij 1 werkstation gebeurd. Na vele malen rebooten is hij een keer op het loginscherm blijven staan, en na inloggen is deze niet meer gereboot. Hij heeft wel een paar uur in een loop gezeten, waar andere pc's op de afdeling uiteindelijk in een windows error recovery scenario uitkomen (en dan niet meer loopen). Heb helaas al wel een stuk of 20 pc's die niet zelfstandig eruit kwamen hersteld door die .sys file uit system32\drivers weg te halen.

[Verwijderd]

Kwam deze oplossing tegen;


Automated Workaround in Safe Mode using Group Policy

[JWPrutser]

Klauwhamer schreef op vrijdag 19 juli 2024 @ 11:34:
[...]


Je zult als helpdesk mensen op afstand hier door heen moeten loodsen, zeg. Wat een catastrofe.

// Overigens net op Radio 1 een vraag "welk besturingssysteem heeft op dit moment wereldwijd problemen" als onderdeel van een serie vragen over nieuws. En ook op het nieuws wordt aangekondigd dat specifiek Microsoft Windows een probleem heeft, dat 'vermoedelijk" wordt veroorzaakt door CrowdStrike. Het is lullig voor Microsoft c.q. Windows dat ze dit min of meer aangewreven wordt.

Ook in het Amerikaanse en Britse nieuws gaat het vooral over een Microsoft storing.
Nu zal het misschien ook best een staartje krijgen dat er kritisch gekeken wordt naar Microsoft dat een 3th party antivirus systeem het OS om zeep kan helpen. Op zich heel logisch dat dit kan natuurlijk, maar nu we deze mega impact hebben gehad en iedereen zich bewust is van dit risico, zullen er wellicht allerlei maatregelen moeten komen om zoiets toch te voorkomen, ook al ligt de oorzaak niet bij Ms.

[Gonza]

zzattack schreef op vrijdag 19 juli 2024 @ 11:46:
[...]


Hier lijkt dit bij 1 werkstation gebeurd. Na vele malen rebooten is hij een keer op het loginscherm blijven staan, en na inloggen is deze niet meer gereboot. Hij heeft wel een paar uur in een loop gezeten, waar andere pc's op de afdeling uiteindelijk in een windows error recovery scenario uitkomen (en dan niet meer loopen). Heb helaas al wel een stuk of 20 pc's die niet zelfstandig eruit kwamen hersteld door die .sys file uit system32\drivers weg te halen.

Blijft Crowdstrike werken na het verwijderen van die .sys file? Of wordt Crowdstrike uitgezet met deze actie?