Hoe doen jullie dit: Windows update beleid

[BasXcore]

Ons netwerk groeit gestaag door. Deze bestaat uit diverse ESX servers met daarbinnen zo'n 35 Windows server's. Daarop worden diverse diensten gefaciliteerd als Exchange, SQL, Sharepoint, IIS, MDT, WSUS, File, DC enz enz... De productie tijd is van 7.00u t/m 20.00u. En daarbuiten hebben uiteraard nog te maken met thuiswerkers/overwerkers.

Wij gebruiken WSUS voor het centraal binnenhalen van de windows updates. Voor werkstations worden die bij afsluiten gepresenteerd. Al kiest een gebruiker niet voor installeren, dan wordt dat met de volgende boot gedaan. Voor servers wordt alles behalve drivers en tools aangeboden, en dient de installatie handmatig uitgevoerd te worden.

Wij hebben twee afdelingen die verschillende servers beheren. Applicatie beheer heeft er zo'n 20. En het systeem beheer zo'n 15. Afzonderlijk worden de updates doorgevoerd. Uiteraard in overleg waar zich afhankelijkheden voordoen. Eens per maand gaat er op elke afdelingen iemand sávonds de updates van verschillende servers doorvoeren. Komt er op neer dat elke server ééns in de 2 maanden zijn updates krijgt. Mocht er een critical uitkomen, dan natuurlijk eerder.

Dit begint inmiddels behoorlijk arbeidsintensief te worden. En dus willen we kijken of dit anders kan.

Automatisch installeren van updates op een server, en automatisch rebooten vinden wij geen goed idee. De update kan een feature aanpassen zodat een Sharepoint, SQL of wat dan ook niet meer goed werkt. Je weet immers ook niet of de server wel goed opkomt na een reboot. We hebben we een vroege dienst, maar als die een puinhoop aantreft, kan hij nooit snel genoeg acteren om alles voor productie weer werkend te hebben.

En dan nu de vraag: Hoe doen jullie dit ? Wat zijn jullie ervaringen ?

[DiedX]

Ik zie het probleem niet zo zoals je het nu ingericht hebt? Met deze omvang (en als je het niet aandurft om het remote te doen of dat kan niet) ontkom je niet aan deze situatie?

Ik zou WSUS de zaak laten downloaden door de servers, zodat je alleen hoeft te rebooten. Stuk voor stuk een reboot, koffie erbij, en binnen een uurtje ben je weer weg.

* DiedX ziet het probleem voorlopig niet...

[wasted247]

Bekend probleem, zo deed ik het ook voor het datacenter, tot het 50+ windows machines werden

Wij hebben gelukkig een OTAP omgeving tbv development, zodoende heb ik via policy's ingeregeld dat de updates na accordatie automatisch worden doorgevoerd.

Eerste week van de maand accorderen voor de test omgeving, weekend installatie. Monitoring checkt of alle zaken naar behoren draaien, de week er op worden de updates geaccordeerd voor de productie omgeving. Dit riedeltje gaat zo door.

Een stuk prettiger en minder arbeids intensief. Er worden via GPO's enkele uitzonderingen gemaakt welke
eens per maand handmatig gedaan worden.

BasXcore schreef op vrijdag 04 juni 2010 @ 10:00:
Automatisch installeren van updates op een server, en automatisch rebooten vinden wij geen goed idee. De update kan een feature aanpassen zodat een Sharepoint, SQL of wat dan ook niet meer goed werkt. Je weet immers ook niet of de server wel goed opkomt na een reboot. We hebben we een vroege dienst, maar als die een puinhoop aantreft, kan hij nooit snel genoeg acteren om alles voor productie weer werkend te hebben.

Ik had hier ook mij twijfels bij, maar na wat testen toch zo besloten te doen. Monitoring om de servers te checken na de updates hebben we. Daarnaast worden updates in ons geval altijd eerst op de test omgeving gedaan, waar dezelfde diensten draaien. Daarnaast worden bij ons de updates op vrijdag en zaterdag avond gedaan, gaat er iets mis, heb je de zondag nog.

DiedX schreef op vrijdag 04 juni 2010 @ 10:04:
Ik zie het probleem niet zo zoals je het nu ingericht hebt? Met deze omvang (en als je het niet aandurft om het remote te doen of dat kan niet) ontkom je niet aan deze situatie?

Ik zou WSUS de zaak laten downloaden door de servers, zodat je alleen hoeft te rebooten. Stuk voor stuk een reboot, koffie erbij, en binnen een uurtje ben je weer weg.

* DiedX ziet het probleem voorlopig niet...

Niet mee eens, behoorlijk intensief en saai werkje in de avond uurtjes.

[ Voor 57% gewijzigd door wasted247 op 04-06-2010 10:31 ]

[mrsar]

de echt belangrijke server (productie) doen we handmatig,en daar is ook een complete instructie voor om te volgen,alles voor de zekerheid zeg maar.

De domain controllers etc liggen niet onder mijn beheer,maar zover ik weet krijgt de dc hier 1x per maand een auto reboot nadat er updates zijn gepushed(om 4:45).daarna hebben we nog een stuk of 10 citrix servers op deze site staan welke om de dag een reboot krijgen(maandag even,dinsdag oneven etc) daar hiervoor een balancer staat worden de gebruikers die zo nodig om 02:00 willen werken naar een andere server gebonjoured (half uur van te voren,kwartier/10/5/1min krijgen ze waarschuwing voor de reboot)

robot server is ook handmatig (productie) sql servers etc weet ik verder niet

maar de belangrijkste gaan dus handmatig,zijn een stuk of 6 servers,gewoon omdat je alles hierbij in de gaten moet houden

[Verwijderd]

Als je echt volledige controle wilt zul je System Center Essentials of System Center Configuration Manager kunnen overwegen.
Die bieden een volledig beheersbare patching methode.

SCCM ga je pas nodig hebben bij 50+ servers geloof ik, maar ik kan het mis hebben met de precieze hoeveelheden...

In de omgeving waar ik nu gedetacheerd ben worden alle Windows desktops en servers middels SCCM gepatched...

[BasXcore]

Ik waardeer jullie reacties!

Wij hebben op dit moment een OTAP omgeving. Maar deze is alleen voor projecten, en heeft niet genoeg capaciteit om de volledige omgeving erin te schaduwen. Dus een 2 stap van updates is zonder investering bij ons niet mogelijk. Wellicht te combineren met uitwijk/fallback. Dat staat ook op de agenda.

Het automatisch laten updaten van minder kritische servers via reguliere WSUS met GPO is inderdaad een optie. Dat zou voor grofweg 30% van de servers gelden. Met kritischere servers komt je al snel in de knoop met complexe opstart volgorde's van de SQL/Sharepoint/Bizztalk/CRM die je met GPO's niet goed kan sturen. Foutmarge is te groot.

De Microsoft tool variant is een dure. Maar ga ik bekijken.

Meer suggesties/verhalen zijn welkom.

[DiedX]

wasted247 schreef op vrijdag 04 juni 2010 @ 10:06:

Niet mee eens, behoorlijk intensief en saai werkje in de avond uurtjes.

Tuurlijk! Maar als je zekerheid en uptime wil hebben lijkt mij dit een van de mogelijke methodes.

Ik zit zelf in de informatiebeveiliging, patchen buiten kantooruren is bij ons erg lastig vanwege de beveiliging. De niet-kritische servers patch ik tussen de bedrijven door, kritische servers krijgen een doodschop aan het begin van de bedrijfsborrel, en dan ben ik een kwartiertje later. Kritische patches behandel ik met goed nadenken.

[wasted247]

BasXcore schreef op vrijdag 04 juni 2010 @ 11:25:
Het automatisch laten updaten van minder kritische servers via reguliere WSUS met GPO is inderdaad een optie. Dat zou voor grofweg 30% van de servers gelden. Met kritischere servers komt je al snel in de knoop met complexe opstart volgorde's van de SQL/Sharepoint/Bizztalk/CRM die je met GPO's niet goed kan sturen.

Dan is bvb je SQL server een mooie om buiten te sluiten uit je reguliere updates, en die handmatig te doen. Kan je Sharepoint/Bizztalk/CRM alweer automatisch updaten. Een kwestie van afhankelijkheden in kaart brengen en besluiten wat er wel of niet automatisch mag.

DiedX schreef op vrijdag 04 juni 2010 @ 11:34:
[...]
Tuurlijk! Maar als je zekerheid en uptime wil hebben lijkt mij dit een van de mogelijke methodes.

Ik zit zelf in de informatiebeveiliging, patchen buiten kantooruren is bij ons erg lastig vanwege de beveiliging. De niet-kritische servers patch ik tussen de bedrijven door, kritische servers krijgen een doodschop aan het begin van de bedrijfsborrel, en dan ben ik een kwartiertje later. Kritische patches behandel ik met goed nadenken.

Als het niet anders kan is het een prima methode, eens, zeker bij de kleinere omgevingingen, maar er komt een moment dat het wel erg veel werk wordt om de updates (reboots) door te voeren, ofwel hier een geschikt moment voor te vinden.

Voor beiden opties valt wat te zeggen. Ik heb er voor gekozen het groot en deels te automatiseren. Gaan de servers lekker diep in de nacht installeren en updaten, ik hoor het wel als er iets mis gaat.

Het begon idd hier ook met een uurtje werk, maar na verloop van tijd werden dat er 2, daarna 4, en we groeien ook door, je begrijpt, dit is op een gegeven moment niet meer te doen.

[moppentappers]

Als je een goede testmethode hebt kan je gewoon snapshots maken van alle machines, patch uitrollen en tests uitvoeren

[shaowoo]

hmm.. ik lees dat je ESX gebruikt..is dat in combinatie met vcenter ? Hier heb je nml update manager. hier kan je windows updates downloaden en selectief laten uitvoeren.

het voordeel is dat het snapshot maakt voordat de patches worden uitgevoerd. Je kan aangeven na hoeveel dagen de snapshots weggehaalt moet worden.

maar dit is slecht doekje voor het bloeden (als het fout gaat) . Je wilt dit voor zijn, je zal dan een semi otap doorlopen (zoals de voorgaande posters het al aangeven). misschien dat je voor de belangrijkste servers een clone maakt zodat je overdag dit kan testen.

Een ander tactiek is om niet direct de patches toe passen (dan behalve kritieke en security patches) en een cyclus achter lopen zodat je kan kijken of er patches side effects heeft.

[Rolfie]

moppentappers schreef op vrijdag 04 juni 2010 @ 17:00:
Als je een goede testmethode hebt kan je gewoon snapshots maken van alle machines, patch uitrollen en tests uitvoeren

Snapshots kunnen ook heel gevaarlijk zijn. DC's, SQL, Exchange en alle andere database servers .

Maar ik snap wat je bedoelt, voor gewone domme servers en eventueel applicatie servers zonder data op de server, dan kan een snapshot goed werken. Maar je moet verdomde goed uitkijken.

[_AN]

Hoe voeren jullie automatisch maandelijks updates uit? Niet met WSUS en GPO, denk ik. Onlangs ben ik hier mee bezig geweest, maar tot mijn verbazing kun je in de GPO alleen wekelijks of dagelijks instellen..

[deadlock2k]

-

[ Voor 100% gewijzigd door deadlock2k op 06-08-2021 16:16 ]

[deadlock2k]

-

[ Voor 100% gewijzigd door deadlock2k op 06-08-2021 16:16 ]

[Q]

Je wilt enige vorm van downtime zoveel mogelijk beperkten. Dat kan alleen door patches eerst te testen in test/acceptatie. Dat kan al met een paar VMs die een representatieve omgeving nabootsen. Gaat het daar goed, dan patches tijdens regulier onderhoudsvenster doorvoeren op alle systemen dmv rolling upgrade.

Testen door ICT is meestal goedkoper dan dat door een mislukte upgrade het hele bedrijfsproces voor een paar uur stil ligt.

[alt-92]

_AN schreef op woensdag 09 juni 2010 @ 22:58:
Hoe voeren jullie automatisch maandelijks updates uit? Niet met WSUS en GPO, denk ik. Onlangs ben ik hier mee bezig geweest, maar tot mijn verbazing kun je in de GPO alleen wekelijks of dagelijks instellen..

Kwestie van je approvals timen? Of je GPO disablen.
* alt-92 no see issue

[_AN]

alt-92 schreef op maandag 14 juni 2010 @ 19:24:
[...]

Kwestie van je approvals timen? Of je GPO disablen.
* alt-92 no see issue

Approvals timen is inderdaad een optie.
GPO disabled, waarom? Dan moet je het handmatig doen..

[alt-92]

_AN schreef op woensdag 16 juni 2010 @ 22:06:
GPO disabled, waarom? Dan moet je het handmatig doen..

Denk eens wat verder na?
Ik disable de GPO via een PowerShell script, en zet 'm na Patch Tuesday pas aan. Dan draait ie een weekje, en daarna zet ik 'm weer uit.
Of als je lui bent, dan maak je er een scheduled task van, kan ook,

[Lyon_NL]

Ik zit momenteel 2 dagen in de week gedetacheerd bij een klant op Schiphol. Dit is een 24/7 omgeving en het updaten is dus 'lastig' om buiten kantoor uren te doen.

Ik heb het geluk dat ik heel makkelijk bij de servers kan en ga dus altijd met een flesje water en ga lekker rebooten beneden. Even weg van kantoor en aan de wandel!

Wij hebben hier SCE draaien. Geconfigureerd door mijn voorganger en ik snap niet geheel waarom en hoe... Het zit niet goed in elkaar waardoor ik momenteel nog niet gebruik kan maken van dit systeem.

Er draaien hier op het moment 14 fysieke servers (een IBM en de rest allemaal HP) en 7 virtuele servers. Binnen deze omgeving download iedere server automatisch updates. Dit gebeurd 's nachts wanneer de internet lijn het rustigst is.

Handmatig log ik in (via RDP) op de machines en selecteer de updates die niet met de bedrijfskritische applicaties in conflict komen. Vervolgens ga ik naar beneden en voer handmatig de reboots uit. Dit i.v.m. met een vervelende IBM server die niet goed reboot en soms nog wel eens een Win2k3 server die blijft hangen.

Het rebooten gebeurd overdag. Aan het begin van de middag, wanneer net alle passagiers geboard zijn en de kisten op het punt van vertrekken staan, kunnen onze machines een reboot krijgen. (Buiten ons eigen netwerk hebben we ook gehuurde machines van Schiphol ivm airport specific apps).

In principe hebben wij hier een vaste dag, de 3e dag van de maand, om te updaten. Gebruikers weten dit en houden hier rekening mee. Vaak, bij additioneel onderhoud/ inventarisaties o.i.d., reboot ik nog wel eens een server als er belangrijke updates klaar staan.

Weinig fancy methodes hier... Maar dan moet ik ook wel zeggen dat het mijn taak is om hier het beheer helemaal goed en compleet op te zetten. Tips zijn natuurlijk van harte welkom!