Debian devserver compromised

[Zwerver]

http://lists.debian.org/d...nce/2006/07/msg00003.html

Quote van het (engelstalige) bericht:

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Hi,

Early this morning we discovered that someone had managed to
compromise gluck.debian.org. We've taken the machine offline and are
preparing to reinstall it. This means the following debian.org
services are currently offline:

cvs, ddtp, lintian, people, popcon, planet, ports, release

Based on the results of our initial investigation we've locked down
most other debian.org machines, limiting access to DSA only, until
they can be fixed for what we suspect is the exploit used to
compromise gluck.

We're still investigating exactly what happened and the extent of the
damage. We'll post more info as soon as we reasonably can.

- --
James

Het ziet er naar uit dat het wederom raak is, updates volgen zodra er meer bekend is.

[webfreakz.nl]

Ok, leuk dat je het ons meedeelt, en já het is balen. Maar wat wil je nu? Een discussie ofzo?

[stimm]

webfreakz.nl schreef op woensdag 12 juli 2006 @ 21:51:
Ok, leuk dat je het ons meedeelt, en já het is balen. Maar wat wil je nu? Een discussie ofzo?

Misschien hebben GoT'ers wel suggesties waar het aan kan liggen?!

Kan toch?!

[ Voor 58% gewijzigd door stimm op 12-07-2006 21:59 ]

[Zwerver]

webfreakz.nl schreef op woensdag 12 juli 2006 @ 21:51:
Ok, leuk dat je het ons meedeelt, en já het is balen. Maar wat wil je nu? Een discussie ofzo?

Nee, dit is 1 van de weinige keren dat er wel een topic geopend kan worden (imho) zonder verdere reden, gewoon om te informeren. Misschien dat jij een beetje uit je doppen moet kijken voordat je zo reageert, dan zie je direct namelijk tegen wie je zo enorm uit de hoogte te keer gaat

[webfreakz.nl]

Zwerver schreef op woensdag 12 juli 2006 @ 22:05:
[...]


Nee, dit is 1 van de weinige keren dat er wel een topic geopend kan worden (imho) zonder verdere reden, gewoon om te informeren. Misschien dat jij een beetje uit je doppen moet kijken voordat je zo reageert, dan zie je direct namelijk tegen wie je zo enorm uit de hoogte te keer gaat

Dat je ex-crew lid bent en 6200+ berichten geplaatst hebt wil niet zeggen dat je beter bent. Zolang jij in het zwart rondloopt heb ik echt niet meer of minder respect voor je dan een andere 'zwarte' user.

[nzyme]

Zwerver schreef op woensdag 12 juli 2006 @ 22:05:
[...]


Nee, dit is 1 van de weinige keren dat er wel een topic geopend kan worden (imho) zonder verdere reden, gewoon om te informeren. Misschien dat jij een beetje uit je doppen moet kijken voordat je zo reageert, dan zie je direct namelijk tegen wie je zo enorm uit de hoogte te keer gaat

en toch heeft hij wel gelijk, dit is immers gewoon nieuws....

Balen dat er niet meer info gegeven is (nog niet althans) want dit is wel erg summier om ook maar IETS over te zeggen...

cvs, ddtp, lintian, people, popcon, planet, ports, release

en dat zijn ? cvs is wel duidelijk, maar de rest spreekt nog niet echt voor zich.........

[Zwerver]

webfreakz.nl schreef op woensdag 12 juli 2006 @ 22:45:
[...]


Dat je ex-crew lid bent en 6200+ berichten geplaatst hebt wil niet zeggen dat je beter bent. Zolang jij in het zwart rondloopt heb ik echt niet meer of minder respect voor je dan een andere 'zwarte' user.

Nee, maar dat ik 6200+ berichten heb geplaatst en ex-crew ben betekend wel dat ik weet wat je wel en wat je niet kan posten. Daarnaast had je ook gewoon naar mijn posthistory kunnen kijken, had je direct gezien dat ik weet waar ik het over heb meestal dan Dat jij dan zo'n achterlijke manier van reageren moet gebruiken moet je zelf weten, maar het simpele feit ligt er gewoon dat dit voor mensen met debian als distributie wel degelijk belangrijk nieuws is, nieuws wat tot nu toe nog niet gebracht is op /., tweakers.net o.e.a.s.

[ Voor 10% gewijzigd door Zwerver op 12-07-2006 22:53 ]

[smoking2000]

Zwerver schreef op woensdag 12 juli 2006 @ 22:50:
[...] maar het simpele feit ligt er gewoon dat dit voor mensen met debian als distributie wel degelijk belangrijk nieuws is, nieuws wat tot nu toe nog niet gebracht is op /., tweakers.net o.e.a.s.

Maar wel op de debian-devel mailing list waar jij het nieuws vandaan hebt, en zo doende ook op debian-administration.org (een site van Steve Kemp, Debian Developer en member van het Debian Security Team van Debian).

Daar staat ook een betere beschrijving van de services die hier door down zijn, ipv op basis van de hostnames (wat af te leiden is uit de post van James Troup, cvs == cvs.debian.org, people == people.debian.org, etc). Ook staat er de tag CVE-2006-2451, mogelijk de exploit waar naar refereerd wordt in de post op debian-devel-announce.

[ Voor 11% gewijzigd door smoking2000 op 13-07-2006 00:06 ]

[CyBeR]

webfreakz.nl schreef op woensdag 12 juli 2006 @ 22:45:
[...]


Dat je ex-crew lid bent en 6200+ berichten geplaatst hebt wil niet zeggen dat je beter bent. Zolang jij in het zwart rondloopt heb ik echt niet meer of minder respect voor je dan een andere 'zwarte' user.

Dude, dat jij denkt een ex-mod de les te kunnen lezen omdat je dan stoer bent prima, maar val ons er niet mee lastig.

Een vrij groot deel van de NOS-crowd gebruikt Debian (of zou dat moeten doen ) dus een dergelijke melding lijkt me prima relevant.

[Pim.]

Persoonlijk ben ik blij met het bericht, nuttig en informatief.

Wel heb ik nu ook meteen de vragen waar die bak in voorzag en of ik me nu ongerust moet maken over geinstalleerde software.

Iemand antwoord ?

[Zwerver]

smoking2000 schreef op woensdag 12 juli 2006 @ 23:03:
[...]


Maar wel op de debian-devel mailing list waar jij het nieuws vandaan hebt, en zo doende ook op debian-administration.org (een site van Steve Kemp, Debian Developer en member van het Debian Security Team van Debian).

Daar staat ook een betere beschrijving van de services die hier door down zijn, ipv op basis van de hostnames (wat af te leiden is uit de post van James Troup, cvs == cvs.debian.org, people == people.debian.org, etc)

Kijk en voor dat soort nieuws staat dit topic er dus

[smoking2000]

Pim. schreef op woensdag 12 juli 2006 @ 23:05:
Persoonlijk ben ik blij met het bericht, nuttig en informatief.

Wel heb ik nu ook meteen de vragen waar die bak in voorzag en of ik me nu ongerust moet maken over geinstalleerde software.

Iemand antwoord ?

Om het stukje op Debian-Administration wat uit te breiden, op gluck.debian.org draaide de VHosts:

Hostname	Omschrijving
cvs.debian.org	Developer-only CVS repository
ddtp.debian.org	Debian Description Translation Project (vertalingen van de package descriptions)
lintian.debian.org	Litian reports (software quality checks)
people.debian.org	Persoonlijke webpages van developers, o.a. persoonlijke apt archives
popcon.debian.org	Popularity contest resultaten, popcon wordt gebruikt om te kijken welke software op Debian bakken is geinstalleerd om oa de CD samenstelling te bepalen
planet.debian.org	RSS aggregaat van Debian Developer weblogs
ports.debian.org	IIRC archive van Debian packages en webpages voor non-Linux ports
releases.debian.org	Coordinatie website van het Release Team

Bovenstaande info is wat ik zo 1,2,3 weet wat voor rol die services binnen het Debian project vervullen.

[ Voor 4% gewijzigd door smoking2000 op 12-07-2006 23:44 ]

[_JGC_]

Ik vond het al vreemd dat people.debian.org dood was vanmiddag. Ik vraag me af waar ze nu door gepakt zijn, misschien toch een oude woody chroot zonder security updates en met setuid binaries ergens gemount? (dit was het geval met de vorige compromise eind 2003).

[smoking2000]

_JGC_ schreef op donderdag 13 juli 2006 @ 01:08:
Ik vond het al vreemd dat people.debian.org dood was vanmiddag. Ik vraag me af waar ze nu door gepakt zijn, misschien toch een oude woody chroot zonder security updates en met setuid binaries ergens gemount? (dit was het geval met de vorige compromise eind 2003).

Zoals vermeldt in mijn eerdere post, de tag op het debian-administration artikel doet denken dat ze vermoeden dat het door het exploiteren van CVE-2006-2451:

quote: http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2006-2451

The suid_dumpable support in Linux kernel 2.6.13 up to versions before 2.6.17.4, and 2.6.16 before 2.6.16.24, allows a local user to cause a denial of service (disk consumption) and possibly gain privileges via the PR_SET_DUMPABLE argument of the prctl function and a program that causes a core dump file to be created in a directory for which the user does not have permissions.

[terabyte]

_JGC_ schreef op donderdag 13 juli 2006 @ 01:08:
Ik vond het al vreemd dat people.debian.org dood was vanmiddag. Ik vraag me af waar ze nu door gepakt zijn, misschien toch een oude woody chroot zonder security updates en met setuid binaries ergens gemount? (dit was het geval met de vorige compromise eind 2003).

Ik dacht dat er ooit een (toen nog onbekende) bug in een kernel zat waardoor Debian ooit gekraakt was. Maar misschien haal ik nu zaken door elkaar.

[weijl]

smoking2000 schreef op donderdag 13 juli 2006 @ 01:12:
[...]


Zoals vermeldt in mijn eerdere post, de tag op het debian-administration artikel doet denken dat ze vermoeden dat het door het exploiteren van CVE-2006-2451:

[...]

dat zou dan betekenen dat het een inside job was?

[edit]
als ik je vorige post nog eens lees hebben alleen mensen die direct met het Debian project te maken hebben toegang tot die bak.. lijkt me in dit geval (en als het deze exploit betreft) dat deze persoon de details al prijs gegeven heeft? (ik denk in het wilde weg en hardop....)

[ Voor 30% gewijzigd door weijl op 13-07-2006 01:19 ]

[smoking2000]

weijl schreef op donderdag 13 juli 2006 @ 01:15:
[...]


dat zou dan betekenen dat het een inside job was?

[edit]
als ik je vorige post nog eens lees hebben alleen mensen die direct met het Debian project te maken hebben toegang tot die bak.. lijkt me in dit geval (en als het deze exploit betreft) dat deze persoon de details al prijs gegeven heeft? (ik denk in het wilde weg en hardop....)

En ik heb het van een artikel van Steve Kemp, Debian Developer en Security Team member. Lijkt me een redelijk goed geinformeerde bron. Hij herhaalt het zelfs expliciet op slashdot

De vorige keer is goed gedocumenteerd door o.a. Wichert Akkerman:
http://www.wiggy.net/debian/
Toen was het een tot dan toe onbekende exploit voor de linux kernel, deze keer dus mogelijk ook.

[ Voor 7% gewijzigd door smoking2000 op 13-07-2006 08:46 ]

[weijl]

schandalig misschien, maar ik wist niet eens van die compromise in 2003.
hoe dan ook, het is inderdaad goed mogelijk dat het deze keer ook een onbekende exploit is in de kernel. het leek mij ook erg onwaarschijnlijk dat een debian-developer iets dergelijks aan zou richten.

goed topic overigens! als dit topic er niet had gestaan had ik het niet eens geweten.
ik moet echt meer tijd doorbrengen op de debian mailing lists.

[daft_dutch]

Ik werd op een gegeven moment gek van al die mailing lists dus heb ik alles uit gedonderd. Erg bedankt om dit teposten en laat graag wat meer weten als je meer weet natuurlijk

De vragen die mij het belangrijst lijken is hoe lang is het onopgemerkt gebleven. en of er met .deb files gekloot is. de mirrors maken nu allemaal gebruik van de md5 hashcheck ik weet niet of alle dev's dat ook hebben.

Dat iemand niet zorgvuldig met zijn username/password is geweest kan een mogelijkheid zijn. even snel inloggen vanaf een pc met een keylogger is al genoeg. Een lokale hack is dan genoeg.
Omdat Debian veel developers heeft is dat iets waar Debian zwak voor is. Maar ik denk wel dat ze daar uitermate scherp op zijn.

[Confusion]

Pim. schreef op woensdag 12 juli 2006 @ 23:05:
Iemand antwoord ?

In principe geen zorgen, tot Debian meer nieuws bekend maakt. Voorzover ze nu zeggen is de server alleen gecompromiteerd, maar is bij de eerste inspectie niets zorgelijks opgedoken (geen packages in het archive veranderd, etc.), anders hadden ze dat meteen wel gemeld. De vorige keer waren de eerste mededelingen wat zorgwekkender, maar bleek het allemaal mee te vallen.

[smoking2000]

Ook op Zone-h denken ze dat het de PCTRL lek was wat gebruikt is in deze compromise.
De local root exploit komt net binnen via Full-Disclosure.

Ik heb de PRCTL Core Dump Handling exploit getest, op de 2.6.16 kernel images in Debian werkt hij als een trein, net als op de 2.6.17 kernel in Unstable. De 2.6.8 kernels in stable zijn hier niet kwetsbaar voor, zoals verwacht. Waarschijnlijk dat 2.6.18-rc1 uit experimental niet exploitbaar is.

[ Voor 46% gewijzigd door smoking2000 op 13-07-2006 10:27 ]

[zomertje]

Ik denk dat belangrijke nieuwsberichten die interessant zijn voor het merendeel van de NOS bezoekers hier wel gepost mogen worden. Zeker als er nog een discussie heen kan ontstaan.

Als men twijfelt, dan is daar het Topic Report voor, en het is niet de bedoeling om elkaar maar eens lekker te flamen.

Ontopic: ik ben wel benieuwd wat Debian hier zelf nog op te zeggen heeft. Als iemand wat ziet, post het maar in dit topic

[smoking2000]

planet.debian.org is terug, deze draaide op gluck. Ook people.debian.org is terug, dus het lijkt of gluck weer online is.

Nu nog even wachten op de rapportage.

[DeMoN]

smoking2000 schreef op donderdag 13 juli 2006 @ 08:11:
Ook op Zone-h denken ze dat het de PCTRL lek was wat gebruikt is in deze compromise.
De local root exploit komt net binnen via Full-Disclosure.

Ik heb de PRCTL Core Dump Handling exploit getest, op de 2.6.16 kernel images in Debian werkt hij als een trein, net als op de 2.6.17 kernel in Unstable. De 2.6.8 kernels in stable zijn hier niet kwetsbaar voor, zoals verwacht. Waarschijnlijk dat 2.6.18-rc1 uit experimental niet exploitbaar is.

Maar het blijft een local root exploit toch?
Wie heeft dit geflikt dan? Of anders, wie hebben er allemaal shell xs tot die bakken?
Zoals iemand anders ook al zei, dat zijn toch alleen de mensen van het Debian project zelf?

offtopic:
Om ook maar even mijn mening te geven, ook ik ben blij dat dit soort dingen gewoon gepost kunnen worden, ik sta niet ingeschreven op een Debian mailinglist maar doe wel veel met Debian verder. Ook is dit gewoon interessant omdat er sowieso weer wat te leren valt over een nieuwe exploit en zo

[nzyme]

for the record: het gaat dus waarschijnlijk om deze:
http://milw0rm.com/exploits/2005

edit: lijkt me trouwns ook wel raar, aangzien op zulke servers toch STABLE zou moeten staan, met 2.6.8....

[ Voor 40% gewijzigd door nzyme op 13-07-2006 13:00 ]

[Zwerver]

DeMoN schreef op donderdag 13 juli 2006 @ 11:55:
[...]


Maar het blijft een local root exploit toch?
Wie heeft dit geflikt dan? Of anders, wie hebben er allemaal shell xs tot die bakken?
Zoals iemand anders ook al zei, dat zijn toch alleen de mensen van het Debian project zelf?

offtopic:
Om ook maar even mijn mening te geven, ook ik ben blij dat dit soort dingen gewoon gepost kunnen worden, ik sta niet ingeschreven op een Debian mailinglist maar doe wel veel met Debian verder. Ook is dit gewoon interessant omdat er sowieso weer wat te leren valt over een nieuwe exploit en zo

Als je kijkt hoe ze de vorige keer toegeslagen hebben dan zie je dat dit niet helemaal waar hoeft te zijn Gewoon het sniffen van een username+password combi is voldoende om binnen te komen.

[Confusion]

nzyme schreef op donderdag 13 juli 2006 @ 12:58:
edit: lijkt me trouwns ook wel raar, aangzien op zulke servers toch STABLE zou moeten staan, met 2.6.8....

Waarom zou dat moeten? Zelf gebruiken wat je zelf produceert zorgt ervoor dat je snel problemen achterhaalt. Wat in Testing zit is al grondig door de mangel geweest, dus het zou me niet verbazen als ze die draaien.

[webfreakz.nl]

Dit kreeg ik in m'n mailbox van de Debian mailinglist:
(Ja ik ben ook lid, sorry Zwerver van vorige page )

------------------------------------------------------------------------
The Debian Project http://www.debian.org/
Debian Server restored after Compromise [e-mail]
July 13th, 2006 http://www.debian.org/News/2005/20060713
------------------------------------------------------------------------

Debian Server restored after Compromise

One core Debian server has been reinstalled after a compromise and
services have been restored. On July 12th the host gluck.debian.org
has been compromised using a local root vulnerability in the Linux
kernel. The intruder had access to the server using a compromised
developer account.

The services affected and temporarily taken down are: cvs, ddtp,
lintian, people, popcon, planet, ports, release.


Details
-------

At least one developer account has been compromised a while ago and
has been used by an attacker to gain access to the Debian server. A
recently discovered local root vulnerability in the Linux kernel has
then been used to gain root access to the machine.

At 02:43 UTC on July 12th suspicious mails were received and alarmed
the Debian admins. The following investigation turned out that a
developer account was compromised and that a local kernel
vulnerability has been exploited to gain root access.

At 04:30 UTC on July 12th gluck has been taken offline and booted off
trusted media. Other Debian servers have been locked down for further
investigation whether they were compromised as well. They will be
upgraded to a corrected kernel before they will be unlocked.

Due to the short window between exploiting the kernel and Debian
admins noticing, the attacker hadn't had time/inclination to cause
much damage. The only obviously compromised binary was /bin/ping.

The compromised account did not have access to any of the restricted
Debian hosts. Hence, neither the regular nor the security archive had
a chance to be compromised.

An investigation of developer passwords revealed a number of weak
passwords whose accounts have been locked in response.

The machine status is here: <http://db.debian.org/machines.cgi>


Kernel vulnerability
--------------------

The kernel vulnerability that has been used for this compromise is
referenced as CVE-2006-2451. It only exists in the Linux kernel
2.6.13 up to versions before 2.6.17.4, and 2.6.16 before 2.6.16.24.
The bug allows a local user to gain root privileges via the
PR_SET_DUMPABLE argument of the prctl function and a program that
causes a core dump file to be created in a directory for which the
user does not have permissions.

The current stable release, Debian GNU/Linux 3.1 alias 'sarge',
contains Linux 2.6.8 and is thus not affected by this problem. The
compromised server ran Linux 2.6.16.18.

If you run Linux 2.6.13 up to versions before 2.6.17.4, or Linux
2.6.16 up to versions before 2.6.16.24, please update your kernel
immediately.


About Debian
------------

Debian GNU/Linux is a free operating system, developed by more than
thousand volunteers from all over the world who collaborate via the
Internet. Debian's dedication to Free Software, its non-profit nature,
and its open development model make it unique among GNU/Linux
distributions.

The Debian project's key strengths are its volunteer base, its dedication
to the Debian Social Contract, and its commitment to provide the best
operating system possible.

[weijl]

dus toch de exploit die smoking2k al aanhaalde.
kernel hier maar es upgraden dan, hoewel ik niet heel veel risico loop met een dichte ssh.

[jota]

http://lists.debian.org/debian-project/2006/07/msg00056.html

[nzyme]

Confusion schreef op donderdag 13 juli 2006 @ 15:51:
[...]

Waarom zou dat moeten? Zelf gebruiken wat je zelf produceert zorgt ervoor dat je snel problemen achterhaalt. Wat in Testing zit is al grondig door de mangel geweest, dus het zou me niet verbazen als ze die draaien.

hmmm, volgens mij begrijp ik dat niet helemaal De doelgroep van STABLE is toch juist servers Mijn ervaring met testing is dat het qua dependencies enzo behoorlijk klote kan zijn, iig in een desktop omgeving (veel packages die zich beperken tot OF stable OF unstable en zoniet kom je 9 van de 10x hopeloos in de problemen)...waarom gebruiken ze dan stable op hun servers.... Als je dan toch cutting edge packages wil (wat niet logisch is op een server) gebruik dan backports (wat ik ooit nog moet doen op mn workstations )

[smoking2000]

nzyme schreef op vrijdag 14 juli 2006 @ 18:32:
[...]


hmmm, volgens mij begrijp ik dat niet helemaal De doelgroep van STABLE is toch juist servers Mijn ervaring met testing is dat het qua dependencies enzo behoorlijk klote kan zijn, iig in een desktop omgeving (veel packages die zich beperken tot OF stable OF unstable en zoniet kom je 9 van de 10x hopeloos in de problemen)...waarom gebruiken ze dan stable op hun servers.... Als je dan toch cutting edge packages wil (wat niet logisch is op een server) gebruik dan backports (wat ik ooit nog moet doen op mn workstations )

Ik denk eerlijk gezegt niet dat ze hun eigen linux-image-* packages gebruiken, maar zelf gecompileerde. Mede om zo loadable modules uit te kunnen schakelen wat de security verbeterd. De Debian kernel packages zijn zo samengesteld dat het op zoveel mogelijk systemen werkt, dit gaat deels tenkoste van security.
Ook is het niet erg makkelijk om specifieke kernel patches op de debian-packages te apply'en. Als je up2date wilt blijven met de kernel development zijn de -rc kernel packages in het Debian Experimental archive het meest recent, niet bepaald gelijk aan het kernel dev process.

[_JGC_]

Het probleem met de 2.6.8 kernel die bij sarge zit is dat ie behoorlijk achterhaald is en niet met de allernieuwste hardware werkt. Ik heb nu al een aantal keren een Dell Poweredge 1850 met LSI MegaRAID gehad die niet herkend werd door de sarge installer. Testing/unstable installer gedownload, base system installeren, kernel compileren en installeren, rebooten en vervolgens in tig stappen met apt-get upgrade/dist-upgrade en pinning terug naar sarge... behalve de kernel dan.

[nzyme]

_JGC_ schreef op vrijdag 14 juli 2006 @ 19:53:
Het probleem met de 2.6.8 kernel die bij sarge zit is dat ie behoorlijk achterhaald is en niet met de allernieuwste hardware werkt. Ik heb nu al een aantal keren een Dell Poweredge 1850 met LSI MegaRAID gehad die niet herkend werd door de sarge installer. Testing/unstable installer gedownload, base system installeren, kernel compileren en installeren, rebooten en vervolgens in tig stappen met apt-get upgrade/dist-upgrade en pinning terug naar sarge... behalve de kernel dan.

in dat geval had ik een installatie gedaan naar een oude conventionele ide disk en daar een goede kernel op gezet met onderstuening voor je LSI controller. Na die installatie het hele spul overzetten en dan ben je ietsje sneller klaar lijkt me