[SETI@Home] hitparade van 24 juni

[APClll]

Ondanks de tegenslagen van de afgelopen paar dagen is het project nog steeds aantrekkelijk genoeg om nieuwe koeien de groene weiden in te lokken. In begrijpelke taal: we hebben er een nieuw lid bij!

Welkom Christian

Momenteel is er weer een zee van WU's beschikbaar op mijn computer. Gisteravond was dat heel anders. Ik hoop dat het nu een blijvende situatie is. Vechten om een WU is wel een keer leuk, maar het moet geen gewoonte gaan worden

Ondanks de tegenslagen zijn er wél mijlpalen gescoord! Gefeliciteerd allemaal!

Nog maar even het nieuws van gisteravond herhalen:

quote: http://setiathome.berkeley.edu/tech_news.php

24 Jun 2009 19:56:44 UTC
Despite efforts to reduce the outage time yesterday, the database was bloated enough (for various reasons) to take all day compressing/backing up. The replica wasn't even close to being ready to done by the time I left the lab, and still wasn't done before I went to bed last night. That meant all queries had to be aimed at the master, including all the read-only stuff that usually hits the replica - stats collection scripts, result state count scripts, the daily credit multiplier calculation (which is rather expensive), and lots of annoying web scraping queries.

All those excess things pretty much killed us throughout the evening. The replica was finally available in the morning, albeit fairly far behind the master. Nevertheless I was able to start cleaning up the mess. However, two other problems were revealed.

First, going to one download server wasn't a good thing. It seems impossible to me that apache can't handle all the downloads on one system - especially given the abundance of free resources. It drops connections regardless of how much network/httpd.conf tweaking I do. So we fell back to using two download servers, and that immediately solved everything. Of course, we've been offline for 24 hours, so there's gonna be lots of traffic for a while making it hard to upload/download anything.

Second, there was minor corruption in the MyISAM tables in the mysql database. Not sure what caused that but given the database was clogged all night all bets are off. The most notable effect of this was some weird behavior in the forums. Some simple "repair table" commands found the problems and claims to have fixed them.

Anyway.. it's clear we still have much work to do cleaning up our current mysql situation. Sigh.

In better news, looks like me and Jeff are going to the OSCON 2009 in San Jose in July - the O'Reilly open source convention. Maybe we'll get some hot tips about improving the linux/apache/mysql/php performance around here. Tim O'Reilly himself helped hook us up with free passes (he's been nice to us over the years).

- Matt

DPC SETI@Home hitparade van 24 juni 2009

Daily Top 30
Flushers: 138 / 1.025 (13,5 %)
pos		daily	member	total
1.	(1)	17.741	Searchy! Internet Services V.O.F.	10.314.947	(4)
2.	(1)	16.252	[DPC] hansR	15.928.710	(1)
3.	()	12.558	[DPC] Switch	9.819.664	(5)
4.	(1)	7.953	[DPC]TeamGrazzie	13.542.170	(2)
5.	(1)	7.411	Sp@ceNv@der	12.504.274	(3)
6.	()	7.149	Ensign Wildfire	3.718.959	(7)
7.	(1)	7.024	o25o & Dharkon	5.265.439	(6)
8.	(1)	5.824	F@stmem	2.729.598	(8)
9.	()	5.159	grass460	149.250	(110)
10.	(6)	3.916	dpc_kluizenaar	929.248	(27)
11.	(48)	2.728	Rydo	879.977	(28)
12.	(2)	2.655	HellBringer	129.911	(120)
13.	(3)	2.351	muppet99	306.138	(68)
14.	(3)	2.265	seridan	621.520	(36)
15.	(3)	2.258	Intrud3r	199.212	(92)
16.	(29)	2.162	Hans vandebos	332.671	(67)
17.	(3)	2.142	Mr Beamer	2.044.145	(11)
18.	()	2.016	Wolfje666	168.499	(103)
19.	(5)	1.797	ERBrouwer	200.978	(90)
20.	(3)	1.565	Team_Elteor_Borislavj	733.241	(30)
21.	()	1.518	apa	344.392	(63)
22.	(3)	1.469	Jox444	1.030.272	(24)
23.	(10)	1.391	AmeComputers	2.015.409	(12)
24.	(10)	1.280	Jan Zandvliet & x-RaY99	1.884.142	(13)
25.	(96)	1.270	Override	1.026.751	(25)
26.	()	1.242	winwiz	213.318	(87)
27.	(8)	1.226	Edward de Vries	14.054	(379)
28.	(9)	1.220	[DPC]NGS	344.715	(62)
29.	(55)	1.214	Dkeihro	2.142	(645)
30.	(8)	1.112	trout	337.531	(65)
	More...

Overall Top 30
pos		total	member	daily
1.	()	15.928.710	[DPC] hansR	16.252	(2)
2.	()	13.542.170	[DPC]TeamGrazzie	7.953	(4)
3.	()	12.504.274	Sp@ceNv@der	7.411	(5)
4.	()	10.314.947	Searchy! Internet Services V.O.F.	17.741	(1)
5.	()	9.819.664	[DPC] Switch	12.558	(3)
6.	()	5.265.439	o25o & Dharkon	7.024	(7)
7.	()	3.718.959	Ensign Wildfire	7.149	(6)
8.	()	2.729.598	F@stmem	5.824	(8)
9.	()	2.596.808	[DPC]Spinpoint	82	(105)
10.	()	2.365.457	[DPC]Trancemaus	352	(57)
11.	()	2.044.145	Mr Beamer	2.142	(17)
12.	()	2.015.409	AmeComputers	1.391	(23)
13.	()	1.884.142	Jan Zandvliet & x-RaY99	1.280	(24)
14.	()	1.532.698	[DPC]Team Zuid-Holland	470	(51)
15.	()	1.502.870	MAX3400	0	(-)
16.	()	1.490.525	ray	119	(92)
17.	()	1.431.424	Tijntje	745	(39)
18.	()	1.137.273	Speedy67 & Friends	0	(-)
19.	()	1.122.047	visvogel	79	(108)
20.	()	1.104.949	Berkie	844	(37)
21.	()	1.080.570	Quark	38	(127)
22.	()	1.069.176	[DPC] Anticimex & Lock Metaaldetectie	0	(-)
23.	()	1.049.597	[DPC]SjoQing	0	(-)
24.	()	1.030.272	Jox444	1.469	(22)
25.	()	1.026.751	Override	1.270	(25)
26.	()	990.297	Dadoke	1.050	(31)
27.	()	929.248	dpc_kluizenaar	3.916	(10)
28.	()	879.977	Rydo	2.728	(11)
29.	()	789.390	MaGNeT aka BlueTooth76	284	(60)
30.	()	733.241	Team_Elteor_Borislavj	1.565	(20)
	More...

Teams Daily Top 15
pos		daily	team	total
1.	(1)	919.751	SETI.Germany	893.411.296	(2)
25.	(1)	177.480	BOINC@AUSTRALIA	159.551.890	(23)
26.	()	160.762	Boone Community School District - Iowa	105.391.886	(39)
27.	()	156.940	U.S.Air Force	159.133.908	(24)
28.	()	153.588	Ars Technica	160.111.551	(22)
29.	(1)	151.137	UK BOINC Team	141.885.986	(28)
30.	(4)	145.036	Sweden	51.749.987	(66)
31.	()	144.991	Team NIPPON	125.223.348	(33)
32.	()	142.580	Dutch Power Cows	144.573.907	(27)
33.	(4)	139.944	Amateur Radio Operators	158.251.894	(26)
34.	(1)	139.872	BOINC.Italy	158.988.924	(25)
35.	()	123.489	BOINC SETI@home RUSSIA	128.531.444	(32)
36.	(4)	122.856	GPU Users Group	8.707.037	(368)
37.	(1)	116.421	RoEduNet	76.393.879	(49)
38.	(3)	112.090	AUSTRIA - NATIONAL - TEAM	132.408.818	(31)
39.	(2)	106.047	Universe Examiners	140.265.471	(30)
	More...

Teams Overall Top 15
pos		total	team	daily
1.	()	1.107.070.536	SETI.USA	915.064	(2)
20.	()	176.639.412	Phoenix Rising	214.454	(20)
21.	()	168.812.879	Canada	215.126	(19)
22.	()	160.111.551	Ars Technica	153.588	(28)
23.	()	159.551.890	BOINC@AUSTRALIA	177.480	(25)
24.	()	159.133.908	U.S.Air Force	156.940	(27)
25.	()	158.988.924	BOINC.Italy	139.872	(34)
26.	()	158.251.894	Amateur Radio Operators	139.944	(33)
27.	()	144.573.907	Dutch Power Cows	142.580	(32)
28.	()	141.885.986	UK BOINC Team	151.137	(29)
29.	(1)	140.290.584	BOINC@Poland	188.703	(22)
30.	(1)	140.265.471	Universe Examiners	106.047	(39)
31.	()	132.408.818	AUSTRIA - NATIONAL - TEAM	112.090	(38)
32.	()	128.531.444	BOINC SETI@home RUSSIA	123.489	(35)
33.	()	125.223.348	Team NIPPON	144.991	(31)
34.	()	124.929.082	PC Perspective Killer Frogs	73.059	(51)
	More...

Megaflush Top 5
pos	Team	Flush	Date
1.	[DPC]TeamGrazzie	553.056	04-01-2008
2.	chelloo.com	261.227	09-01-2008
3.	[DPC]Spinpoint	174.423	14-06-2007
4.	hansR	170.409	17-08-2008
5.	REISinformatiegroep	165.307	18-04-2007
More...

Mijlpalen

ERBrouwer	200.000
Andre Barnier	40.000
ongekend41	40.000
Cronenborgh	5.000
Dkeihro	2.000
[DPC] Oxize	2.000
Markus	500
BoudStyle	250

When do you get them

Team	Average	Days
BOINC.Italy	173.742	770
Amateur Radio Operators	178.643	990
Ars Technica	178.329	1.100
Team MacNN	134.563	1.212

Nieuwe Leden

Christian

32

SETI@Home Links
SETI@Home webpage
SETI@Home forum
DPCH Suggestiepagina
Bron

[grass460]

welkom Christian

ik heb ook nog steeds ruim 100 a 150 wu in download staan, komt nu mondjes maat binnen.
heeft te maken met dns server

[TFHfony]

Heeft iemand een idee of er nog iets mis is bij Berkley. Ik heb gisteren een paar normale WU's in geleverd en één Astropulse WU. De normale WU's zijn inmiddels allemaal te zien op de site van Berkley en de eeste hebben ook al punten toegekend gekregen, maar mijn Astropulse WU lijkt volledig verdwenen te zijn.
Dat zou ik toch wel zonde vinden van al mijn CPU cycles..

[APClll]

TFHfony schreef op vrijdag 26 juni 2009 @ 08:24:
Heeft iemand een idee of er nog iets mis is bij Berkley. Ik heb gisteren een paar normale WU's in geleverd en één Astropulse WU. De normale WU's zijn inmiddels allemaal te zien op de site van Berkley en de eeste hebben ook al punten toegekend gekregen, maar mijn Astropulse WU lijkt volledig verdwenen te zijn.
Dat zou ik toch wel zonde vinden van al mijn CPU cycles..

Hij is ook niet meer zichtbaar in Boinc? Ik vermoed namelijk dat 'ie nog gerapporteerd moet worden.

Als 'ie niet goed aangekomen is in Berkeley, zou de betreffende WU nog als "in progress" moeten staan. Die status verandert pas na het rapporteren van de WU.

Op dit moment kan ik trouwens geen werk uploaden. Dus het zou heel goed kunnen dat ze nog steeds problemen hebben.

Even twee van mijn (Multibeam) WU's gepakt ter voorbeeld

code:

1276910024 465816501 24 Jun 2009 16:58:51 UTC 13 Jul 2009 8:30:32 UTC In progress --- --- --- 
1276910022 465817499 24 Jun 2009 16:58:51 UTC 25 Jun 2009 6:55:22 UTC Completed, waiting for validation 690.25 14.05 pending

25 Jun 2009 20:59:16 UTC
Fallout continues from the outage on Tuesday. Turns out the minor corruption in various MyISAM tables is messing up replication. Every so often a duplicate entry appears on the replica queue which is easy to remove but requires human intervention. This is causing the replica to fall further and futher behind. I'm loathe to give up on it, though, as that means being forced to point all queries, including non-essential ones, at the master. And that'll break everything.

We also had to fall back to using two download servers, but we did so using simple DNS round-robin load balancing. Obviously this wasn't working out so well. DNS rollout/caching is never balanced (we saw this several times before, especially during the feeder mod polarity issues a year or two ago). So this morning we fell all the way back to using "pound" - which forces exactly 50% of all incoming connections to go to the first server, and the rest to the second one. This immediate broke the current download log jam, though of course we're still maxed out bandwidth-wise as I write this paragraph.

Seems like there are a lot of frustrated people on these threads. There's no right or wrong way to feel about these outages. We're kind of a special case. At the core we're an academic project with no deadlines - normally nobody gets hurt if science is delayed a day or a month or a decade. On the other hand, we're forced to be "professional" since we're asking for various forms of support from many thousands of people, and you can't have that large a number of people involved without some sort of professional grade management and public relations. It's a daily puzzle marrying the two completely separate worlds.

- Matt

[ Voor 43% gewijzigd door APClll op 26-06-2009 09:02 ]

[TFHfony]

APClll schreef op vrijdag 26 juni 2009 @ 09:01:
[...]

Hij is ook niet meer zichtbaar in Boinc? Ik vermoed namelijk dat 'ie nog gerapporteerd moet worden.

Als 'ie niet goed aangekomen is in Berkeley, zou de betreffende WU nog als "in progress" moeten staan. Die status verandert pas na het rapporteren van de WU.

Nop.. In Boinc staat hij ook niet meer. Nah... Er is binnenkort weer een Astropulse WU klaar. Als deze ook "verdwijnt" dan ben ik denk ik weer snel klaar hier mee, want dit vind ik zonde...

[Elteor]

Ik zie van mijn ingeleverde units (allemaal cuda) momenteel ook geen status, maar zie op mijn eigen account wel credit bijkomen hiervoor, terwijl het unit overzicht voor de betreffende computer helemaal leeg is, zowel in progress, pending als completed. Aangezien dit de enige pc is waar ik op mijn account de afgelopen weken werk voor seti op doe ga ik er van uit dat dit te maken heeft met de problemen bij seti en dat de betreffende astropulse binnenkort gewoon weer er bij komt. Overigens draai ik voor de zekerheid op de andere clients even geen Seti maar andere boinc projecten totdat de problemen helemaal opgelost zijn.

Leuk je weer te zien trouwens TFH, dat is alweer een tijdje geleden

[TFHfony]

Dat is inderdaad wel weer een paar jaartjes geleden ja. TFH was het hele distributed Computing een beetje beu en had het prive nogal druk. Dat laatste is niet veel anders tegenwoordig, maar ach... even een koetje laten grazen kan toch geen kwaad lijkt mij zo.
Ik kijk het gewoon even aan: Komen de WU's nog, mooi.. Zo niet, dan ziet TFH wel wat hij doet