[DPC] Applicatieserver voor StatsGen 2.0

[KoW]

Geachte DPC collega's,

Na maandenlang dienst te hebben gedaan is de StatsGen 1.x zoals die nu in gebruik is toe aan een update.
De oude StatsGen is gegroeid van een kleine simpele downloader voor ECCp stats tot een Statsgenerator die voor vier verschillende projecten stats kan genereren. Echter, de opzet van de code was verre van optimaal, en bij het groeien van de projecten begonnen de downloads ook tijd te vergen. Ook het uploaden van de zips met HTML bestanden is tijdrovend geworden. Kortom, de StatsGen was toe aan vervanging.

Er is een professionelere aanpak gekozen, en dat heeft geleid tot StatsGen 2.0.
Deze versie werkt volledig datagestuurd. Dit houdt onder andere in dat er geen losse HTML bestanden meer zijn, maar dat de stats rechtstreeks uit de database worden gegenereerd.
Een probleem is wel dat dit andere eisen stelt aan de webserver. In plaats van een simpele fileserver is er nu een applicatieserver vereist. En naar zo'n server ben ik nu op zoek.

Wat gaat die server doen?
Elke nacht net na middernacht zullen de stats voor de diverse projecten gedownload worden naar die server. Die data wordt verder verwerkt in de StatsGen database. De verschillende DPCH posters kunnen dan vervolgens een DPCH genereren en deze posten op het forum. Tegelijkertijd zijn ook de extra stats beschikbaar. De links in de DPCH's verwijzen door naar de StatsGen server.

Wat zijn de eisen voor die server?
Omdat alle stats gegenereerd worden vanuit de data is het dus belangrijk dat die data snel te bereiken is. De belanrijkste eisen zijn dus een snelle harddisk, en snel geheugen. Verder draait StatsGen op een Windows server met IIS geïnstalleerd.
Hieronder staat een opsomming:

> IIS met ASP geïnstalleerd

> Snelle HD (Liefst in RAID config)
en zeg 2 Gig vrij

> Snel + veel geheugen
(512 MB minimum denk ik aan)

> Betrouwbare internetverbinding met een grote datalimiet
snelheid : ach, laten we vriendelijk als minimum 32kb/sec nemen
datalimiet : ik denk dat 2 Gb de maand wel gehaald gaat worden, en houd er rekening mee dat dit kan groeien.

> snelle processor
dit staat bewust op de laatste plaats omdat bij verwerken van data het veel eerder stropt op dingen zoals een te trage HD
Laten we voor snelheid zeggen > 1 GHz

Wanneer komt de StatsGen zelf uit?
Er zijn nog een aantal zaken die nog verder uitgewerkt dienen te worden. Het belangrijkste draait al een tijd parallel aan de huidige stats op proef. Omdat werkelijk alles op de schop is genomen moet een en ander goed getest worden voordat we overgaan op nieuwe stats, en er iets niet blijkt te werken. Dit alles kan nog wel enige tijd duren, temeer daar er op het werk ook weer een hele drukke periode voor de boeg staat.

Mocht iemand zijn server beschikbaar willen stellen, dan hoor ik het graag.
Ik ben te bereiken op mail: [e-mail] of via icq# 132899400

[Funcracker]

Nice

Op wat voor server draai je nu dan als ik vragen mag?

[DukeBox]

Funcracker schreef op 11 oktober 2002 @ 22:48:
Nice

Op wat voor server draai je nu dan als ik vragen mag?

Een grijze

[Arnim]

ROFL

[Funcracker]

DukeBox schreef op 11 oktober 2002 @ 22:54:
[...]

Een grijze

Ow juist..
Dan kan ik het goed begrijpen
Heb je zeker vernieuwing nodig

[KoW]

dit klinkt erg offtopic Funcracker

foei foei

[ Voor 0% gewijzigd door KoW op 11-10-2002 23:06 . Reden: nu met smilie ]

[Funcracker]

KoW schreef op 11 oktober 2002 @ 22:57:
dit klinkt erg offtopic Funcracker

foei foei

Ehm, naja.. Ik wilde gewoon even weten wat er niet meer voldeed, zodat ik beter begrijp wat je nu nodig hebt. Ik kan je er waarschijnlijk niet persoonlijk mee helpen, maar kan es rondkijken.

[cinnamon]

Proxy-server...

[Verwijderd]

cinnamon schreef op 11 oktober 2002 @ 23:32:
Proxy-server...

verbinding lijkt me geen probleem, nu de hardware nog ?

Ik zal er eens over na denken, misschien valt er wel wat te regelen

U hoord van mij.

[DukeBox]

cinnamon schreef op 11 oktober 2002 @ 23:32:
Proxy-server...

Zoals je ziet kwam liepen de onderhandelingen daar een beetje vast..

[aKra]

Ik heb gezegd dat ik hem wel wil hosten, maar dan moet hij zelf uitzoeken hoe je ASP onder LINUX werkend krijgt.

[ParaNoiMia]

Dat kan met Chilisoft ASP...

NC gaat dit weekend een eigen server plaatsen aan een 100 mBit lijn, alleen die moet nog geconfigged worden de komende weken en niet alle memory zit er in, dus dat is helaas geen optie nog... Wel een windows bak met IIS (onze proxy is ook in ASP geschreven )

[X-G]

Knal gewoon een banner online van bijvoorbeeld luxus2000.de of kliks.nl ofzow en laat iedereen 'n keertje klikken vandaag.

Dan kun je je servertje wel kopen!
(En weet je zeker dat er geen andere onzin op wordt gedraaid!)

[KoW]

cinnamon schreef op 11 oktober 2002 @ 23:32:
Proxy-server...

Ik zou zeggen, lees dat topic. De desbetreffende aanbieder gaat het niet om het hosten van stats. Deze persoon heeft aangegeven alleen een server aan te bieden als heel DPC zijn DC dataverkeer via hem laat lopen, en als alle proxy's naar hem verhuizen

X-G schreef op 12 oktober 2002 @ 10:33:
Knal gewoon een banner online van bijvoorbeeld luxus2000.de of kliks.nl ofzow en laat iedereen 'n keertje klikken vandaag.

Dan kun je je servertje wel kopen!
(En weet je zeker dat er geen andere onzin op wordt gedraaid!)

Ik denk niet dat je met die paar keer dat er daadwerkelijk geklikt zou gaan worden een server kan kopen, met bovenstaande kwaliteiten. Bovendien zou die server dan een groot deel van zijn tijd niets staan doen. Dit idee lijkt me dus niet zo geschikt.

ParaNoiMia schreef op 12 oktober 2002 @ 10:19:
Dat kan met Chilisoft ASP...

NC gaat dit weekend een eigen server plaatsen aan een 100 mBit lijn, alleen die moet nog geconfigged worden de komende weken en niet alle memory zit er in, dus dat is helaas geen optie nog... Wel een windows bak met IIS (onze proxy is ook in ASP geschreven )

De StatsGen zelf draait onder Windows, dus dat is dan nog steeds een probleem. Er is ook een soort ASP wat onder Windows werkt, en wat geen IIS gebruikt, maar dat bezit de voor mij belangrijkste functie om een windows object aan te roepen niet.

Maare, als je nog een plekje vrij hebt op die server ....

[DukeBox]

IIs is dus een noodzaak.

[KoW]

Eh, jah, inderdaad.
Overigens, wat de schijfruimte betreft. Op dit moment gebruik ik amper een derde daarvan.
Maar, het is ook gewoon goed als er vrije ruimte is voor tempfiles e.d.

[DukeBox]

Is het mogelijk de statsgen zelf op IIS te draaien, en de rest op een apache server ?

[KoW]

Ehm, hoe bedoel je precies

Op dit moment worden de stats realtime berekend. Dus, als een user extra stats opvraagd haallt ie de data op, en brouwt er iets moois van.

[KoW]

Hmmz, er lijkt niet echt veel intresse te zijn om een statsserver te gaan hosten.

Ik dacht dat er tussen al die tweakers toch wel ergens eentje zat met een leuke server.

Ik zou er zelf wel eentje kopen als ik meer voor hem te doen had. Het grootste gedeelte van de tijd zal ie uit z'n neus staan vreten, alleen, als er een bezoeker komt moet ie effe snel wat stats brouwen en omzetten naar HTML

[Mobster]

Ik denk dat er nagenoeg niemand is die zo'n computer thuis heeft staan voor eigen gebruik, laat staan dat ie hem over heeft. Dus dan ben je aangewezen op een server van een bedrijf ofzo en tja... die worden meestal al gebruikt.

Let's all chip in en we laten de PC verder met switch meedraaien!
* Mobster is geen lid van Switch nee.

[Heineken]

* Heineken zou graag willen helpen, maar heeft het simpel weg niet

[Verwijderd]

Tsja, dat gare ADSL lijntje en die athlon600 trekken al die D2OL en TSC stats en de TCF site ook maar net Als ik nu een 100 MBit ljin en een lekkere dual server had of zo

[_DPC_Scorpion]

Kow is dit misschien iets om op een ander deel van het forum te plaatsen??

misschien zit daar nogwel ene grote jongen tussen die makkelijk wat kan missen

[ColdFusion]

Het probleem is ook dat het een windows server moet zijn, de meeste servers achter een snelle lijn zijn meestal Linux.

[TeeDee]

* TeeDee kan morgen wel eens op de zaak vragen:

lijn: 2 mbit downstream, 512 Upstream
mem: 256 (wordt geupgrade)
cpu: 1Ghz P3 (komt een dual aan!)
disks: 2 x 36 Gb Ultra160

Interesse? (alleen als het van de zaak mag natuurlijk!!!)

Owja, tis IIS en ASP

[TeeDee]

helaas, maar ik heb geen akkoord gekregen

solly, en sterkte met zoeken!

[Mobster]

Thankx for asking though. Mmm... nu wat...

[STW]

Zijn er geen mensen die op een Universiteits campus net wonen of zo ? Hier op de UT heb je een 100Mb verbinding, alleen woon ik daar zelf niet

[Mobster]

Gezien het feit dat we (DPC) de afgelopen tijd weer te maken gehad hebben met statsoutages (vooral ECC2, Distributed Folding en F@H) is de roep naar die server groter dan ooit. Vandaar ook dit schopje

Wellicht dat er iemand ondertussen wel in de gelegenheid en willig is om de vraag die KoW in de eerste post stelt te voldoen?

Dutch Power Cows is tenslotte voor en door members groot geworden en ik kan me niet voorstellen dat er niemand is die hier aan kan en wil voldoen. De dank van een kleine 4000 mede members zal je deel zijn

[bigbakkus]

ik denk dat als je de stats verdeelt over meerdere pc's (dus bijv DF op 1, ECC2 op 1 andere) het zeker haalbaar is. ik heb geen top verbinding (1536/256), maar wil bijvoorbeeld best de DF hosten indien nodig... de hardware is geen probleem... iemand nog ideeen ?
(voor vragen of ideeen mail maar - zie sig)

[ Voor 10% gewijzigd door bigbakkus op 17-06-2003 12:47 . Reden: emailtje ]

[Verwijderd]

Ik wil er wel eens naar kijken.
Ik heb een P4 2,8Ghz server met windows en IIS.
4x 120GB HD in raid.
Hangt achter een chello verbinding en heeft dus wel maar 16Kb upstream.

Als enigste eis stel ik dan wel dat er ook de stats van UD-Grid op komen te draaien.
Dat is namelijk het project waarvoor ik zelf mee doe.

Laat het maar weten.
Op dit moment staat hij zich ook redelijk te vervelen. (Op UD na natuurlijk)

[bigbakkus]

je kunt nooit een computer laten vervelen ! dat heeft anders : grazen....

[Verwijderd]

bigbakkus schreef op 17 juni 2003 @ 13:10:
je kunt nooit een computer laten vervelen ! dat heeft anders : grazen....

Das waar ook.

[Robkazoe]

Aan webhosts heb je niets?

[Marcelloz]

Is er een specificatie van het aantal pageviews/sessies etc?
Ik las ergens ver weg de mogelijke serverspecs en die leken mij wat overdreven... (quad xeon etc... )

[ Voor 7% gewijzigd door Marcelloz op 17-06-2003 13:48 ]

[Heineken]

Marcelloz schreef op 17 juni 2003 @ 13:48:
Is er een specificatie van het aantal pageviews/sessies etc?
Ik las ergens ver weg de mogelijke serverspecs en die leken mij wat overdreven... (quad xeon etc... )

Dan heb je bij DukeBox' specs zitten kijken. Die server werd gebruikt voor het hosten van de ECCp-proxy en de daarbij behorende stats. Dit is echter al een tijdje niet meer het geval.

Volgens mij heeft KoW inmiddels al een goede server met dikke internetverbinding gevonden, maar misschien is het goed idee om op de server van AlliedComputers een soort back-up server te maken. Mocht het dan nog een keer fout gaan bij KoW's server, dan zijn er altijd nog stats.

[ParaNoiMia]

Marcelloz schreef op 17 juni 2003 @ 13:48:
Is er een specificatie van het aantal pageviews/sessies etc?
Ik las ergens ver weg de mogelijke serverspecs en die leken mij wat overdreven... (quad xeon etc... )

De StatsGen draait nu op de NC teamserver en is een flinke belasting van de processor hoor. Er wordt nogal wat gerekend voor de verschillende dpch's en andere stats.

[Mobster]

Heineken schreef op 17 June 2003 @ 14:06:
Volgens mij heeft KoW inmiddels al een goede server met dikke internetverbinding gevonden, maar misschien is het goed idee om op de server van AlliedComputers een soort back-up server te maken. Mocht het dan nog een keer fout gaan bij KoW's server, dan zijn er altijd nog stats.

Het is nog steeds nodig hoor. Anders zou ik het draadje niet kicken.

[Heineken]

Mobster schreef op 17 June 2003 @ 14:16:
[...]
Het is nog steeds nodig hoor. Anders zou ik het draadje niet kicken.

Is de huidige server niet goed genoeg dan?

[KoW]

Heineken schreef op 17 June 2003 @ 14:06:
Volgens mij heeft KoW inmiddels al een goede server met dikke internetverbinding gevonden, maar misschien is het goed idee om op de server van AlliedComputers een soort back-up server te maken. Mocht het dan nog een keer fout gaan bij KoW's server, dan zijn er altijd nog stats.

Da's precies datgene wat nodig is.
Een backup server die stats kan serveren op het moment dat de hoofdserver eruit ligt zoals de afgelopen tijd regelmatig is voorkomen.
In dat geval zou die backup server de boel kunnen overnemen.
't Hoeft dan dus niet zo'n supersnelle bak te zijn (Al is dat wel een pre natuurlijk)
't Belangrijkste is dat er altijd stats zijn.

De belangrijkste eisen zijn dan:

IIS met ASP

1,5 Gig HD ruimte (Ik heb nu 700 MB totaal, maar een beetje speling kan geen kwaad)

Redelijke inet verbinding die ook betrouwbaar is.
Let ook op de datalimiet. Het leukste is als die hoog is.
Je zou dan zelf de stats kunnen downen wat neer komt op 50 MB / dag
Als de limiet lager is is er ook een oplossing mogelijk waarbij je maar 3 MB dataverkeer per dag hebt.

Op het moment dat de site bezocht wordt heb je natuurlijk ook meer dataverkeer, maar omdat meestal de hoofdserver wel up is zal je daar niet veel last van hebben.

[Verwijderd]

Ik neem contact met je op KoW.

[Funcracker]

Verwijderd schreef op 17 June 2003 @ 14:43:
Ik neem contact met je op KoW.

Alweer?
Er staat al een linkje naar een draadje van jou ergens op page 1 geloof ik...

p.s. Als KoW nu ff een oplossing maakt die onder apache werkt en in een Linux omgeving.. Wil ik wel backup server spelen

[ Voor 23% gewijzigd door Funcracker op 17-06-2003 14:54 ]

[DSmarty]

* DSmarty kan ook nog wel wat hosten...

Bandbreedte genoeg
Server:
- Athlon XP 2200
- 1GByte DDR
- 60Gbyte schijf

Ohja, draait Linux + Apache. (Had niet van jou verwacht dat je die IIS-prutszooi draaide KoW )

[Verwijderd]

Funcracker schreef op 17 juni 2003 @ 14:53:
[...]
Alweer?
Er staat al een linkje naar een draadje van jou ergens op page 1 geloof ik...

p.s. Als KoW nu ff een oplossing maakt die onder apache werkt en in een Linux omgeving.. Wil ik wel backup server spelen

Van mij ?!

Volgens mij vergis je me met iemand?

[KoW]

DSmarty schreef op 17 June 2003 @ 15:00:
Ohja, draait Linux + Apache. (Had niet van jou verwacht dat je die IIS-prutszooi draaide KoW )

*Ik* draai het ook niet

[Marcelloz]

DSmarty schreef op 17 juni 2003 @ 15:00:
* DSmarty kan ook nog wel wat hosten...

Bandbreedte genoeg
Server:
- Athlon XP 2200
- 1GByte DDR
- 60Gbyte schijf

Ohja, draait Linux + Apache. (Had niet van jou verwacht dat je die IIS-prutszooi draaide KoW )

Dat wordt dan een herinstallatie

[Aike]

Marcelloz schreef op 17 June 2003 @ 20:36:
[...]

Dat wordt dan een herinstallatie

Jammer dat het niet onder linux werkt. Ik had al voor dit topic m'n diensten aangeboden maar helaas heb ik ook linux everywhere.

Is het erg moeilijk om te zetten ? Eventueel wil ik wel helpen met coden en dergelijke.

[ZeroVince]

Errr.. Kan je dan niet beter op een van die Linux machines Windows zetten dan het hele project omcoden?

[Aike]

ZeroVince schreef op 17 June 2003 @ 21:50:
Errr.. Kan je dan niet beter op een van die Linux machines Windows zetten dan het hele project omcoden?

Nah, die server heeft meer te doen dan een beetje stats. En als ik al die taken moet omcoden naar linux ....

[Theuno]

Lord of the Pentium schreef op 17 June 2003 @ 23:55:
[...]


Nah, die server heeft meer te doen dan een beetje stats. En als ik al die taken moet omcoden naar linux ....

Hij doelt erop of niet iemand een linux server om wil zetten. Niet om linux spul naar windows troep te converten.
Tja, dat zou een geslaagde oplossing zijn om te doen natuurlijk, maar wie offert zijn machine even op naar een windows kist. Mij niet gezien... en als iedereen zo denkt (wat de meeste doen zo te zien), heeft het idd misschien meer zin als we met een paar man kijken of het niet om te coden is. Dan hebben we tig back up servers

[Verwijderd]

Het moet wel windows zijn, foxpro gaat het niet doen onder linux gok ik

[KoW]

Nee, en de boel ombouwen gaat me iets te veel tijd kosten.
Ik heb overigens ook geen tig backup servers nodig.

Eentje is genoeg

[DukeBox]

KoW schreef op 19 June 2003 @ 09:41:
Nee, en de boel ombouwen gaat me iets te veel tijd kosten.
Ik heb overigens ook geen tig backup servers nodig.

Eentje is genoeg

Wine ?

[Heineken]

AlliedComputers heeft zich toch aangeboden?

[KoW]

hmmz, maar effe een mailtje gestuurd. In de hectiek heb ik dat postje over het hoofd gezien.

[DukeBox]

Oh tering.. haal ik per ongeluk toch ff een oude koe uit de sloot.. sorry ;P

[ Voor 80% gewijzigd door DukeBox op 26-10-2003 14:03 ]

[sus]

maar goed, tis dan wel een oude koei, en ik weet niet of het nou is opgelost of niet.

Kan die statsgen niet draaien op de nieuwe WDO-server ? Die komt aan een dikke lijn te hangen, en snel en heeft veel ram aan boord.

[ColdFusion]

SuspiciouS schreef op 27 October 2003 @ 12:06:
maar goed, tis dan wel een oude koei, en ik weet niet of het nou is opgelost of niet.

Kan die statsgen niet draaien op de nieuwe WDO-server ? Die komt aan een dikke lijn te hangen, en snel en heeft veel ram aan boord.

KoW stopt met stats maken

Tis dus niet meer nodig ook. Met alleen een server is het nog niet opgelost. De StatsGen kampt(e) met wat kuren en KoW had geen tijd om het op te lossen.