Opzetten netwerk voor downloaden en analyseren data

[Def_Os]

Tweakers, wie denkt er even met mij mee?

Mijn situatie is als volgt: ik wil elke ochtend volautomatisch (m.b.v. 'cron' onder Linux) een paar Python-scripts laten runnen die data downloaden van het web (hooguit een paar Mb). De scripts zorgen er ook voor dat de data wordt schoongemaakt en weggeschreven naar een bescheiden SQLite database. Vervolgens laat ik, opnieuw met Python, automatisch een stel scripts los op de data die zware numerieke bewerkingen doen. In het geval er iets misgaat met download of analyse, wil ik wat hulpscripts in kunnen schakelen die wat meer handwerk vereisen.

Het programmeren gaat me goed af, maar ik heb weinig kaas gegeten van servers, Linux, en het automatiseren van taken daar, dus ik vroeg mij af hoe ik zo'n systeem robuust en efficiënt opzet.

Beschikbaar: een krachtige desktop, een oude PC die voorlopig als server kan fungeren, en binnenkort een nieuwe Windows 8 laptop waarop ik thuis of op afstand het meeste programmeer- en operationele werk wil doen.

Mijn voorlopige idee was om Linux te installeren op mijn oude PC en die een SQLite-server te laten draaien. De toegevoegde waarde van de server is dat ik er een RAID-setup van kan maken en dat hij weinig energie kost. De zware bewerkingen moeten door mijn desktop worden gedaan, dat spreekt voor zich. Maar het liefst gebruik ik deze energieslurper alleen wanneer het nodig is.

Vragen waar ik mee worstel zijn:

• Moet ik mijn desktop maar gewoon compleet dedicaten aan dit project en hem alles (downloaden+file-server+rekenwerk) laten doen?
• Zo niet, op welke machine zet ik mijn data/mijn Python-scripts het best?
• Welk machine stuurt welke aan? En hoe?
• Hoe krijg ik secure toegang tot de juiste machine vanaf mijn werk-laptop?

Bedankt voor de input!

[CyBeR]

SQLite is niet client-server based dus daar ga je iig al de mist in.

[Def_Os]

CyBeR schreef op vrijdag 28 september 2012 @ 12:10:
SQLite is niet client-server based dus daar ga je iig al de mist in.

Bedankt, dat had ik even over het hoofd gezien. MySQL is ook een optie, wat mij betreft.

[Kalief]

CyBeR schreef op vrijdag 28 september 2012 @ 12:10:
SQLite is niet client-server based dus daar ga je iig al de mist in.

Het werkt wel maar wordt afgeraden.
Maar in deze situatie lijkt het me niet zo'n probleem.
http://www.sqlite.org/whentouse.html

[CAPSLOCK2000]

Aangezien je er op afstand bij wil is mysql waarschijnlijk handiger.
Laat je server alles in mysql stoppen. Je desktop kan het er dan via het netwerk bij.

Ik weet niet hoe je een Windows machine op afstand opdrachten geeft maar je kan ook de Windows scheduler (zo heet cron daar toch?) gebruiken.
Start bv om 8:00 de download en run om 9:00 vanaf die andere machine het verwerkingsscriptje, dan is die download wel klaar.

[ Voor 72% gewijzigd door CAPSLOCK2000 op 29-09-2012 23:02 ]

[begintmeta]

offtopic:
Ik zou trouwens ook altijd PostgreSQL overwegen.

[Def_Os]

Bedankt voor de SQL-tips. Ik zal nog eens naar MySQL/PostgreSQL kijken.

Ik ga dus een server opzetten die zich puur op de data-download richt. Daar staan dus de download-scripts op en de SQL-server.

Ik zou op de desktop (de rekenmachine) ook Linux kunnen installeren. Zou het dan (met bijv. Wake On LAN ofzo?) mogelijk zijn om de machine automatisch aan en uit te zetten, aangestuurd door de server? Ik wil die bak liever niet 24/7/365 aan hebben staan.

Ten slotte, hoe kan ik het best vanaf een Windows 8-laptop op afstand werken op de Linux-server/-desktop?

[Gleighton]

Remote werken: putty
Wake on lan werkt ook onder windows, je moet alleen even kijken of je netwerkkaart het ondersteund. Maar natuurlijk onder linux werkt het ook, dus het is gewoon wat je het fijnste vindt. Ook kun je op sommige moederborden instellen dat ie op bepaalde tijden aan gaat.

[yeehaw]

Als je een GUI nodig hebt op de linux-omgeving zou je via VNC kunnen werken

[Def_Os]

Ik ben hier geweldig mee geholpen, dank jullie wel. Wordt mogelijk vervolgd als ik de boel wat verder op poten heb gezet.