Al een tijdje heb ik een zelfgebouwde energiemonitor draaien op basis van een ESP8266 Wifi microcontroller. Deze energiemonitor meet het aantal impulsen van de meters (stroom, gas en water) in de meterkast en verstuurt het aantal gemeten impulsen naar een gratis IoT cloud dienst (Thingspeak).
Omdat ik het interessant vind om het momentane opgenomen vermogen (watt) met voldoende details te kunnen bekijken, heb ik besloten om elke 15 seconde de data naar de cloud dienst te pushen. Vervolgens kan ik daar de volgende grafieken mee plotten:
De energiemonitor draait alweer bijna een jaar en heeft ruim 2 miljoen records aan data gegenereerd. Opzich werkt alles prima maar toch wil ik de locatie waar deze data opgeslagen wordt gaan veranderen. Op deze manier heb ik meer controle over de data en ben ik niet meer afhankelijk van deze cloud dienst.
Doel: het onderbrengen van de data op een eigen hosting.
Het inrichten en programmeren van de noodzakelijke scripts lijkt mij geen probleem. Ik maak maar beperkt gebruik van de API van de cloud dienst en meer als het ophalen van data tussen twee datums of het sommeren van data per dag/uur heb ik niet nodig. Wat mij wel zorgen baart is het inrichten van de database en de mogelijke performance issues op langere termijn.
De data die ik tot mijn beschikking heb en kan exporteren van de cloud dienst is een CSV met de volgende opbouw: Timestamp, Watt, (Wh*2), (m²/1000), (liter).
2015-08-23 12:55:23 UTC,166,542,2,0
2015-08-23 12:55:38 UTC,167,547,1,0
2015-08-23 12:55:53 UTC,168,544,1,0
Mijn vraag aan jullie is of een simpel hosting pakket met MySQL database deze hoeveelheid data, importeren van data elke 15 seconde en af en toe weergeven van totalen gaat trekken. Kom ik in de problemen met dataverbruik, geeft een dergelijke database performance issues en welke tips kunnen jullie mij verder meegeven?
Op internet lees ik heel wisselende verhalen over databases met miljoenen records. Wat mij wel duidelijk is dat het goed inrichten van de tabel al een hoop kan schelen. Wat denken jullie. Zou dit kunnen werken?
Omdat ik het interessant vind om het momentane opgenomen vermogen (watt) met voldoende details te kunnen bekijken, heb ik besloten om elke 15 seconde de data naar de cloud dienst te pushen. Vervolgens kan ik daar de volgende grafieken mee plotten:
De energiemonitor draait alweer bijna een jaar en heeft ruim 2 miljoen records aan data gegenereerd. Opzich werkt alles prima maar toch wil ik de locatie waar deze data opgeslagen wordt gaan veranderen. Op deze manier heb ik meer controle over de data en ben ik niet meer afhankelijk van deze cloud dienst.
Doel: het onderbrengen van de data op een eigen hosting.
Het inrichten en programmeren van de noodzakelijke scripts lijkt mij geen probleem. Ik maak maar beperkt gebruik van de API van de cloud dienst en meer als het ophalen van data tussen twee datums of het sommeren van data per dag/uur heb ik niet nodig. Wat mij wel zorgen baart is het inrichten van de database en de mogelijke performance issues op langere termijn.
De data die ik tot mijn beschikking heb en kan exporteren van de cloud dienst is een CSV met de volgende opbouw: Timestamp, Watt, (Wh*2), (m²/1000), (liter).
2015-08-23 12:55:23 UTC,166,542,2,0
2015-08-23 12:55:38 UTC,167,547,1,0
2015-08-23 12:55:53 UTC,168,544,1,0
Mijn vraag aan jullie is of een simpel hosting pakket met MySQL database deze hoeveelheid data, importeren van data elke 15 seconde en af en toe weergeven van totalen gaat trekken. Kom ik in de problemen met dataverbruik, geeft een dergelijke database performance issues en welke tips kunnen jullie mij verder meegeven?
Op internet lees ik heel wisselende verhalen over databases met miljoenen records. Wat mij wel duidelijk is dat het goed inrichten van de tabel al een hoop kan schelen. Wat denken jullie. Zou dit kunnen werken?
:strip_exif()/u/29005/jackass.gif?f=community)
/u/113533/crop56b9c5c9c4bbb_cropped.png?f=community)
:strip_icc():strip_exif()/u/11014/27337_1472854245_8919_q.jpg?f=community)