:strip_icc():strip_exif()/u/273143/crop662a645733c16_cropped.jpg?f=community)
Heeft iemand ervaring met autoscale op Amazon? Ik wil een python script draaien op Amazon. Dit python script verwerkt de documenten uit een Amazon queue (SQS). Het python script wat uitgevoerd moet worden, dient eerst een classificeerder te downloaden van een aparte server (dit is een .pickle bestand). Deze classificeerder kan vervolgens gebruikt worden om de documenten te verwerken uit het SQS bestand. Deze classificeerder wordt meerdere keren per dag bijgewerkt.
Afhankelijk van de hoeveelheid documenten in de SQS wil ik de EC2 opschalen, of juist naar beneden, of misschien wel helemaal uitschakelen (zodra de SQS leeg is).
Ik heb gevonden hoe ik met de boto library een instance kan starten en een script mee kan sturen dmv de user_data parameter (http://boto.readthedocs.org/en/latest/ec2_tut.html). Maar autoscale lijkt anders te werken: http://boto.readthedocs.org/en/latest/autoscale_tut.html.
Ik kan niet echt duidelijkheid vinden over hoe zo'n autoscale groep nou daadwerkelijk werkt.
Dien ik instances toe te voegen aan de autoscale group die allen het python script runnen op het moment dat deze wordt opgestart, en worden deze instances ingeschakeld op het moment dat ik de autoscale groep opschaal?
EDIT:
Al gefixt. Met behulp van een alarm houdt Amazon in de gate of er extra instances opgestart moeten worden. S3 gebruik ik voor het opslaan van de classificeerder en de AMI (welke door iedere instance gebruikt wordt) richt ik zo in dat die bij opstarten eerst het bestand downloadt en vervolgens begint met classificeren.
Afhankelijk van de hoeveelheid documenten in de SQS wil ik de EC2 opschalen, of juist naar beneden, of misschien wel helemaal uitschakelen (zodra de SQS leeg is).
Ik heb gevonden hoe ik met de boto library een instance kan starten en een script mee kan sturen dmv de user_data parameter (http://boto.readthedocs.org/en/latest/ec2_tut.html). Maar autoscale lijkt anders te werken: http://boto.readthedocs.org/en/latest/autoscale_tut.html.
Ik kan niet echt duidelijkheid vinden over hoe zo'n autoscale groep nou daadwerkelijk werkt.
Dien ik instances toe te voegen aan de autoscale group die allen het python script runnen op het moment dat deze wordt opgestart, en worden deze instances ingeschakeld op het moment dat ik de autoscale groep opschaal?
EDIT:
Al gefixt. Met behulp van een alarm houdt Amazon in de gate of er extra instances opgestart moeten worden. S3 gebruik ik voor het opslaan van de classificeerder en de AMI (welke door iedere instance gebruikt wordt) richt ik zo in dat die bij opstarten eerst het bestand downloadt en vervolgens begint met classificeren.
[ Voor 26% gewijzigd door Storm90 op 12-05-2015 12:05 ]