RabbitMQ + Graylog2, hoe zit het nou?

[DennusB]

Hoi allemaal,

Ik ben bezig om eens uit te zoeken hoe Graylog2 werkt met RabbitMQ. De bedoeling is dus dat alle berichtjes eerst de queue in gaan en Graylog2 ze daar uit pikt en ze dan ophaalt. RabbitMQ is officieel supported door Graylog2 dus dat zou goed moeten gaan.

Na de installatie van de 2 pakketten maak ik een Exchange aan in RabbitMQ, in Graylog2 vertel ik dat ik op die Exchange wil luisteren naar inkomende berichtjes en als ik dan Graylog2 start word er netjes een queue aangemaakt. De Exchange stuurt alles dan door naar de queue.
Maar, en nu komt het gekke, als ik Graylog2 stop (wat dus ook gebeurt bij problemen) dan word de queue weer weggegooid en alle berichtjes die vervolgens binnenkomen op die exchange gaan naar /dev/null (zo ongeveer). Ik raak dan dus alsnog een hele bak berichten kwijt omdat de queue weer word verwijderd.
Ik heb heel Google ondersteboven gekeerd, en de handleiding van RabbitMQ gelezen waar precies in staat wat ik doe, maar met de mededeling dat je berichten netjes in de queue blijven wachten op het moment dat je "workers" uitvallen. Dat is dus niet zo.

Heeft iemand enig idee wat ik fout doe? Of waar het fout gaat?

[Ealanrian]

Heb je de queue persistant gemaakt? Hiervoor is als het goed is een config.

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 10:48:
Heb je de queue persistant gemaakt? Hiervoor is als het goed is een config.

Volgens mij kan ik alleen de Exchange persistant maken? Want ik kan bij Graylog2 niet aangeven welke queue hij moet gebruiken, hij maakt er gewoon 1 met een random naam bij het starten!

[Ealanrian]

Een exchange kan niet persistant zijn alleen een queue kan dan(*). Bij Graylog2 kan je niks configureren voor de queue? daar zou die namelijk persistant moeten zijn.

*het is een tijdje geleden dat ik met rabbitMQ heb gewerkt dus het kan veranderd zijn.

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 11:00:
Een exchange kan niet persistant zijn alleen een queue kan dan(*). Bij Graylog2 kan je niks configureren voor de queue? daar zou die namelijk persistant moeten zijn.

*het is een tijdje geleden dat ik met rabbitMQ heb gewerkt dus het kan veranderd zijn.

Nee een queue maak je zelf aan in de interface van Rabbit, en die stel je vervolgens in in Graylog om daar op te "abonneren".

[Ealanrian]

In dat geval kan je als het goed is de persistance aanzetten in de interface van rabbit bij het aanmaken van de queue

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 13:43:
In dat geval kan je als het goed is de persistance aanzetten in de interface van rabbit bij het aanmaken van de queue

Ja en dan ? Als ik dan Graylog2 opnieuw start en hij opent weer een listener dan maakt hij vrolijk weer een queue met een random naam en en blijven al die berichten in die andere queue gewoon staan

[Ealanrian]

Ik zal vanavond even kijken. Ik volg je namelijk niet helemaal meer. Eerst zeg je dat je geen queue's kan aanmaken omdat Graylog2 dit doet. Vervolgens kan je queue's zelf aan maken in de interface van Rabbit en nu niet meer? Ergens daar loopt het nu bij mijn denken fout. Wat ik weet is dat bij het aanmaken van de queue gesteld moet worden of die persistance heeft of niet.

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 14:56:
Ik zal vanavond even kijken. Ik volg je namelijk niet helemaal meer. Eerst zeg je dat je geen queue's kan aanmaken omdat Graylog2 dit doet. Vervolgens kan je queue's zelf aan maken in de interface van Rabbit en nu niet meer? Ergens daar loopt het nu bij mijn denken fout. Wat ik weet is dat bij het aanmaken van de queue gesteld moet worden of die persistance heeft of niet.

Nee wat ik zeg is dat ik een Exchange aanmaak in RabbitMQ en in Graylog2 instel dat hij moet "luisteren" naar die Exchange. Als ik Graylog vervolgens start maakt hij ZELF een random queue aan die hij "bind" aan die Exchange. Als ik Graylog stop is de binding en dus de queue ook weer weg.

[Ealanrian]

en in Graylog2 heb je geen mogelijk heden voor het configureren van de queue?

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 16:10:
en in Graylog2 heb je geen mogelijk heden voor het configureren van de queue?

Nee, je kan hem alleen laten luisteren op een Exchange.

[Ealanrian]

Een exchange is niet persistant dus ik denk niet dat het gaat werken.

[DennusB]

Ealanrian schreef op maandag 30 september 2013 @ 18:13:
Een exchange is niet persistant dus ik denk niet dat het gaat werken.

Wat is dan het nut van een queue systeem voor bijvoorbeeld Graylog? Op het moment dat Graylog crasht ben je alsnog berichten kwijt ?

[Ealanrian]

Ik denk dat je de queue niet moet zien voor het opslaan van berichten maar voor het routen van berichten van meerdere sources en het opvangen van load spikes.

[DennusB]

Ealanrian schreef op dinsdag 01 oktober 2013 @ 09:41:
Ik denk dat je de queue niet moet zien voor het opslaan van berichten maar voor het routen van berichten van meerdere sources en het opvangen van load spikes.

Dat snap ik. Maar volgens de omschrijving van Graylog EN van RabbitMQ is het ideaal om dingen vast te houden als je workers omklappen aan de achterkant... en ik krijg het op die manier dus gewoon niet aan de gang

[Ealanrian]

Misschien is er iemand op de mailinglist/het forum van Graylog of RabbitMQ die je verder kunnen helpen. De combinatie van beide heb ik (nog) niet geprobeerd.