Data collecting naar centrale DB voor reporting

[mitch2kbe]

Hallo,

Ik heb verschillende applicaties op verschillende servers draaien.
Voor maandelijkse rapportage heb ik van verschillende applicaties data nodig. Bv van app 1 moet ik het aantal users uit de Ms SQL database weten, van app 2 het aantal lijnen in een logfile, van app 3 moet ik het aantal rows met een dataveld tussen een bepaalde tijd weten, etc.

Tot nu deed ik dit door manueel op die plaatsten te gaan kijken, of met een scriptje dat me de data mailt.
Graag wil ik nu de data automatisch van de verschillende locaties ophalen, en in een centrale DB steken. Ik zou dit kunnen doen door op iedere server een script te zetten, dat de data uitleest (uit SQL/log/...), en vervolgens in een remote SQL DB pompt.
Echter, gevaar is dan weer dat je data mist omdat het script niet loopt, en de data niet versleuteld is, etc.

Ik vroeg me af of er iemand weet heeft van software waarmee dit zou kunnen. Wat ik basicly zoek is een systeem dat via remote agents bepaalde specifieke data kan opvragen, en in een database steekt.

Thanks

[The Eagle]

Betreft het windows, linux, unix of meerdere OS'en waar je data bij weg moet trekken?
Je kunt sowieso even naar Flume kijken, daar kun je met een agent op je source iig gewoon data mee streamen. Snapt op de agent diverse dingen, kan mbv een db client zo output uit een DB trekken. In princiepe kun je de agent met ieder OS commando voeden - of met streaming logfiles, ook geen probleem.

[Wasp]

Je bent volgens mij op zoek naar een tool uit de business intelligence wereld, en dan specifiek een ETL (Extract/Transform/Load) tool.

Hiervan zijn verschillende open source varianten van. Google maar eens op Pentaho.

Wellicht wat overkill voor jouw huidige vraagstelling, maar toch. Als je al MS SQL in huis hebt kun je ook kijken naar SSIS.

[The Eagle]

Bijna goed. Hij zoekt een ELT tool: Extract, Load, Transform. Oftewel: eerst de hele data binnen halen, en dan pas dingen er op doen. Komt ook uit de BI hoek, maar dan meer de Big Data kant.
Pentaho is leuk spul maar niet geheel open source. Dan zou ik eerder nar andere Big Data tools kijken.

Heck, als dit mijn vraagstuk was had ik al lang een Hadoop clustertje neergezet waar ik de data heen liep streamen. Maar afhankelijk van wat voor data je op zoek bent zijn er verschillende oplossingen van toepassing. Zo heb je voor machinedata bijvoorbeeld Splunk. Maken wij bij klanten veel gebruik van om enterprise infra inzichtelijk te krijgen. Maar kan ook veel meer, die agents lepelen ook alles zo binnen. Erg mooi spul

[Wasp]

Hadoop en consorten lijken mij idd prima oplossingen voor big data, maar als ik de TS bekijk gaat het nog puur over een minimale hoeveelheid gestructureerde data (aantal users uit x, aantal logregels uit y, tijdvakbepalingen).

Reden dat ik Pentaho noemde is omdat ik dacht dat het compleet gratis was (community edition). Heb zelf verder geen ervaring met Pentaho.

Als de TS dit serieus wil oppakken dan zou je naar enterprise achtige tooling kunnen kijken. Google maar eens op ETL tool.

Zelf werk ik veel met SAP Data Services, een databaseplatform onafhankelijke ETL tool. Maar dit is zoals het nu klinkt overkill voor de TS. Vandaar mijn opmerking over SSIS, dit zit "gratis" bij verschillende edities van SQL Server meegeleverd waarin je zonder al teveel moeite flat files kunt inlezen, data sources bij elkaar kunt halen (middels ODBC/OLE/whatever) en vervolgens aan elkaar kunt knopen, dit inclusief foutafhandeling en scheduling.

[mitch2kbe]

Hartelijk dank voor de feedback!
Het is inderdaad multi os, maar meestal Windows. Ik ga eens kijken naar Pentaho en SSIS

[The Eagle]

Het leuke van Hadoop cs is dat het heel makkelijk schaalt. Simpel VM'etje met CentOS en je kunt an de slag. Hadoop er op, Flume er op en start collecting.
Vergis je niet in het verschil tussen gestructureerde-, semi-gestructureerde en niet gestructureerde data. Met een tool als Pig kun je daar wel chocola van maken, maar als je alleen tools hebt voor gestructureerde data (db tabellen, csv) dan ga je tegen een probleem aan lopen

En even mijn achtergrond: technische ERP (PeopleSoft), Oracle DB en Big Data tech guy. Zo'n beetje alle aspecten van de ERP zijn mij wel bekend