Programmeerbare NAS (met Linux of plugin architectuur)

[d-snp]

tl;dr: ken je een nas waar ik zelf een scriptje op kan zetten, of dat naar GCS buckets kan backuppen?

Ik werk samen met een opdrachtgever aan een oplossing waar de opdrachtgever een zootje data verzameld (enkele gigabytes per klus), daar lokaal wat operaties op uitvoert, en dan de data upload naar een Google Cloud Storage bucket, waar een systeem dat ik heb gebouwd daar compute operaties op uitvoert, en de resultaten presenteert in een web app.

Op het moment heeft mijn opdrachtgever een zootje PC's waar zijn collega's de data op sturen, en die dan handmatig uploaden naar de cloud. We willen dit standaardiseren en betrouwbaar maken, dus idee is als volgt:

Collega verzameld data,voert operaties uit, en zet de data op een NAS. Dan logt de collega in op mijn web app, klikt op OK, en dan verschijnt magisch de data in de google cloud.

Het magische gedeelte is waar ik nu een oplossing voor moet bedenken. De opdrachtgever heeft de Synology DiskStation DS1819+ uitgezocht, en vraagt mij of het wat is. Het is een mooi ding, maar het besturingssysteem lijkt meer gericht op eindgebruikers dan op integreerders, het kan automatisch uploaden naar clouds, maar daarmee bedoelen ze meer dingen als DropBox geloof ik.

Ideaal gezien zou het een NAS zijn die Linux draait, zodat ik zelf een scriptje kan schrijven dat de upload uitvoert, een ander systeem dat plugins ondersteunt, of zelfs van zichzelf naar GCS buckets kan uploaden zou ook acceptabel zijn.

Ik hou me verder liever niet bezig met systeemadministratie voor dit ding, dus zelf een NAS samenstellen uit componenten, of een NAS waar ik zelf een besturingssysteem op moet installeren of dat niet een besturingssysteem heeft dat wordt onderhouden door de leverancier lijkt me niet wenselijk.

Hopelijk weten jullie wat

Thanks!

[MewBie]

Ik raad je aan om de termen Synology en Google Cloud Storage even in Google te proberen. Waarschijnlijk geeft het eerste resultaat antwoord op je vraag.

[MAX3400]

Veel NAS'en hebben een opensource-based OS en vaak ook een terminal (te bereiken via SSH ofzo). Allicht kan je dan met wat dependencies / interesse inderdaad zelf scripten en/of een non-rooted user aanmaken die op een bepaald mounted volume mag lezen/schrijven en naar je "cloud omgeving" kan synchroniseren.

Maar, "een scriptje" is best wollig; ik neem aan dat je enige kennis van Linux hebt om daarin te kunnen scripten? Ik ken namelijk weinig NAS'en die op (bijvoorbeeld) Windows draaien (VBS / Powershell). Het kan enige invloed hebben op je keuze welk merk / type NAS je koopt.

Of inderdaad van te voren, zoals @MewBie aangeeft; even onderzoek doen naar (community) packages voor NAS A van merk B om te zien of er niet al iets bestaat voor je.

[hans_lenze]

Wie gaat er de systeemadministratie doen? Als jij het niet bent (met kennis van de workflow) wie gaat het dan doen? Die persoon moet ook betrokken worden in de keuze voordat er een rare doos in z'n maag wordt gesplitst.

Hoe ga je de code precies onderhouden en (automatische?) updates faciliteren? Elk onderdeel dat je zelf verzint, zul je zelf moeten bijhouden.
Ik vind een Synology best een prima oplossing. Je kunt dan een share maken waar de data in terecht komt, een Docker container met je script bende er op zetten die je makkelijk kunt vervangen als je bugfixes op alle tien? Twintig? van die doosjes wilt zetten.

99% van de nas apparaten hebben een Linux (achtige) omgeving onder hun webinterface zitten waar je in kunt klooien wat je wilt. Soms gaan zelfbouw dingen stuk door updates, daarom is het een goed idee om jouw code in een containertje te stoppen zodat het blijft werken.

[MewBie]

hans_lenze schreef op vrijdag 10 mei 2019 @ 08:12:
Wie gaat er de systeemadministratie doen? Als jij het niet bent (met kennis van de workflow) wie gaat het dan doen? Die persoon moet ook betrokken worden in de keuze voordat er een rare doos in z'n maag wordt gesplitst.

Hoe ga je de code precies onderhouden en (automatische?) updates faciliteren? Elk onderdeel dat je zelf verzint, zul je zelf moeten bijhouden.
Ik vind een Synology best een prima oplossing. Je kunt dan een share maken waar de data in terecht komt, een Docker container met je script bende er op zetten die je makkelijk kunt vervangen als je bugfixes op alle tien? Twintig? van die doosjes wilt zetten.

99% van de nas apparaten hebben een Linux (achtige) omgeving onder hun webinterface zitten waar je in kunt klooien wat je wilt. Soms gaan zelfbouw dingen stuk door updates, daarom is het een goed idee om jouw code in een containertje te stoppen zodat het blijft werken.

Of je gebruikt gewoon de ingebouwde Cloud Sync functionaliteit van Synology, waarvan TS ondertussen hopelijk al gevonden heeft dat dat gewoon werkt met GCS, om de data te uploaden naar de cloud in plaats van zelfs iets in elkaar proberen te zetten.

[hans_lenze]

MewBie schreef op vrijdag 10 mei 2019 @ 08:54:
[...]

Of je gebruikt gewoon de ingebouwde Cloud Sync functionaliteit van Synology, waarvan TS ondertussen hopelijk al gevonden heeft dat dat gewoon werkt met GCS, om de data te uploaden naar de cloud in plaats van zelfs iets in elkaar proberen te zetten.

Misschien heb ik inderdaad verkeerd gelezen. Ik ga nu uit van:
- Data op de NAS duwen
- Lokaal wat dataverwerking
- Data uploaden naar GCS

Maar als de tweede stap er niet bij zit, dan wil je inderdaad de standaard spulletjes gebruiken die je niet zelf hoeft te onderhouden.

[MewBie]

hans_lenze schreef op vrijdag 10 mei 2019 @ 10:34:
[...]


Misschien heb ik inderdaad verkeerd gelezen. Ik ga nu uit van:
- Data op de NAS duwen
- Lokaal wat dataverwerking
- Data uploaden naar GCS

Maar als de tweede stap er niet bij zit, dan wil je inderdaad de standaard spulletjes gebruiken die je niet zelf hoeft te onderhouden.

Zelfs als de 2de stap er is zou je het uploaden/syncen gewoon door de standaard ingebouwde functionaliteit kunnen laten doen. Wordt lokaal een bestand aangepast upload 'ie gewoon de nieuwe versie.

[d-snp]

Hey allemaal! Thanks voor de reacties, om een of andere reden kreeg ik geen e-mail notificaties en zie ik de thread nu pas..

@MewBie Argh, ik had het gegoogled, en met bevooroordeelde blik zag ik "Google Drive" staan en domweg meteen aangenomen dat Google Cloud Storage er niet tussen stond, terwijl die er recht boven staat. Dit is inderdaad precies wat we nodig hebben.

@MAX3400 thanks! had inderdaad de voorkeur aan een linux/posix script mogelijkheid. Maar lijkt er op dat Synology al in alles voorziet.

@hans_lenze Je hebt helemaal gelijk, die persoon zou ik dus zijn, en ik heb geen behoefte aan om een doos te gaan onderhouden die ergens op een kantoor staat (ipv netjes in de cloud/datacenter), dus daarom was ik een full-service oplossing aan het zoeken die gemakkelijk te vervangen is als ie stuk gaat. Had niet gezien dat die synology docker containers kan draaien, dat maakt het helemaal een no-brainer. Om een of andere reden had ik in mijn hoofd dat synology meer consumentendingetjes waren maar het lijkt een vrij episch systeem te zijn.

[jurroen]

DSM maakt gebruik van Busybox. Dat zal voor de meeste shell scripts genoeg zijn. Dependencies die missen kun je veelal installeren via packages; kernel extensies is echter een heel ander verhaal. Hou daar rekening mee tijdens het applicatieontwerp/architectuur