[EXCEL] Wie helpt me met een distributed computation?

[chappie010]

Beste tweakers,

Momenteel train ik als vegetarisch bodybuilder, en ik wil binnenkort switchen naar veganistische voeding.
Ik vermoed dat mijn eiwitopname voor ongeveer 10% van mijn maximale prestatie verantwoordelijk is, en om dat deel te optimaliseren heb ik een excel gebouwd.

Die combineerd de +-8000 voedingsstoffen van: nutritiondata.self.com met elkaar om de vereiste calorische inname die nodig is om een equivalent aan x gram "ideaal eiwit" (kipfilet) te absorberen, te minimaliseren.

Vooralsnog ging ik iedere avond braafjes naar de Campus om 's nachts een cluster computers de berekeningen voor me uit te laten voeren, maar momenteel (tijdelijk) geen toegang meer tot excel & zou ik graag de resultaten af willen hebben zodat ik ze kan implementeren in mijn voedingsplanner

*knip: zie Lustucru in "[EXCEL] Wie helpt me met een distributed computation?"

Alles is volledig geautomatiseerd, zodra er een ingredient (iedere +-40 minuten) af is wordt deze als een beunhaas naar de cloud geexporteerd via megatools, en vraagt hij aan een googlesheets welk nummer/ingredient daarna berekend moet worden.

Mochten jullie meer vragen hebben ben ik natuurlijk blij deze te beantwoorden

_{Ik durfde dit niet echt aan de powercows te vragen, omdat het niet echt een goed doel is, en er heel makkelijk te frauderen valt met de meting van computationduratie..}

[ Voor 13% gewijzigd door Lustucru op 15-07-2016 15:10 ]

[SMSfreakie]

mischien ben ik de enige.. maar hier doet die het iig niet krijg een fout

"Compileer fout"
"Kan het project of bibliotheek niet vinden"

[F_J_K]

Reagerend als user en niet als mod:

No way dat ik andermans binary xls ga openen, laat staan dat ik dan de code een gaatje laat prikken in mijn firewall

Ook: als je snelheid wilt, xlsb scheelt al een slok op een borrel maar stap af van Excel en ga voor een meer geoptimaliseerde taal/tool. Edit: ik zie aan Van Excel naar externe (tally) Counter? dat je er al en tijd me bezig bent maar als je Excel ziet als prototype dan is nu versnellen geen verloren tijd. Belangrijkste is de logica, niet de detail-code.

Als mod: nee, dit lijkt me iig niet iets voor DPC

[ Voor 32% gewijzigd door F_J_K op 14-07-2016 22:57 ]

[chappie010]

Bedankt voor het proberen SMSfreakie, dat probleem had ik op de desktop thuis ook, met office 2013.
Opent hij met "5parentfile_16174_4901_Tempeh, cooked_Prim_1600_comp_1600-1200-1100-2000.xlsb" tegelijkertijd wel ook "2cDataset.xlsm"?

Dat probleem komt doordat de reference/verwijzing naar de "2cDataset.xlsm" waarschijnlijk nog refereert naar het originele bestand ipv het kopie daarvan.
"2cDataset.xlsm" wordt enkel benut om het nummer van het afgeronde stukje rekenwerk te uploaden naar de google sheet.

Dat heb ik proberen op te lossen door:
1. de verwijzing aanpassen/updaten.
2. het Originele "2cDataset.xlsm" dat in combinatie geopend wordt op te slaan over de "2cDataset.xlsm" in het gekopieerde mapje.
3. de honderden objecten en modules van "2cDataset.xlsm" handmatig te kopieren naar de het orignele VBAproject zodat het 2e,gefuseerde, VBAproject eruit kon verwijderen.
4. Alle modules en objecten etc. exporteren en importeren zodat ik het 2e gefuseerde VBAproject eruit kon verwijderen
5. De noodzakelijke code om het nummer weg te schrijven in mijn/een googlesheet geprobeerd te reproduceren.
6. een externe tallycountwebsite benaderen vanuit excel om daar in een eigen account de score bij te houden.

Maar geen van die opties was succesvol, maar zowel op de TU/e als op de TUd werken de versies wel, alsmede op mijn eigen laptop, dus heb ik de keuze gemaakt mijn tijd anders te alloceren dan aan die bug.


Daarmee komen we eigenlijk ook op het punt van F_J_K, begrijpelijk dat je die code niet wil draaien, kan er weinig nuttigs tegenin brengen. Een tijdje = maanden, en helaas vormen mijn programmeer skills de bottleneck, het hele concept/de logica heb ik in +- 2 uur doordacht, maar alles programmeren in de vorm van detail-code totdat het werkt heeft kost me maanden.. Dus switchen is niet meer haalbaar voor me.

Ik verwacht +- 3000 cyclussen van +-35 minuten te doen, met 30 pc's zou dat: 3000*35/60/24/30=2.6 dagen kosten.

[ Voor 1% gewijzigd door chappie010 op 15-07-2016 00:00 . Reden: grammatica ]

[SMSfreakie]

opent netjes beide sheets, maar daarna gaat het vrij snel fout.. binnen 2 minuten komt de fout eigenlijk.
draai hier op W10 met Office 2016..

uiteraard even in een VM ( better safe than sorry ) en met een wlan dongle op een open hotspot voor internet access.

ruled meteen de poke in de lokale firewall uit

[GNID]

chappie010 schreef op donderdag 14 juli 2016 @ 23:56:
het hele concept/de logica heb ik in +- 2 uur doordacht

Ik gebruik zelf als vuistregel: 70% tijd voor nadenken, 20% tijd voor bouwen en uitvoeren en 10% van de tijd voor reparatie werkzaamheden/optimalisatie.
Als je dat aanhoudt, heb je nog tijd genoeg ...

Kan me namelijk niet voorstellen dat je zoveel brute-force rekencapactiteit nodig hebt om dit uit te laten rekenen. Dat moet bijna wel een slecht ontworpen algoritme zijn. (*)

Als je dan toch per se Excel wilt gebruiken, kijk dan naar de Solver invoegtoepassing. Die is juist voor dit soort (optimalisatie) berekeningen bedoeld.


(*) ik heb niet naar je code gekeken


P.S. Ik zou er persoonlijk "gewetensbezwaren" bij hebben om academische rekencapaciteit te gebruiken voor zoiets. Zeker zonder de nodige optimalisatieslagen.
P.P.S. Verder mis ik de urgentie van je zelf opgelegde deadline. Als 30 systemen er 2,6 dagen over doen om alles door te rekenen, heb je met 1 systeem over plm 2,6 maand je resultaat binnen. Prima toch?

[Lustucru]

In deze vorm is het werving, en dat staan we op het forum niet toe. Een discussie over optimalisatie van de code of het algoritme of principes van distributed computing past wel prima.

Verder wil ik het actief ontmoedigen om excel-sheets uit onbekende bron 'zomaar' te runnen.

Kortom: als je delen van je code wilt delen, en hoe je de distributie organiseert: prima. Een link in je sig naar je project mag ook. Een topic met als enige inzet: 'wie stelt computerpower ter beschikking' niet.

[chappie010]

Hartelijk dank voor de reacties.
@Smsfreakie je zou eventueel nog een keer "alt+F11" >Tools>references en dan die voor "VBAproject2" kunnen aanpassen via "browse" & dan "2cDataset.xlsm" kunnen selecteren waar jij hem hebt opgeslagen, al vermoed ik dat excel hem daarna nog niet kan vinden.

In ieder geval bedankt voor het proberen.

GNID Bedankt voor die suggestie, mocht er een volgend programmeerproject komen zal ik die regel zeker toepassen en proberen te registreren tot in welke mate ik tijd voor bouwen en uitvoeren kan blijven ruilen voor tijd met nadenken

De bedoeling is dat het resultaat van dit project pro bono als voedingsplanner beschikbaar komt zodat er minder belastende voedingsstoffen geconsumeerd hoeven te worden (of resultaten verbeterd worden). Maar dat maakt het inderdaad niet minder werving, bedankt voor de headsup.