Macbook voor zware datamigraties

[Arjan2P]

Ik ben van plan om een nieuwe Macbook aan te schaffen. Op dit moment heb ik een Macbook Pro M1 13" 16Gb. Voor mijn werk moet ik regelmatig datamigraties uitvoeren en dat kost met dit Macbook best veel tijd.

De migratiebestanden bestaan regelmatig uit 500.000 tot 2.000.000 rijen. Voor dat je zo'n bestand in Excel hebt ingelezen om te bewerken ben je vaak al 15-30 minuten verder.

Ik gebruik hem puur zakelijk, dus niet voor fotobewerking of gamen o.i.d.

Wie heeft hier ervaring mee of wie kan mij adviseren welke Macbook ik hiervoor het beste kan aanschaffen.

Ik hoor graag jullie advies!

[olafmol]

Is het niet handiger om dit met een dedicated (SaaS) service oid te doen?

[Snow_King]

Ik denk dat je beperking eerder Excel is dan je Macbook. Je kan er wel een snellere Mac tegenaan willen zetten, maar Excel kent gewoon zijn beperkingen.

Databases kunnen dergelijk werk vaak beter dan Excel.

[Compizfox]

Waarom heb je zoveel data in Excel staan? Dit klinkt een beetje alsof je Excel misbruikt als database...

[Lt.Mitchell]

Mijn advies zou zijn om voor 1 maand een VPS/VM te huren , windows bak met redelijk wat resources. Bij AWS of Azure kan je dat vrij makkelijk doen.

Daarop excel even installeren en je zelfde acties doen en dan even kijken hoeveel sneller dat werkt Dan weet je of het de beperking is van je dataset op zich of de resources van je M1.

Hoe dan ook is 16GB wel wat aan de krappe kant voor dit soort werk, ik zou eerder richting 64GB kijken. Zeker als je paar excels tegelijk wil open hebben staan.

sidenote, je klanten zijn er akkoord mee dat je hun data verwerkt op jouw toestel?

[Arjan2P]

Wellicht is mijn omschrijving niet volledig. Ik moet regelmatig data uit een database trekken en vervolgens in Excel bewerken en daarna weer importeren in de database. Dit deed ik voorheen met Jitterbit, maar dit werkt helaas niet meer op een Mac.

[Arjan2P]

Lt.Mitchell schreef op vrijdag 12 april 2024 @ 14:13:
Mijn advies zou zijn om voor 1 maand een VPS/VM te huren , windows bak met redelijk wat resources. Bij AWS of Azure kan je dat vrij makkelijk doen.

Daarop excel even installeren en je zelfde acties doen en dan even kijken hoeveel sneller dat werkt Dan weet je of het de beperking is van je dataset op zich of de resources van je M1.

Hoe dan ook is 16GB wel wat aan de krappe kant voor dit soort werk, ik zou eerder richting 64GB kijken. Zeker als je paar excels tegelijk wil open hebben staan.

sidenote, je klanten zijn er akkoord mee dat je hun data verwerkt op jouw toestel?

Ik heb uiteraard een verwerkersovereenkomst met mijn klanten. Maar bedankt voor je scherpe reactie!

[chengbondkwok]

Arjan2P schreef op vrijdag 12 april 2024 @ 16:12:
Wellicht is mijn omschrijving niet volledig. Ik moet regelmatig data uit een database trekken en vervolgens in Excel bewerken en daarna weer importeren in de database. Dit deed ik voorheen met Jitterbit, maar dit werkt helaas niet meer op een Mac.

Afhankelijk van de bewerkingen die je moet doen: is het inlezen in iets zoals R of Python dan niet makkelijker? Ook omdat Excel geen 2 miljoen rijen aan kan

[ Voor 4% gewijzigd door chengbondkwok op 12-04-2024 16:17 ]

[Verwijderd]

Waarom bewerken in Excel? Dit zijn volumes die vragen om een fatsoenlijk ETL proces. Hoe je dit doet kan op veel manieren, maar handmatig 2mil records in excel laden en bewerken is niet de manier.

[ Voor 3% gewijzigd door Verwijderd op 12-04-2024 16:19 ]

[Qwerty-273]

Arjan2P schreef op vrijdag 12 april 2024 @ 16:12:
Wellicht is mijn omschrijving niet volledig. Ik moet regelmatig data uit een database trekken en vervolgens in Excel bewerken en daarna weer importeren in de database. Dit deed ik voorheen met Jitterbit, maar dit werkt helaas niet meer op een Mac.

Welke handelingen vereisen Excel? Kan je dat niet met een query (of een heleboel queries) het zelfde bereiken, maar dan al direct in de database zelf?

En als de software niet meer draait op een Mac, neem een Windows laptop?

[Arjan2P]

Verwijderd schreef op vrijdag 12 april 2024 @ 16:19:
Waarom bewerken in Excel? Dit zijn volumes die vragen om een fatsoenlijk ETL proces. Hoe je dit doet kan op veel manieren, maar handmatig 2mil records in excel laden en bewerken is niet de manier.

Dat ben ik helemaal met je eens, maar ik ben niet zo bedreven met deze ETL tools. Welke ETL tool is wat jou betreft de beste/meest gebruiksvriendelijk?

[Verwijderd]

Arjan2P schreef op vrijdag 12 april 2024 @ 16:24:
[...]


Dat ben ik helemaal met je eens, maar ik ben niet zo bedreven met deze ETL tools. Welke ETL tool is wat jou betreft de beste/meest gebruiksvriendelijk?

Ik ben zelf alleen bekend met de Microsoft suite wat dat betreft(fabric/ssis), maar in feite doen ze allemaal hetzelfde natuurlijk. Het hangt ook af van wat je bron database is en wat je met de data wil doen voordat je het weer ergens in laadt.

Soms is een stored procedure al genoeg om data van de ene SQL database naar de andere te pompen met wat simpele transformaties.

Maar goed, dit soort technisch geneuzel is dit topic en het subforum waar het geplaatst is natuurlijk niet voor gemaakt

[ Voor 3% gewijzigd door Verwijderd op 12-04-2024 16:34 ]

[Juup]

- Gebruik geen Excel (zie bovenstaad)
- Als je toch Excel wil gebruiken doe dat dan op een Windows machine, MS shizzle werkt beter op windows meestal
- Als je toch Excel en Mac wilt gebruiken pak dan de dikste machine die je kan betalen, met lekker veel werkgeheugen (je kunt kijken hoeveel werkgeheugen jouw excel nu gebruikt bij de grootste migratiebestanden)

[Oon]

Je zou hooguit voor wat meer geheugen kunnen kiezen, maar ik verwacht niet dat dat je proces veel gaat versnellen. Een M1-processor matcht nog steeds recente Windows-laptops in snelheid, en als ik mijn Mac Mini (M1, uit 2021) vergelijk met mijn redelijk stevige en veel recentere (<1 jaar oude) laptop van het werk dan wint de Mac Mini het toch 9/10 keer.

Het feit is gewoon dat je met zulke datasets eigenlijk niet Excel wil hebben, maar meer richting een echte database moet gaan, en als die optie er niet is zul je zelf een conversiescript moeten gaan schrijven. Excel is handig, maar het is absoluut niet snel, en als je over de 100K rijen komt zit je wel echt aan z'n max.

[GekkeRipper]

Excel werkt multi threaded. Check of alle cores gebruikt worden als je jouw bewerking of het inlezen uitvoert. Als dat zo is, dan geldt hoe meer cores hoe beter.

[Sethro]

Alteryx is top voor dit soort dingen. Of gewoon met een query als je beetje handig bent.

[ Voor 40% gewijzigd door Sethro op 12-04-2024 18:36 ]

[Umbrah]

Dit riekt naar pandas, en afhankelijk van het soort data zou je misschien zelfs CuDF willen gebruiken. Weet niet wat de status is van gpu compute op een Mac maar als je betrouwbaar, herhaalbaar, schaalbaar en voorspelbaar wil, dan is data engineering tooling doorgaans duurzamer dan excel. Pandas data frames zijn ideaal en best eenvoudig te leren, en de python tooling er omheen is erg volwassenen.

[Jan Onderwater]

Kijk eens in je activiteitenweergave als je dit doet, hoeveel hij aan het swappen is en wat het CPU gebruik is. Ik heb altijd liever veel geheugen voor dit soort dingen dan per se een snellere CPU.
`hor groot is de SSD in je MacBook?

[ Voor 8% gewijzigd door Jan Onderwater op 12-04-2024 18:51 ]