Clusteren van computers voor videobewerking

[Verwijderd]

Ik heb 3 werkende computers en 2 full functional moederborden (met voeding). Deze zaken wil ik met elkaar verbinden om videorendering tijd terug te brengen

ASUS p4pe +512mb ddr ram @2.0ghz
Asus p4b @2ghz+1gb geheugen + 3 scsi schijven
Intel 478 @2ghz+256 mb geheugen
Moederbord (evt. vast te maken aan plank) PII @350 mhz 196 mb geheugen
Amd Athlon @800 mhz 512 mb sdram geheugen

Deze 3 kan ik verbinden met elkaar (100mbps) voor een netwerk.
De specs van de pc's lopen nogal uiteen van ddr RAM tot sdram en de processorsnelheden en chipsets verschillen ook.


Het lijkt op een intern power cows project (data sturen/bewerken/terugsturen) maar eea moet geregisseerd worden vanuit een videobewerkingspakket.
Heeft iemand ervaring hoe je al deze losse PK's met elkaar verbindt tot een krachtig videobewerkingssysteem??

[Verwijderd]

Het is erg lastig zulke dingen te versnellen door het gebruik van meerdere computers. Aangezien de datacommunicatie slechts 100mbit is, dit houdt in dat de communicatie redelijk beperkt is (en dus de extra rekenkracht te niet wordt gedaan door het wachten op elkaars data). Een ander probleem is het probleem van het opsplitsen van de render data, dit is niet zo eenvoudig als het lijkt. Ik betwijfel over er veel software bestaat die dat goed kan. Dan kom je toch wel uit bij specialistische software/ systemen. Persoonlijk denk ik dat de versnelling minimaal zal zijn ook al krijg je het aan de praat (heb zelf ervaring met rekenclusters).

De enige dirty-chrick die ik kan bedenken is om gewoon per pc, een bereik van het aantal frames te renderen naar losse bestanden en deze vervolgens samen te voegen.

[ Voor 14% gewijzigd door Verwijderd op 29-01-2004 08:33 ]

[Bor]

Volgens bestaat een consumentenpakket niet die dit als feature in zich heeft. Je loopt dan te snel aan tegen de beperktheid van de "standaard" hardware van een normale pc. Bovendien moeten gigantische hoeveelheden data worden verstuurd, bewerkt en worden teruggestuurd.

[eghie]

Windows 2000 Advance Server heeft ook een functie om te clusteren, ik weet niet hoe het werkt, maar het moet denk ik wel te doen zijn.

Je moet dan wel in een domein zitten om een cluster op te zetten.

[Bor]

Je kunt met Windows 2000 AS wel een cluster neerzetten maar je hebt dan nog steeds "cluster" aware software nodig.

[ReLight]

en een shared cluster storage,...voor gezamelijke data opslag

[Ortep]

Voor zover ik weet doet VIDOMI dat. Die doet dat voor bv het renderen van een DVD naar Divx. Die kan in principe alle PC's in een netwerk er bij betrekken.

[Verwijderd]

En omdat dit vooral hardware betreft en niet zo zeer video:

>> Overige Hardware

[Verwijderd]

Verwijderd schreef op 29 januari 2004 @ 08:09:

De enige dirty-chrick die ik kan bedenken is om gewoon per pc, een bereik van het aantal frames te renderen naar losse bestanden en deze vervolgens samen te voegen.

Tsja, die dirty trick opdelen en weer samenvoegen is een optie. Ik heb er ook aan lopen denken om die volledig uitgeruste mobo's te verkopen en vervolgens geld bij elkaar te sprokkelen voor een dual mobo.

Maar de opgave is hier juist (en daar kunnen meer mensen van profiteren) om je computerkracht te bundelen. Op enkele computers heb ik ook nog optische uitgangen (spdif), tot zover ik weet is optisch veel sneller dan een netwerkkabeltje. Als ik de PII @350 mhz centraal zet in het netwerkje (houdt zich alleen bezig met de coordinatie v/d transacties) dan kan de rest binnenhalen en bewerken. Zo'n globale opzet heb ik voor ogen.
Onder Linux heb je ook videobewerkingspakketten, wellicht dat daar de oplossing zit.
In feite zou een besturingssysteem wat automatisch zijn benodigde rekentijd etc (gedistribueerd netwerksysteem) verdeelt over een netwerk uitkomst bieden. Dan hoeft de video-software niet gedistribueerd te zijn. het OS handelt het dan af.

[eghie]

Verwijderd schreef op 29 januari 2004 @ 15:18:
[...]


Tsja, die dirty trick opdelen en weer samenvoegen is een optie. Ik heb er ook aan lopen denken om die volledig uitgeruste mobo's te verkopen en vervolgens geld bij elkaar te sprokkelen voor een dual mobo.

Maar de opgave is hier juist (en daar kunnen meer mensen van profiteren) om je computerkracht te bundelen. Op enkele computers heb ik ook nog optische uitgangen (spdif), tot zover ik weet is optisch veel sneller dan een netwerkkabeltje. Als ik de PII @350 mhz centraal zet in het netwerkje (houdt zich alleen bezig met de coordinatie v/d transacties) dan kan de rest binnenhalen en bewerken. Zo'n globale opzet heb ik voor ogen.
Onder Linux heb je ook videobewerkingspakketten, wellicht dat daar de oplossing zit.
In feite zou een besturingssysteem wat automatisch zijn benodigde rekentijd etc (gedistribueerd netwerksysteem) verdeelt over een netwerk uitkomst bieden. Dan hoeft de video-software niet gedistribueerd te zijn. het OS handelt het dan af.

Over een SPdif kun je geen netwerkje aanleggen hoor, alleen maar geluid. Trouwens optisch hoeft niet perse sneller te zijn. Hij kan wel hogere snelheden aan, maar dat is wat anders.

[Zer0]

Verwijderd schreef op 29 januari 2004 @ 15:18:
In feite zou een besturingssysteem wat automatisch zijn benodigde rekentijd etc (gedistribueerd netwerksysteem) verdeelt over een netwerk uitkomst bieden. Dan hoeft de video-software niet gedistribueerd te zijn. het OS handelt het dan af.

Je applicatie moet dan wel multi-threaded zijn. Als een applicatie uit een enkele thread bestaat kan het OS hem nog steeds niet over meerdere machines verdelen.

[Verwijderd]

Ortep schreef op 29 januari 2004 @ 08:53:
Voor zover ik weet doet VIDOMI dat. Die doet dat voor bv het renderen van een DVD naar Divx. Die kan in principe alle PC's in een netwerk er bij betrekken.

Yep, ff gecheckt! bedankt voor de tip, een keer uitproberen binnenkort.
Dit programma maakt echter alleen DivX files volgens mij maar wie weet wat de toekomst biedt. Ga de performance eens doormeten en dan laat ik het hier weer horen

*Easy to use interface to encode and play XviD Mpeg4 files
*Encodes video and audio in one step
*Vidomi Enhanced AVI™ allows you to add chapters and subtitles to your encodes
*Multiple Language Support provides international accessibility
*Distributed Encoding: Encode more in less time using using multiple computers on a network