Photoshop CS 6 Benchmark - Suggesties ?

[Marc Rademaker]

Aan alle professionele en minder professionele fotografen,

Voor het testen van cpu's gebruiken wij de Retouch Artist benchmark. Deze benchmark is echter hopeloos verouderd en duurt slechts nog tien seconden op de snelste systemen.

Ik wil dan ook een nieuwe benchmark ontwikkelen die wat zwaarder is voor de cpu. Het maken is eenvoudig, een action aanmaken en deze timeren met een stopwatch (al dan niet of wel handmatig / softwarematig).

Maar, welke bewerkingen moeten erin zitten. Ik ben zelf geen fotograaf, maar je kunt de kleuren bewerken, contrast, de curves, een layer toevoegen, bewerken, een blur eroverheen gooien, en ga zo maar door. Maar het moet wel realistisch blijven, maar ook ongeever 40-60 seconden duren op een high-end systeem.

Suggesties? Laten we een jpeg van 5MB als uitgangspunt nemen. Wat we niet willen is dat de test veel geheugen gebruikt (maximaal 2GB). Want we willen de cpu testen en de hoeveelheid geheugen mag geen limiterende factor zijn.

Alle suggesties zijn welkom!

[PageFault]

Een filter die veel buurpixels gebruikt, zoals een gaussian blur met een flinke radius doet het goed. Panorama's stitchen is een fijne.

Verder: een flinke ray tracing activiteit is een bron van vele bakken koffie weglurken, dus kijk es naar 3D Studio Max, Maya, SoftImage, Povray of zoiets.

Let op dat er steeds meer tooling dankbaar gebruik maakt van de GPU naast of ipv de CPU!

Wat is trouwens het achterliggende idee achter de benchmark? Je zou toch waardes uit SiSoft Sandra of zo kunnen pakken of een vergelijkbare tool? Dan kun je het ook loskoppelen van geheugen of harddisk activiteit en heb je meer meetgegevens van specifieke zaken.

[sapphire]

SiSoft Sandra is een synthetische benchamark, een leuke waarde waar je niks mee kan.

Een real-life benchmark zoals een Ps actie is veel realistischer en ook werkelijk bruikbaar als je iets wilt weten/kopen/vergelijken.

Zou zeggen regel een stapeltje mooie raw's met veel MP's (D800 36MP iemand ) stitch die als panorama aan elkaar. Dat doet het altijd erg goed hier, maargoed dat vreet wel wat geheugen ook.

[djunicron]

Tja, ik weet het niet zo net, of in CS6 Ps nog wel als CPU test kan gelden.

Het geheugen is inderdaad eerder een bottleneck in realistische settings. Ik snap dat de 2GB limiet is omdat de T.net reviewers het ook op W8 tablets en andere micro-machines willen kunnen draaien. Terwijl ik eigenlijk in dagelijks gebruik met CS5 en CS5.5 altijd alleen maar tegen geheugen capaciteit aanloop: Teveel RAWs met aanpassingen + export tegelijk, te grote files stitchen, teveel layers etc etc. Die 10 sec die ik de ergste gevallen moet wachten op hoge kwaliteit previews van effecten is tot daar aan toe. En voor de grootste cpu-rampen zijn ze inmiddels meer en meer gpu acceleratie aan het gebruiken.

En wat ik begreep van een collega die wel al op CS6 is overgestapt (heb er daar ook mee gewerkt) is een HD4650 daar zo nu en dan sneller in de taken dan de 3750K die ik daar in het systeempje heb gepropt.

Ik denk dat de beste test voor CPU only niet veel anders zou moeten voorstellen dan een scriptje draaien waarbij veel layers worden gedupliceerd met gedeeltelijke slecties, geautomatiseerde masks op basis van treshold berekeningen en daar een series clippingmasks overheen. Laat het eindresultaat dan b.v. een Jpeg zijn van een RAW waar eerst drie verschillende rendities van gemaakt worden. Dat is waarschijnlijk nog wel binnen de 2GB te houden als je steeds de RAW weer sluit nadat de layer is toegevoegd. De filters moeten natuurlijk alleen de CPU-filters zijn, hoewel ik dacht dat als je het vanuit Bridge automatiseert, de GPU niet gebruikt wordt.

Of er kan natuurlijk met 3D wat gedaan worden, zodat de CPU erin stikt. Maar of dat nou een alledaagse test is. En als je dan toch wilt testen hoe Raytracing presteert kan je net zo goed cinebench draaien lijkt mij zo. Of een ander dedicated 3D modelling pakket.

En dan nog ben ik van mening dat voor de fotograaf een HDR maken van D800 RAWs en die vervolgens (nogmaals) door LR halen interessanter is, het moeten wachten op sliders voor aanpassingen is namelijk erger en vaker voorkomend.

[PageFault]

sapphire schreef op maandag 16 juli 2012 @ 22:31:
SiSoft Sandra is een synthetische benchamark, een leuke waarde waar je niks mee kan.

Een real-life benchmark zoals een Ps actie is veel realistischer en ook werkelijk bruikbaar als je iets wilt weten/kopen/vergelijken.

Zou zeggen regel een stapeltje mooie raw's met veel MP's (D800 36MP iemand ) stitch die als panorama aan elkaar. Dat doet het altijd erg goed hier, maargoed dat vreet wel wat geheugen ook.

Elke benchmark is synthetisch, als je dat zo wil omschrijven. Volgens mij gaat het erom dat je een referentiekader krijgt of een systeem snel of minder snel is.

Ik kan eeuwig zware filters los gaan laten op een beeld, maar als het enige wat ik doe dikke scans een beetje croppen en kleur corrigeren, krijg je nog steeds een incorrect beeld met zo'n benchmark

[Universal Creations]

Marc Rademaker schreef op maandag 16 juli 2012 @ 16:21:
Ik wil dan ook een nieuwe benchmark ontwikkelen die wat zwaarder is voor de cpu.

en

Maar het moet wel realistisch blijven, maar ook ongeever 40-60 seconden duren op een high-end systeem.

vs.

Laten we een jpeg van 5MB als uitgangspunt nemen. Wat we niet willen is dat de test veel geheugen gebruikt (maximaal 2GB). Want we willen de cpu testen en de hoeveelheid geheugen mag geen limiterende factor zijn.

Ik zie een aardige tegenstrijdigheid. Want wie gaat heftige acties uitvoeren op een low-end systeem met 2GB geheugen, die 40-60sec duren op een high-end systeem?
Ik snap best dat je enkel cpu wil belasten, maar hoe real-life is de test dan? Want het is altijd een samenspel tussen cpu en geheugen. Vooral omdat Photoshop en Lightroom erg gek zijn op geheugen.
Ik zou overigens uitgaan van een gemiddelde RAW (25MB bijvoorbeeld) en daar de bewerkingen op uitvoeren. Welke bewerkingen heb ik zo geen zicht op, ik ben namelijk geen photoshopper.

[Marc Rademaker]

djunicron schreef op dinsdag 17 juli 2012 @ 01:11:
Tja, ik weet het niet zo net, of in CS6 Ps nog wel als CPU test kan gelden.

Jazeker, er zijn handelingen die geen gebruik maken van de gpu. Maar ik ben misschien ook te vaag geweest. Afhankelijk van wat fotosoepers veel gebruiken, kan het ook een 'systeem'-test worden, waarbij de snelheid zowel van cpu als gpu afhankelijk is.

Het geheugen is inderdaad eerder een bottleneck in realistische settings. Ik snap dat de 2GB limiet is omdat de T.net reviewers het ook op W8 tablets en andere micro-machines willen kunnen draaien. Terwijl ik eigenlijk in dagelijks gebruik met CS5 en CS5.5 altijd alleen maar tegen geheugen capaciteit aanloop: Teveel RAWs met aanpassingen + export tegelijk, te grote files stitchen, teveel layers etc etc. Die 10 sec die ik de ergste gevallen moet wachten op hoge kwaliteit previews van effecten is tot daar aan toe. En voor de grootste cpu-rampen zijn ze inmiddels meer en meer gpu acceleratie aan het gebruiken.

Wat ik begreep van een collega die wel al op CS6 is overgestapt (heb er daar ook mee gewerkt) is een HD4650 daar zo nu en dan sneller in de taken dan de 3750K die ik daar in het systeempje heb gepropt.

In realistische settings misschien wel, maar je kunt natuurlijk de history states op 1 zetten en dat scheelt al erg veel. Ook is er tegenwoordig al snel 8GB geheugen aanwezig, aangezien dat 40 euro kost en zelfs laptops worden veelal met 8GB uitgerust.

Ik denk dat de beste test voor CPU only niet veel anders zou moeten voorstellen dan een scriptje draaien waarbij veel layers worden gedupliceerd met gedeeltelijke slecties, geautomatiseerde masks op basis van treshold berekeningen en daar een series clippingmasks overheen. Laat het eindresultaat dan b.v. een Jpeg zijn van een RAW waar eerst drie verschillende rendities van gemaakt worden. Dat is waarschijnlijk nog wel binnen de 2GB te houden als je steeds de RAW weer sluit nadat de layer is toegevoegd. De filters moeten natuurlijk alleen de CPU-filters zijn, hoewel ik dacht dat als je het vanuit Bridge automatiseert, de GPU niet gebruikt wordt.

Ok, ik zal hier eens naar gaan kijken. Wilde gewoon acties opnemen in photoshop en die dan af gaan spelen.

Of er kan natuurlijk met 3D wat gedaan worden, zodat de CPU erin stikt. Maar of dat nou een alledaagse test is. En als je dan toch wilt testen hoe Raytracing presteert kan je net zo goed cinebench draaien lijkt mij zo. Of een ander dedicated 3D modelling pakket.

Raytracing is een ander verhaal. Daar kunnen we zoals iemand al zei beter PoVray of iets dergelijks voor gebruiken. Alhoewel Cinebench volgens mij al hetzelfde meet.

En dan nog ben ik van mening dat voor de fotograaf een HDR maken van D800 RAWs en die vervolgens (nogmaals) door LR halen interessanter is, het moeten wachten op sliders voor aanpassingen is namelijk erger en vaker voorkomend.

We testen ook al met lightroom, maar dan het exporteren van raw's waar we bepaalde filters / kleurcorrecties op toepassen. Het is denk ik geen doen om te meten hoe lang je moet wachter op de sliders?

[mvh]

Marc Rademaker schreef op dinsdag 17 juli 2012 @ 10:23:
[...]

Jazeker, er zijn handelingen die geen gebruik maken van de gpu. Maar ik ben misschien ook te vaag geweest. Afhankelijk van wat fotosoepers veel gebruiken, kan het ook een 'systeem'-test worden, waarbij de snelheid zowel van cpu als gpu afhankelijk is.
(...)

Wil je een benchmark die voor je test hoe snel de CPU is, of specifiek een benchmark die vertelt hoe goed een PC is voor fotografie? In dat geval kan het inderdaad ook de GPU meenemen. Of je schrijft een actie voor het systeem en een actie die alleen CPU-taken uitvoert.

Ik heb net CS6 besteld, dus ik hoop binnenkort een idee te hebben waarin het beter is dan CS4

[Marc Rademaker]

deblaauwn schreef op dinsdag 17 juli 2012 @ 15:28:
[...]

Wil je een benchmark die voor je test hoe snel de CPU is, of specifiek een benchmark die vertelt hoe goed een PC is voor fotografie? In dat geval kan het inderdaad ook de GPU meenemen. Of je schrijft een actie voor het systeem en een actie die alleen CPU-taken uitvoert.

Ik heb net CS6 besteld, dus ik hoop binnenkort een idee te hebben waarin het beter is dan CS4

Ja dat wordt dus even puzzelen. Gpu's beginnen echter steeds meer een belangrijk onderdeel te worden. Zelfs de igp's van Intel leveren tegenwoordig redelijke prestaties en ondersteunen openCL, dus Photoshop maakt er ook gebruik van voor onderstaande functies.

Zie: http://forums.adobe.com/thread/979969

GPU features added in Photoshop CS6

Adaptive Wide Angle Filter (compatible video card required)
Liquify (accelerated by compatible video card with 512MB VRAM, GPU mode unavailable on Windows XP)
Oil Paint (compatible video card required)
Warp and Puppet Warp (accelerated by compatible video card, GPU mode unavailable on Windows XP)
Field Blur, Iris Blur, and Tilt/Shift (accelerated by compatible video
card supporting OpenCL, GPU mode unavailable on Windows XP)
Lighting Effects Gallery (compatible video card required with 512MB
VRAM, unavailable on Windows XP)
New 3D enhancements (3D features in Photoshop require a compatible video card with 512MB VRAM, unavailable on Windows XP):
Draggable Shadows
Ground plane reflections
Roughness
On-canvas UI controls
Ground plane
Liqht widgets on edge of canvas
IBL (image based light) controller

[ Voor 8% gewijzigd door Marc Rademaker op 18-07-2012 10:45 ]

[djunicron]

Marc Rademaker schreef op woensdag 18 juli 2012 @ 10:43:
[...]
Zie: http://forums.adobe.com/thread/979969

GPU features added in Photoshop CS6

Liquify (accelerated by compatible video card with 512MB VRAM, GPU mode unavailable on Windows XP)
Warp and Puppet Warp (accelerated by compatible video card, GPU mode unavailable on Windows XP)
Field Blur, Iris Blur, and Tilt/Shift (accelerated by compatible video
card supporting OpenCL, GPU mode unavailable on Windows XP)
Lighting Effects Gallery (compatible video card required with 512MB
VRAM, unavailable on Windows XP)
Draggable Shadows
Ground plane reflections

Aha, dat zijn toch nog niet zo heel veel functies. Maar degen die ik heb gequote waren in mijn ervaring toch altijd wel cpu intensief. Ik had alleen gehoop dat ze content aware-filling ook GPU (ram) hadden versneld. Vooral Warp en liquify had ik al door daar zijn oude passieve budget kaartjes die geliefd zijn bij fotografen / videomakers dus erg goed in. Het moment dat de snelste consumenten i5 het verliest van een 4 jaar oude mediacenter GPU kan je toch wel stellen dat voor systeemprestaties in de fotografie de GPU ook wel meegenomen mag worden in de benchmark. Nu is het dus ook zo dat ik verwacht dat er niet heel gek veel verschil zal zitten in de snelheid die je terugkrijgt in PS, het verschil tussen een 1GB GTS550 en een 3GB GTX690 zal er denk ik amper zijn, maar wie weet.

==

Dan weer wat meer meedenkend over wat er naar mijn idee minimaal in de test moet zitten:
- Werken met een gemiddelde Raw-file, export naar PSD + JPEG quality 12. Raw files zijn toch tegenwoordig minimaal 20MB, maar om een high end systeem te belasten moet je toch al naar hoger denk ik.
- Selectieve layer duplicatie + clippingmasks effecten, maakt niet zoveel uit welke filters er worden toegepast en in welke combinatie. Gooi er een paar layer blending modes in en gebruik curves, hue, levels en exposure.
- Render-lightning effects, warp, clone tool, healing, dodge/burn, ruler -> rotate arbitrary en canvas size + content-aware fill zijn toch wel veel gebruikte tools voor fotografen heb ik het idee.

Zorg dat deze erin zitten en je weet al snel dat wel eventjes gaat duren. Maar 60 seconden op een i7?

Ik denk dat je uiteindelijk gewoon een "echte" ver gaande bewerking wilt van een goede file. Bijvoorbeeld een 6 platen, 3 exposures landschap plaat met kleur en perspectief aanpassingen, bijsnijden en contentaware filling, vervolgens wat belichtingsaanpassingen met meerdere layers en wat kleur gradients / clipping masks.
Het moment dat je een panorama HDR maakt ben je al snel meerdere seconden onderweg...

In portraatuur of stillevens heb je vaak toch net even wat andere tools nodig, waaronder dus warps en meer hands-on tools zoals dodge / burn etc. Meerdere vrijwel onzichtbare layers met kleine verfijningen. Dat hakt er geautomatiseerd dus ook wel in, hoewel hiervan toch een behoorlijk deel inmiddels op de GPU gaat...

Al met al denk ik dat met een goede grote wide angle en een mooie scherpte telefoto alle veel gebruikte tools wel aan de orde komen. Als het één test moet zijn, zou je hoe belachelijk het resultaat wellicht ook wordt, misschien wel een portret ín een compleet nabewerkte landschapsfoto kunnen zetten en die vervolgens kunnen blurren. Op die manier kan je rustig 50-150 actions in één test verantwoorden.

[TERW_DAN]

Voor photoshop heb ik een keer de benchmark van hardwareheaven gepakt
http://www.hardwareheaven.com/photoshop.php/

Ik ben toen aan het testen gegaan voor geheugen, en daarvoor wel een wat leuker plaatje gepakt om het goed te testen (NASA heeft een paar hele leuke plaatjes van 500MB+ staan, die zich hier prima voor lenen). Het kost je wel wat meer tijd van die paar minuten die standaard zijn in dat geval, maar ik wilde de X79 met 32GB ram op z'n knieen krijgen. Uiteindelijk nooit wat gedaan met deze resultaten, omdat ze geen klap verschil maakten met geheugen, en dat was net wat ik wilde testen toen.

Je kunt GPU acceleratie ook uit zetten, dan mag de CPU alles doen, en dan merk je ineens leuke verschillen met verschillende CPU's.

[Marc Rademaker]

djunicron schreef op woensdag 18 juli 2012 @ 11:19:
[...]


Aha, dat zijn toch nog niet zo heel veel functies. Maar degen die ik heb gequote waren in mijn ervaring toch altijd wel cpu intensief. Ik had alleen gehoop dat ze content aware-filling ook GPU (ram) hadden versneld. Vooral Warp en liquify had ik al door daar zijn oude passieve budget kaartjes die geliefd zijn bij fotografen / videomakers dus erg goed in. Het moment dat de snelste consumenten i5 het verliest van een 4 jaar oude mediacenter GPU kan je toch wel stellen dat voor systeemprestaties in de fotografie de GPU ook wel meegenomen mag worden in de benchmark. Nu is het dus ook zo dat ik verwacht dat er niet heel gek veel verschil zal zitten in de snelheid die je terugkrijgt in PS, het verschil tussen een 1GB GTS550 en een 3GB GTX690 zal er denk ik amper zijn, maar wie weet.

==

Dan weer wat meer meedenkend over wat er naar mijn idee minimaal in de test moet zitten:
- Werken met een gemiddelde Raw-file, export naar PSD + JPEG quality 12. Raw files zijn toch tegenwoordig minimaal 20MB, maar om een high end systeem te belasten moet je toch al naar hoger denk ik.
- Selectieve layer duplicatie + clippingmasks effecten, maakt niet zoveel uit welke filters er worden toegepast en in welke combinatie. Gooi er een paar layer blending modes in en gebruik curves, hue, levels en exposure.
- Render-lightning effects, warp, clone tool, healing, dodge/burn, ruler -> rotate arbitrary en canvas size + content-aware fill zijn toch wel veel gebruikte tools voor fotografen heb ik het idee.

Goed, nu in mijn taal, dummie-taal. Er moet een raw file geopend worden, die we exporteren naar psd en jpeg? Die gaan we dan bewerken? Kunnen we een raw niet meteen bewerken? Exporteren is sowieso i/o-afhankelijk lijkt me. Mijn opzet zou zijn: bestand openen, dan het script draaien dat we timeren.

Wat is selectieve layer duplicatie en clippingmasks? Layer Blending modes? curves / hue / levels / exposure vind ik nog wel. Misschien moet ik een plaatselijke PS-guru even laten meekijken

Zorg dat deze erin zitten en je weet al snel dat wel eventjes gaat duren. Maar 60 seconden op een i7?

Als ik een filter, zoals een radial blur eroverheen gooi, met amount op 50, zit je al snel op 20-30s. Tel daar de rest bij op?

Ik denk dat je uiteindelijk gewoon een "echte" ver gaande bewerking wilt van een goede file. Bijvoorbeeld een 6 platen, 3 exposures landschap plaat met kleur en perspectief aanpassingen, bijsnijden en contentaware filling, vervolgens wat belichtingsaanpassingen met meerdere layers en wat kleur gradients / clipping masks.
Het moment dat je een panorama HDR maakt ben je al snel meerdere seconden onderweg...

Juist, geen idee dus hoe dat moet, nogmaals naar de plaatselijke PS-guru

In portraatuur of stillevens heb je vaak toch net even wat andere tools nodig, waaronder dus warps en meer hands-on tools zoals dodge / burn etc. Meerdere vrijwel onzichtbare layers met kleine verfijningen. Dat hakt er geautomatiseerd dus ook wel in, hoewel hiervan toch een behoorlijk deel inmiddels op de GPU gaat...

GPU lijkt me niet zo'n probleem, die haal ik of eruit, of ik maak twee scripts. Lijkt mij wel van toegevoegde waarde.

Al met al denk ik dat met een goede grote wide angle en een mooie scherpte telefoto alle veel gebruikte tools wel aan de orde komen. Als het één test moet zijn, zou je hoe belachelijk het resultaat wellicht ook wordt, misschien wel een portret ín een compleet nabewerkte landschapsfoto kunnen zetten en die vervolgens kunnen blurren. Op die manier kan je rustig 50-150 actions in één test verantwoorden.

Ik denk dat de test niet eens 100% realistisch hoeft te zijn voor het nabewerken van een foto, maar wel in zoverre realistisch dat het bewerkingen zijn die wel in het dagelijkse leven gebruikt worden.

TERW_DAN schreef op woensdag 18 juli 2012 @ 11:33:
Voor photoshop heb ik een keer de benchmark van hardwareheaven gepakt
http://www.hardwareheaven.com/photoshop.php/

Ik ben toen aan het testen gegaan voor geheugen, en daarvoor wel een wat leuker plaatje gepakt om het goed te testen (NASA heeft een paar hele leuke plaatjes van 500MB+ staan, die zich hier prima voor lenen). Het kost je wel wat meer tijd van die paar minuten die standaard zijn in dat geval, maar ik wilde de X79 met 32GB ram op z'n knieen krijgen. Uiteindelijk nooit wat gedaan met deze resultaten, omdat ze geen klap verschil maakten met geheugen, en dat was net wat ik wilde testen toen.

Je kunt GPU acceleratie ook uit zetten, dan mag de CPU alles doen, en dan merk je ineens leuke verschillen met verschillende CPU's.

Ik ga hier ook eens naar kijken, thanks Net even gekeken, maar die laat dus gewoon een hoop 'zware' filters los op een foto. Zie geen gebruik van layers, kleurcorrecties etc.

[ Voor 11% gewijzigd door Marc Rademaker op 18-07-2012 13:23 ]

[TERW_DAN]

Echt ideaal is dat ding nog niet. Een van de redenen dat ik ook gewoon zelf zo'n bench ga bouwen als ik weer spul ga benchen. Want er is veel meer dan filters te doen in photoshop. Maar dit was in elk geval iets