:fill(white):strip_exif()/i/2005403762.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005403896.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005403912.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005403802.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005403604.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005393922.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005403698.jpeg?f=thumbmini)
/u/226258/tweakersavatar.png?f=community){kind=avatar}
@meljor @Cidious precies dat inderdaad 
Ik kan zonder problemen een CUDA workload verzinnen waarbij je 100% GPU usage ziet, maar ik weldegelijk een keiharde CPU bottleneck heb en er 0,0001% van de GPU benut wordt. Uit m'n hoofd: 1 FP32 counter en die X keer verhogen op 1 block, 1 thread; dat is dus 1 partitie in 1 SM, met individuele calls voor elke verhoging. Dat gaat geheid 99-100% usage weergeven, wat uiteraard volstrekte onzin is. En de CPU is dan de beperkende factor omdat die de adder + sync aan moet roepen.
Bij Nvidia betekent "usage" eigenlijk "utilization", bij AMD wordt usage anders gemeten (en Intel doet het wéér anders), maar bij geen van allen betekent die term "occupancy" of iets in die trant.
100% occupancy is onmogelijk (op alle moderne GPU's of CPU's), maar vooral voor Nvidia is dit heel lastig, door de manier waarop zij dingen aansturen. Je zult in een kloktik binnen een SM nooit en te nimmer de beide ALU clusters (FP32 + FP32/INT32), de tensor core en de RT core aan kunnen sturen.
En verschillende onderdelen trekken inderdaad verschillende hoeveelheden stroom. RT is daarbij vrij intensief omdat de RT cores zelf heel compacte units zijn, maar ook flink wat druk op de registers en caches zetten en dan ook nog FP32 produceren voor die ALU's.
Nu ik dit allemaal weer uit typ, begin ik me af te vragen of er met Intel's perfmon werk niet wat nuttigere gegevens beschikbaar zijn. Via dingen als NSight krijg je uiteraard de meest gedetailleerde data, maar dat gaat veel te ver. Uit de data achter de grafieken die ze bij bijvoorbeeld GN lieten zien kun je denk ik vrij eenvoudig wat simpelere percentages extrapoleren die dan samen een beter beeld kunnen geven van waar je bottleneck zit. Want zowel CPU als GPU usage in taakbeheer of andere monitor software zijn volstrekt nutteloos voor dat doel.
Hier de video voor als iemand die nog niet gezien had: YouTube: Intel's Major Overhaul for CPU & GPU Benchmarking | "GPU Busy" & Pip...
Ik kan zonder problemen een CUDA workload verzinnen waarbij je 100% GPU usage ziet, maar ik weldegelijk een keiharde CPU bottleneck heb en er 0,0001% van de GPU benut wordt. Uit m'n hoofd: 1 FP32 counter en die X keer verhogen op 1 block, 1 thread; dat is dus 1 partitie in 1 SM, met individuele calls voor elke verhoging. Dat gaat geheid 99-100% usage weergeven, wat uiteraard volstrekte onzin is. En de CPU is dan de beperkende factor omdat die de adder + sync aan moet roepen.
Bij Nvidia betekent "usage" eigenlijk "utilization", bij AMD wordt usage anders gemeten (en Intel doet het wéér anders), maar bij geen van allen betekent die term "occupancy" of iets in die trant.
100% occupancy is onmogelijk (op alle moderne GPU's of CPU's), maar vooral voor Nvidia is dit heel lastig, door de manier waarop zij dingen aansturen. Je zult in een kloktik binnen een SM nooit en te nimmer de beide ALU clusters (FP32 + FP32/INT32), de tensor core en de RT core aan kunnen sturen.
En verschillende onderdelen trekken inderdaad verschillende hoeveelheden stroom. RT is daarbij vrij intensief omdat de RT cores zelf heel compacte units zijn, maar ook flink wat druk op de registers en caches zetten en dan ook nog FP32 produceren voor die ALU's.
Nu ik dit allemaal weer uit typ, begin ik me af te vragen of er met Intel's perfmon werk niet wat nuttigere gegevens beschikbaar zijn. Via dingen als NSight krijg je uiteraard de meest gedetailleerde data, maar dat gaat veel te ver. Uit de data achter de grafieken die ze bij bijvoorbeeld GN lieten zien kun je denk ik vrij eenvoudig wat simpelere percentages extrapoleren die dan samen een beter beeld kunnen geven van waar je bottleneck zit. Want zowel CPU als GPU usage in taakbeheer of andere monitor software zijn volstrekt nutteloos voor dat doel.
Hier de video voor als iemand die nog niet gezien had: YouTube: Intel's Major Overhaul for CPU & GPU Benchmarking | "GPU Busy" & Pip...
/u/330720/crop57ef85670bb82_cropped.png?f=community)
:fill(white):strip_exif()/f/image/TzLWbRyFFmeeZ8s7QhuA3GOT.png?f=user_large)
:strip_icc():strip_exif()/u/1900012/crop65eee6f31bbd4_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/86810/display.jpg?f=community)
:strip_icc():strip_exif()/u/292439/crop5d8c900f7aa4c_cropped.jpeg?f=community)
/u/3842/w55.JPG?f=community)
:strip_exif()/u/91153/crop5f840e5b64bfd_cropped.gif?f=community)
:strip_icc():strip_exif()/u/110875/crop65a3910148c93_cropped.jpg?f=community)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/menNx83FXm83i9Hiwja4bL6X.jpg?f=user_large)
:strip_exif()/u/190390/craft.gif?f=community)
/u/324913/crop56a24cce05cd3_cropped.png?f=community)
/u/227605/crop5e5cd82fb60b9_cropped.png?f=community)
:strip_icc():strip_exif()/u/206489/crop60aa920895686_cropped.jpg?f=community)
/u/75044/crop5fb7030b0d077.png?f=community)
/u/1401/haroid_icon_60x60.png?f=community){kind=icon}
/u/102775/crop5fdca9bae9d3a_cropped.png?f=community)
/u/230710/Overdose_avatar_army.png?f=community){kind=avatar}
:strip_icc():strip_exif()/u/58920/baby_met_hoofdtel_avatar.jpg?f=community){kind=avatar}
:strip_icc():strip_exif()/u/158536/850RGot.jpg?f=community)
?
:strip_exif()/u/337093/crop587271359a8e7.gif?f=community)
:strip_icc():strip_exif()/u/94084/pheaceavatar100k2try.jpg?f=community){kind=avatar}
:strip_icc():strip_exif()/u/18326/crop63a15fadc10ad_cropped.jpg?f=community)
/u/296644/crop5cd93eabcc15d_cropped.png?f=community)
:fill(white):strip_exif()/f/image/FvhZvPVoItGS09iPS0gy6dsM.png?f=user_large)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/BRfchJp2inkdtyie8kRcy1S3.jpg?f=user_large)
:fill(white):strip_exif()/f/image/aYnEOc9vWTETmuPnQnGMS37b.png?f=user_large){kind=small}