Het grote AI art show- & kletstopic

[DeNachtwacht]

Ah, in dat geval is daar sowieso winst te behalen.

code:

python -m pip install --upgrade pip
python -m pip install triton-windows
python -m pip install sageattention
python -m pip install "https://huggingface.co/ussoewwin/Flash-Attention-2_for_Windows/resolve/main/flash_attn-2.8.2+cu129torch2.8.0cxx11abiTRUE-cp312-cp312-win_amd64.whl" "https://huggingface.co/Panchovix/sageattention2.1.1-blackwell2.0-windows-nightly/resolve/main/sageattention-2.1.1-cp312-cp312-win_amd64.whl" --force-reinstall --no-deps

Sage en Flash Attention zijn paketten die het verwerken sneller laten gebeuren, Flash maakt als het ware de snelweg breder, Sage de auto's kleiner (even simpel gezegd). Triton heb je nodig om beide te laden, dus die eerst installeren. Bij Flash moet je de specifieke versie hebben die voor je gpu generatie werkt, ik kan die voor een 30xx serie even niet vinden want dit is dus voor Blackwell (50xx serie).

Modelle als Flux en Z Turbo gebruiken vervolgens automatisch Flash, als je ook Sage wil gebruiken moet je een SageAttention node tussen de model loader en de sampler zetten.

Flash levert je zo'n 2x snelheidswinst op en tot 50% minder geheugengebruik.
Sage is nogmaals 30-40% sneller dan Flash maar heeft wel een theoretisch kwaliteitsverlies v.d. afbeeldingen (>1%)

Disclaimer als je bovenstaand probeert is het risico best aanwezig dat je je comfy breekt dus doe het in een aparte map of wees bereid alles opnieuw in te stellen. Eigen verantwoordelijkheid dus want het is wel echt tweaken, maar ik dacht wellicht hebben sommigen hier er iets aan dus ik deel het even

[Yaksa]

DeNachtwacht schreef op woensdag 7 januari 2026 @ 22:06:
Ah, in dat geval is daar sowieso winst te behalen.

code:

python -m pip install --upgrade pip
python -m pip install triton-windows
python -m pip install sageattention
python -m pip install "https://huggingface.co/ussoewwin/Flash-Attention-2_for_Windows/resolve/main/flash_attn-2.8.2+cu129torch2.8.0cxx11abiTRUE-cp312-cp312-win_amd64.whl" "https://huggingface.co/Panchovix/sageattention2.1.1-blackwell2.0-windows-nightly/resolve/main/sageattention-2.1.1-cp312-cp312-win_amd64.whl" --force-reinstall --no-deps

Sage en Flash Attention zijn paketten die het verwerken sneller laten gebeuren, Flash maakt als het ware de snelweg breder, Sage de auto's kleiner (even simpel gezegd). Triton heb je nodig om beide te laden, dus die eerst installeren. Bij Flash moet je de specifieke versie hebben die voor je gpu generatie werkt, ik kan die voor een 30xx serie even niet vinden want dit is dus voor Blackwell (50xx serie).

Modelle als Flux en Z Turbo gebruiken vervolgens automatisch Flash, als je ook Sage wil gebruiken moet je een SageAttention node tussen de model loader en de sampler zetten.

Flash levert je zo'n 2x snelheidswinst op en tot 50% minder geheugengebruik.
Sage is nogmaals 30-40% sneller dan Flash maar heeft wel een theoretisch kwaliteitsverlies v.d. afbeeldingen (>1%)

Disclaimer als je bovenstaand probeert is het risico best aanwezig dat je je comfy breekt dus doe het in een aparte map of wees bereid alles opnieuw in te stellen. Eigen verantwoordelijkheid dus want het is wel echt tweaken, maar ik dacht wellicht hebben sommigen hier er iets aan dus ik deel het even

Als het goed is dan zou een RTX 3060 ook ondersteund moeten worden, daar zit immers een Ampere architectuur in:
FlashAttention-2 with CUDA currently supports: Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100). Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now. Datatype fp16 and bf16 (bf16 requires Ampere, Ada, or Hopper GPUs)

[DeNachtwacht]

@Yaksa ja zeker wordt die ondersteund, maar wat ik bedoel is dat in de install url die ik hierboven post dus de specifieke versie voor blackwell wordt geïnstalleerd. Flash is wat ingewikkelder installeren omdat je een specifiek bestand moet hebben voor jouw gpu generatie icm de python en pytorch versie die je hebt, tenzij je hem zelf wil/kan compileren maar dan wordt het nog technischer.

[StGermain]

Vraagje, werkt Z-image al met Forge?

[Yaksa]

StGermain schreef op donderdag 8 januari 2026 @ 11:43:
Vraagje, werkt Z-image al met Forge?

Ja, maar je dient wel Forge Neo te installeren: hoe te handelen