Microsoft brengt twee nieuwe versies van taalmodel Phi-4…

[BramVroy]

Artikel: nieuws: Microsoft brengt twee nieuwe versies van taalmodel Phi-4 uit
Auteur: @EvelineM

De uitleg over taalmodellen klopt hier niet.

Deze versie bevat een decoder-only transformer, die anders werkt dan veel andere taalmodellen. Normaal gesproken wordt de tekst voor en na een woord geanalyseerd om de betekenis ervan te begrijpen. Maar de Phi-4mini analyseert alleen de tekst die voorafgaat aan een woord om de betekenis te bepalen. Daardoor is minder krachtige hardware nodig en is de verwerkingssnelheid hoger, stelt Microsoft.

Het onderscheid tussen encoder en decoder modellen is inderdaad hoe informatie verwerkt/gegenereerd wordt. Alle bekende huidige generatieve modellen doen dat autoregressief, dat wil zeggen van links naar rechts, waar elk nieuw token dus enkel de linker context kan meenemen. Encoder-modellen (zoals BERT en afgeleiden, meer bedoeld voor klassificatie) nemen wel de hele context mee, maar zijn niet bedoeld voor generatie. (Je hebt ook nog encoder-decoder modellen, maar die laten we buiten beschouwing.)

In generatieve taalmodellen is het de norm dat enkel de linkercontext gebruikt wordt. In encoder-modellen is dat niet zo.

[EvelineM]

Je hebt gelijk, 'taalmodellen' moet 'transformer' zijn - daar is dit fout op gelopen. Ik ga dit even aanpassen. Dank voor je melding!

[BramVroy]

EvelineM schreef op donderdag 27 februari 2025 @ 10:35:
Je hebt gelijk, 'taalmodellen' moet 'transformer' zijn - daar is dit fout op gelopen. Ik ga dit even aanpassen. Dank voor je melding!

Dat lost het probleem niet op, denk ik. Heel dat stuk is niet relevant: het doet uitschijnen dat Phi 4 mini een andere architectuur heeft dan andere gangbare modellen, maar dat klopt niet. Dat zijn allemaal decoder-only modellen. Je kan gerust schrijven dat het een decoder-only transformer is, maar dat zijn alle gangbare modellen ook. Er moet geen contrast gemaakt worden. Dus beter:

Phi-4-mini kan alleen tekst verwerken en is met 3,8 miljard parameters een stuk kleiner. Daardoor is minder krachtige hardware nodig en is de verwerkingssnelheid hoger, stelt Microsoft.

Het middenstuk van de originele alinea klopt niet.

[EvelineM]

Dat realiseerde ik me net inderdaad ook. Het is aangepast.

[BramVroy]

Nog even een typfoutje:

en eheft een hogere verwerkingssnelheid