Een post over Europese AI (Mistral), dus vind je dat niet interessant can't blame ya, sla het gerust over
Het Franse Mistral heeft weer een aantal modellen uitgebracht:
OCR 4, de opvolger van OCR 3 die ik al eerder
noemde.
Uitstekende performance (volgens de slager):
(Ik zal niet alle plaatjes posten, zie de link.)
Vooral ook met diverse soorten talen.
Leanstral 1.5, de opvolger van Leanstral 1.0 is ook uit. Resultaten van PutnamBench:
Ook maakten ze
FLTEval FOSS, en ook daar zie je dat Mistral innoveert op gebied van ~~~[relatief] zuinige AI:
Robostral Navigate is een model om robots te laten navigeren, met als passende voorbeeld: “Leave the lobby, walk through the corridor, enter the supply room, and stop to face the second shelf.” en dat
zonder LiDAR (met slechts één RGB camera), maar wel
met eenzelfde efficiëntie:
To perform such tasks, other models often employ depth sensors, LiDAR, or several cameras working together. Robostral Navigate uses only one ordinary RGB camera and no depth sensors, yet still achieves 76.6% on R2R-CE (Room-to-Room in Continuous Environments) validation unseen, the benchmark for following instructions in environments held out of training.
Ook hier verslaan ze alle andere modellen:
En tenslotte nog:
https://mistral.ai/news/manage-prompts-and-skills-in-studio/As of today, Studio gives your Prompts and Skills a system of record: a single place where each one is versioned, owned, and traceable.
Dit lijkt mij een prettige feature want ik zie soms door de bomen niet meer wat ik draai en welke iteratie/prompt/versie dat was.
Afgelopen dag heb ik Mistral veel gebruikt. Helaas zonder succes. Maar het 'goede' nieuws is: het Amerikaanse proprietary model van ChatGPT lukte het ook niet mee.
Mijn specifieke use-case was om een user-space NFS server op te zetten (NFS-Ganesha) op een Linux machine met DSM 7.4.2 met ZFS 2.2.5 (hierdoor kun je het storage framework van Synology niet gebruiken als je niet ook een schijf instelt als storage). Deze DSM 7.4.2 draait een oude, zwaar gemodificeerde Linux kernel, 4.4.302. Om Ganesha aan de praat te krijgen gebruikte ik Nixpkgs. Maar Ganesha 13 is waarschijnlijk helemaal nooit getest op deze Linux kernel, met dit OS (DSM 7.4.2). Mistral Vibe / Le Chat kwam ik er niet mee uit. De documentatie die hij gebruikte, leek verouderde syntax te zijn. Ook maakte hij steeds cirkelredeneringen, alsof hij vergeetachtig is. Probeer eens 1A. Uitkomst is 1B (deel ik netjes). Probeer dan eens 2A. Uitkomst is 2B (deel ik netjes). Om vervolgens na 4A en 4B toch maar weer eens bijvoorbeeld 2A te noemen. Nee, pannenkoek dat werkte niet, en dat gaat ook niet werken. Nu heb ik al vele maanden geen ChatGPT meer gebruikt, en had ook mijn account opgezegd, maar ik las dat Mistral nogal achterliep tegenwoordig. Dus die maar proberen Met ChatGPT (zonder account of abonnement) kwam ik er ook niet uit. Hij kon veel meer met de input, en was als een goede leraar die me feedback gaf. Hij ging veel dieper op de materie in, ik heb commando's gebruikt om te debuggen die ik normaal nooit zo gebruik. Zo ken ik strace, maar hij weet ook precies welke flags ik moet geven om de output te krijgen die nuttig is. Ook kwamen de suggesties overeen met de versie die ik gebruikte, alsof de documentatie deze keer wel geparsed kon worden. Enorm veel van op kunnen steken van de gegeven suggesties. En toch, na allerlei dingen te proberen, kwam ik er niet uit. Ook niet met Ext4 i.p.v. ZFS. De conclusie die hij gaf (waarschijnlijk kernel te oud), zou best waar kunnen zijn. In ieder geval werkt de allerlaatste Samba wel prima. Ik weet het, n=1 bij zoiets, maar toch.
Ondanks deze domper en confrontatie met hoe vergevorderd in ieder geval ChatGPT nu is, blijf ik wel enthusiast over Mistral. Zo heb ik gisteren nog even Voxstral gebruikt. De voice cloning blijft
eng.