AI Oplossing met toegang tot bestanden (lokaal)

[iAR]

De ontwikkelingen in AI gaan zo snel dat ik amper nog weet waar ik moet zoeken. Dus dan maar hier!

Ik ben op zoek naar een (lokaal) draaiende AI oplossing (iMac M4, 24 GB RAM) die de mogelijkheid heeft zich te voeden met bestanden op mijn Mac zodat ik niet zelf in .pdf documenten hoef te zoeken maar dat hij begrijpt dat als ik "Hoe los ik foutcode XX op mijn CV op", dat hij de handleiding van de CV ketel moet zoeken naar die foutcode.

Ik heb AnythingLLM al eens geprobeerd, maar die moet je specifiek een bestand geven, en niet bijvoorbeeld een map die hij indexeert. Maar ik weet ook niet of die optie er überhaupt is.

[dr paaj]

Spotlight...

[Dogooder]

Ik heb het niet zelf geprobeerd, maar ik denk dat deze tool is wat je zoekt: https://github.com/abgulati/LARS

[iAR]

dr paaj schreef op vrijdag 2 mei 2025 @ 11:48:
Spotlight...

Clearly not...

Dogooder schreef op vrijdag 2 mei 2025 @ 11:52:
Ik heb het niet zelf geprobeerd, maar ik denk dat deze tool is wat je zoekt: https://github.com/abgulati/LARS

Ik lees in de tekst wel "uploaded docs", dus ik ben bang dat je ook hier specifiek bestanden moet uploaden...

[LoeiOrdinair]

Ik kan je streamlit (https://streamlit.io) aanraden. Als je een beetje handig bent met Python kan je heel snel wat opzetten. Je kan kiezen wat je eventueel wel/niet lokaal wil draaien (of gewoon alles lokaal).

Zelf test ik dit nu ook op een M3Pro 36GB en loopt helemaal prima.

Toevoeging:
PrivateGPT gaat je hier ook mee kunnen helpen, zie: https://github.com/zylon-ai/private-gpt
Eenvoudig op te zetten en local ollama LLM gebruiken in je config.

[ Voor 23% gewijzigd door LoeiOrdinair op 02-05-2025 14:07 ]

[Dogooder]

iAR schreef op vrijdag 2 mei 2025 @ 12:23:

Ik lees in de tekst wel "uploaded docs", dus ik ben bang dat je ook hier specifiek bestanden moet uploaden...

Ik denk dat dat het minste probleem is. Je zal altijd je bestanden eerst moeten voeren aan de LLM zodat die ze kan vectoriseren (RAG). Of dat nu werkt met handmatig uploaden of dat je een python script je Harddisk laat afzoeken is volgens mij triviaal.

[iAR]

Dogooder schreef op vrijdag 2 mei 2025 @ 12:53:
Ik denk dat dat het minste probleem is. Je zal altijd je bestanden eerst moeten voeren aan de LLM zodat die ze kan vectoriseren (RAG). Of dat nu werkt met handmatig uploaden of dat je een python script je Harddisk laat afzoeken is volgens mij triviaal.

Dat begrijp ik. Maar dan heb ik denk ik te makkelijk gedacht door aan te nemen dan hij mijn map met pdf handleidingen (bijvoorbeeld) blijft scannen en analyseren. Niet erg handig met Python

[symaedr]

Hey @iAR , je kan eens naar Jan.ai gaan kijken, ze hebben nu een beta-functie die iets gelijkaardigs kan doen als waar je achter vraagt.

Afhankelijk over hoe veel data het gaat (te weinig is niet goed) en hoe vaak je het gaat gebruiken: Om echt helemaal te kunnen wat je wilt, zal je waarschijnlijk naar een RAG Wiki linkje moeten bouwen.