Bouw een extra brein voor je bedrijf

Wij zijn een bedrijf dat bouwt op knowhow. Computers zijn ingewikkelde beestjes onderhevig aan snel veranderende omstandigheden en wetmaatigheden. Welke hardware past bij elkaar? Hoe past de hardware bij de software. Welke software heeft welke hardware minimaal nodig en waneer heb je een ideaale configuratie.
Voor een bedrijf als het onze wil je dus een archief om op dat knowhow terug te kunnen vallen ook voor configuraties van tien jaar geleden. Wil zeggen in nerd taal een Knowledgebase.
Die bestaan al jaren maar hebben nu een enorme boost gekregen door AI.
Dat is totdat je probeert om er een voor jouw bedrijf te vinden en te implementeren. En daar zijn we nu al een tijd mee bezig.
Er zijn er tig in de vije verkoop, als SaaS oplossing. Nadeel hiervan is dat jou data daan Joost-mag-het-weten-waar rondslingert. Nou zijn er veel mensen die dat niet interesseert, wij horen daar niet bij.
Dus de RAG die wij gebruiken draait lokaal en zeker niet op een van de Americaanse cloud aanbieders.

Wij hebben een hoop software pakketten getest en geen een heeft het tot de eindstreep gehaald. Wat wel een goede oplossing was: n8n met tal van scripts en plugins in combinatie met Supabase DB. Dit werkte goed maar was complex in de opbouw. Hier is het ding met complex in IT: het faalt, vroeger of later, meestal vroeger.

Uiteindelijk werdt het: Obsidian met Ai plugin, PDF extractor plugin en gekoppelt aan LM Studio (lokale AI).
Obsidian is een Notes applicatie die met plugins aangepasst kan worden met functionaliteit na behoefte, indien verstande dat een overmaat aan plugins conflicten kan creeren. Er zijn een aantal AI plugins die in Obsidian gebruikt kunnen worden en idem bestaan er MCP Servers waarmee je bijvoorbeeld Claude Desktop kan verbinden en toegang geven tot je data.
De PDF Extractor doet exact dat: van een pdf textformaat maken. Veel AI's beweren pdf te kunnen lezen alleen blijkt dit best foutgevoelig te zijn. IT is niet een vak waar foutjes welkom zijn, dus een makkelijker leesbaar formaat, gewone text, heeft duidelijk de voorkeur.
Mocht je juist enorm lange pdf's (500 pagina en dergelijken) dan zou een abonement bij Mistral AI een uitkomst kunnen zijn. Mistral heeft een uitstekende OCR AI die zeer prijsgunstig is

En dan heb je zeker een beest van een computer nodig?

Dat valt gelukkig wel mee. Wij testen meerdere configuraties:
Best werkend: AMD 9950X, 128Gb RAM, PCI5 SSD 1TB en RTX 5080 voor de GPU computing (de RTX 5090 zo hier ideaal zijn maar is best prijzig) en als OS: CachyOS Linux. Linux is geen vereiste maar is sneller, beter en stabieler.
De minmale configuratie bleek: i7 265K, 32GB RAM, PCI4 SSD en RTX 5060 16GB voor de GPU compute.

Waar heeft de hardware invloed op: te kleine VGA kaart en te weinig RAM beteken alleen kleine LLM's. Hiervan zijn de prestaties dan wel iets minder. Je hebt zowel een LLM als een embedding model nodig, deze zijn over het algemeen vrij klein en zorgen voor vector representaties van data of beelden waardoor het model semantische relaties en overeenkomsten tussen verschillende objecten kan vastleggen.

Voor de AI modellen: wij gebruiken OpenRouter. Dit platform is een pay-as-you-go AI platform dat in reaal gebruik gunstiger is dan abonementen bij  OpenAI, Anthropic enzoverder. Via hun API key kun je tig AI modellen gebruiken, ook die van OpenAI, Claude en anderen.

Dus, uiteindelijk draait alles lokaal en gaat er geen data na plekken waar die niet hoort. Best coole setup.