Blog
Lokale AI
Wat ik bouw, wat ik thuis draai en wat ik onderweg leerde.
-
Een Home Assistant-dashboard dat zijn eigen welkomsttekst schrijft
Negen dashboardtabbladen werden één pagina met een springmenu, badges die alleen verschijnen als er iets aandacht nodig heeft, en een korte welkomsttekst geschreven door een taalmodel op mijn eigen hardware.…
-
Een 35B mixture-of-experts op dezelfde Arc Pro B70
De regel waarmee ik het eerste artikel afsloot, bleek over vLLM te gaan en niet over de kaart. Door de runtime te wisselen draaide een veel groter model sneller.
-
Hermes opzetten op je eigen hardware
Van GPU naar werkende agent: drie services, een proxy en een handvol integraties.
-
Waarom een agent een werkwijze nodig heeft
Hoe 900 woorden systeemprompt meer deden dan een model dat twee keer zo groot is.
-
Een Intel Arc Pro B70 als lokale LLM-server
Waarom ik voor Intel koos in plaats van NVIDIA, wat het me aan avonden kostte, en waarom ik het zo weer zou doen.