User Tools

Site Tools


homelab:besluiten:26.007-ai_search_max

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
homelab:besluiten:26.007-ai_search_max [2026/10/20 15:42] – ↷ Page name changed from homelab:besluiten:26.007_ai_search_max to homelab:besluiten:26.007-ai_search_max mielshomelab:besluiten:26.007-ai_search_max [2026/10/20 18:09] (current) – external edit 127.0.0.1
Line 1: Line 1:
-===== 26.007 Opzetten AI Search Max =====+====== 26.007 Opzetten AI Search Max ======
  
-  * **Aangemaakt:** 2026-03-12 +  * **Wat**: Een lokale zoekmachine met AI over mijn eigen informatie (te beginnen met Joplin), gebouwd uit Qdrant, Python-indexeerscripts en AnythingLLM. 
-  * **Context / Aanleiding:** Ik heb op diverse plekken informatie staan, waardoor ik op al die plekken moet zoeken om het te vinden.+  * **Datum**: 2026-03-12 
 +  * **Betreft**: [[homelab:services:localsearchai|localsearchai]], [[homelab:services:joplin|Joplin]], [[homelab:devices:synology_ds423|Synology DS423+]]
   * **[[resources:metadata:tags:status|Status]]**: {{tag>concept}}   * **[[resources:metadata:tags:status|Status]]**: {{tag>concept}}
-    * Opsomming wat te doen voor vaststelling+  * **Thema's**: {{tag>container}} 
 +/* Beschikbare thematags (kies er 0 of meer, gescheiden met een spatie): 
 +backup 
 +bandbreedte 
 +container, vm 
 +dns, firewall, vpn 
 +guest, iot, lan, servers 
 +multi-user 
 +Uitleg en "Bij wijziging": resources:metadata:tags:thema 
 +Nieuwe tag? Maak een tagpagina en werk deze lijst bij in de templates voor services, devices en besluiten. */
  
-===== Relaties ===== +===== Context ===== 
-/* Specificeer hieronder (dmv links) op welke items dit besluit van toepassing is +  * Ik heb informatie op diverse plekken staan, waardoor ik op al die plekken moet zoeken om iets te vinden.
-Opties voor netwerk: firewall, vlan, dns-dhcp +
-Opties voor tags: bandbreedte container vpn multi-user backup vm +
-Gebruik van tags: {{tag>tag1 tag2}} +
-Voeg aanvullingen mogen ook toe aan [[i_template|de template]] +
-*/+
  
-^ [[homelab:services:start|Services]] ^ [[homelab:devices:start|Devices]] ^ [[homelab:standaarden:netwerk:start|Netwerk]]  ^ [[resources:metadata:tags:start|Tags]]  ^ +===== Opties ===== 
-|              |           |          |                                         ^+  * **Gekozen: een stack met Qdrant, Python en AnythingLLM**: 
 +    * **AnythingLLM** (gebruikersinterface om de zoekopdracht te geven): simpel te deployen, selfhosted en klaar voor Qdrant. Het is de balans tussen gemak, selfhosted en functionaliteit op een NAS. 
 +    * **Qdrant** (database voor de LLM-tools): de makkelijkste, stabiele en resource-vriendelijke keuze voor lokale document-search op een NAS. 
 +    * **Python**: voor de indexeerscripts die Qdrant vullen. 
 +  * **Afgewezen: LlamaIndex of LangChain**: krachtiger en flexibeler, maar vragen meer setup, Python-kennis en resources, en draaien minder soepel op een NAS met beperkte CPU en RAM. 
 +  * **Afgewezen: Weaviate of Milvus als database**: vragen meer resources en setup dan Qdrant. Weaviate-only heeft wel een vectordatabase, maar mist een gebruiksvriendelijke ingest- en zoekinterface. 
 + 
 +De keuze is gebaseerd op advies van ChatGPT.
  
 ===== Besluit ===== ===== Besluit =====
- +  * Een stack met Qdrant, Python en AnythingLLM op de NAS. De werking en de leerpunten staan op de [[homelab:services:localsearchai|localsearchai-pagina]].
-  * **Gekozen optie:**  +
-    * Bouwen van een stack met: +
-      * **QDrant**: De database voor LLM-tools +
-      * **Python**: Voor de indexatiescripts die QDrant vullen +
-      * **AnythingLLM**: User interface waarin je de zoekopdracht kan geven  +
- +
-  * **Motivatie** (Keuze gebaseerd op ChatGPT): +
-    * **LLM: AnythingLLM** = simpel te deployen, selfhosted, en integratieklaar met Qdrant. Alternatieven zoals LlamaIndex/LangChain zijn krachtiger en flexibeler, maar vragen meer setup, Python-kennis en resources, en draaien minder soepel op een NAS met beperkte CPU/RAM. Tools zoals Weaviate-only hebben wél vector DB, maar missen een gebruiksvriendelijke ingest- en search frontend. Met andere woorden: AnythingLLM is de balans tussen gemak, selfhosted, en functionaliteit op een NAS. +
-    * **Database: QDrant** = makkelijkste, stabiele en resource-vriendelijke keuze voor lokale LLM document search op een NAS, terwijl alternatieven zoals Weaviate en Milvus meer resources en setup vereisen. +
- +
-===== Leermomenten & notities ===== +
-==== Python / Scripts-container ==== +
-In /volume2/docker/localsearchai heb ik de volgende bestanden gezet: +
-  * Dockerfile_tbv_JoplinIndexer-PythonInclPIP \\ Bij het builden van een image zoekt Docker standaard naar een bestand dat Dockerfile heet (zonder extensie). Maar daarbij zag ik de kans dat ik dat in de toekomst niet meer zou snappen. Dus heb ik de naam aangepast. Builden kan met het volgende commando: ''docker build -t joplin-indexer:latest -f Dockerfile_tbv_JoplinIndexer-PythonInclPIP .'' +
-  * joplin_indexer.py \\  Deze verzorgt de indexatie van Joplin naar QDrant. Het is niet nodig om de build opnieuw uit te voeren als het script wordt gewijzigd. Hij kijkt altijd naar het bestaan van dit bestand in de datadir en gebruikt die. \\ Het was nog een heel gedoe om de vertaling van de Joplin databasestructuur naar QDrant goed te maken (zodanig dat de titel, datum en inhoud van de notitie allemaal netjes in hun eigen velden in QDrant terecht kwamen) +
- +
-==== AnythingLLM / QDrant ==== +
-Ik dacht dat je in Anything meerdere bronnen kon koppelen, maar dat is niet zo. Je kan maar 1 database toevoegen. Dus ook in QDrant kan ik maar 1 database gebruiken waarin ik vervolgens al mijn bronnen kan toevoegen. (Het is wel mogelijk om de source te specificeren, zodat je die kan herkennen in de zoekresultaten). +
  
 ===== Gevolgen ===== ===== Gevolgen =====
- +  * **Risico's**: 
-  * **Technisch:** +    * Ik wilde alle containers aanvankelijk draaien onder de gebruiker ''Dockeruser-apps'' (3031:100), maar daarmee liep ik tegen problemen aan. Er is uiteindelijk geen gebruiker opgegeven, dus de containers draaien onder root.
-    * Impact/overwegingen/eigenschappen mbt (netwerk)configuratie, performance, beheer +
-  * **Operationeel:** +
-    * Aandachtspunten mbt beheer, onderhoud/updates, monitoring, backups +
-  * **Risico’s / aandachtspunten:** +
-    * Ik wilde alle containers aanvankelijk draaien onder user Dockeruser-apps (3031:100), maar daarmee liep ik tegen problemen aan. Uiteindelijk geen user gespecificeerd (dus draait nog onder root) +
-    * Mitigaties +
- +
-===== Evaluatie ===== +
- +
-  * **Ervaring:** +
-    * Wat werkt goed / minder goed +
-  * **Wanneer herbeoordelen:** +
-    * Concrete momenten of drempels +
-  * **Aanleiding voor herziening:** +
-    * Gebeurtenissen die aanleiding kunnen zijn voor herziening van dit besluit+
  
homelab/besluiten/26.007-ai_search_max.1792503778.txt.gz · Last modified: by miels