====== localsearchai ====== * **Wat**: Lokale zoekmachine met AI over mijn eigen informatie, te beginnen met Joplin. Stack 58 in Portainer met drie onderdelen: Qdrant (vectordatabase), AnythingLLM (gebruikersinterface om te zoeken) en ''joplin-indexer'' (Python-script dat Joplin in Qdrant indexeert). * **Doel**: Op één plek zoeken in informatie die op meerdere plekken staat. De keuze staat in [[homelab:besluiten:26.007-ai_search_max|26.007]]. * **GUI**: [[http://192.168.1.10:3001|de webinterface van AnythingLLM]] * **Device**: [[homelab:devices:synology_ds423|Synology DS423+]] * **[[resources:metadata:tags:status|Status]]**: {{tag>concept}} ===== Afwijkende instellingen (met reden) ===== * De containers draaien onder root (geen ''user'' opgegeven). Reden: onder de gebruiker ''Dockeruser-apps'' (3031:100) liep ik tegen problemen aan. * ''joplin-indexer'': ''restart: no'', geheugenlimiet 4g. Reden: het script draait alleen als het wordt gestart, en de piek tijdens het indexeren is ca. 2,5 GiB. * Alle onderdelen vallen buiten [[homelab:services:wud|WUD]] (categorie D). ===== Werking ===== ==== joplin-indexer ==== De container gebruikt het image ''python:3.11-slim'' en installeert bij elke start eerst ''postgresql-client'' en de Python-packages (psycopg2, qdrant-client, sentence-transformers, torch) voordat het script draait; een run duurt daardoor langer. Hij deelt het netwerk van Joplin-DB (''network_mode: container:Joplin-DB'') om de database te bereiken. In ''/volume2/docker/localsearchai'' staan: * ''Dockerfile_tbv_JoplinIndexer-PythonInclPIP'': een Dockerfile voor een eigen image (''docker build -t joplin-indexer:latest -f Dockerfile_tbv_JoplinIndexer-PythonInclPIP .''). De stack gebruikt die niet. Docker zoekt standaard naar een bestand ''Dockerfile'' zonder extensie; de naam is bewust beschrijvend gemaakt. * ''joplin_indexer.py'': verzorgt de indexatie van Joplin naar Qdrant. De image hoeft niet opnieuw gebouwd te worden als het script wijzigt: de container gebruikt altijd het bestand uit de datadir. De vertaling van de databasestructuur van Joplin naar Qdrant was lastig; titel, datum en inhoud van een notitie komen elk in een eigen veld in Qdrant. Na een update van [[homelab:services:joplin|Joplin]] de ''joplin-indexer'' één keer draaien. ==== AnythingLLM en Qdrant ==== AnythingLLM kan maar één database koppelen, dus Qdrant heeft één database waarin alle bronnen komen. De bron is wel te specificeren, zodat die in de zoekresultaten te herkennen is. ===== Netwerk ===== * Segment: {{tag>lan}} (adres en VLAN: zie het [[homelab:standaarden:netwerk:ip-plan|ip-plan]]) * Docker-netwerk: eigen bridge ''localsearch'' voor Qdrant en AnythingLLM. * Poorten: AnythingLLM 3001, Qdrant 6333 ===== Resources ===== ^ Container ^ Gebruik ^ ''mem_limit'' ^ ''cpu_shares'' ^ | qdrant | ca. 40 MiB | 2g | | | anythingllm | ca. 273 MiB | 2g | | | joplin-indexer | piek ca. 2,5 GiB tijdens het indexeren | 4g | 256 | Gebruik: momentopname ''docker stats'', 2026-10-18. Zie [[homelab:besluiten:26.012-limiteren_ram_containers|26.012]]. ===== Opslag ===== * Qdrant: ''/volume2/docker/localsearchai/qdrant'' * AnythingLLM: ''/volume2/docker/localsearchai/anythingllm'' * Scripts: ''/volume2/docker/localsearchai'' ===== Afhankelijkheden ===== * [[homelab:services:joplin|Joplin]] als bron voor de indexering. ===== Relaties ===== * Besluiten: \\ {{backlinks>.#homelab:besluiten}} * Services: \\ {{backlinks>.#homelab:services}} * Thema's: {{tag>container}} /* Beschikbare thematags (kies er 0 of meer, gescheiden met een spatie): backup bandbreedte container, vm dns, firewall, vpn guest, iot, lan, servers multi-user Uitleg en "Bij wijziging": resources:metadata:tags:thema Nieuwe tag? Maak een tagpagina en werk deze lijst bij in de templates voor services, devices en besluiten. */