User Tools

Site Tools


homelab:services:localsearchai

localsearchai

  • Wat: Lokale zoekmachine met AI over mijn eigen informatie, te beginnen met Joplin. Stack 58 in Portainer met drie onderdelen: Qdrant (vectordatabase), AnythingLLM (gebruikersinterface om te zoeken) en joplin-indexer (Python-script dat Joplin in Qdrant indexeert).
  • Doel: Op één plek zoeken in informatie die op meerdere plekken staat. De keuze staat in 26.007.

Afwijkende instellingen (met reden)

  • De containers draaien onder root (geen user opgegeven). Reden: onder de gebruiker Dockeruser-apps (3031:100) liep ik tegen problemen aan.
  • joplin-indexer: restart: no, geheugenlimiet 4g. Reden: het script draait alleen als het wordt gestart, en de piek tijdens het indexeren is ca. 2,5 GiB.
  • Alle onderdelen vallen buiten WUD (categorie D).

Werking

joplin-indexer

De container gebruikt het image python:3.11-slim en installeert bij elke start eerst postgresql-client en de Python-packages (psycopg2, qdrant-client, sentence-transformers, torch) voordat het script draait; een run duurt daardoor langer. Hij deelt het netwerk van Joplin-DB (network_mode: container:Joplin-DB) om de database te bereiken.

In /volume2/docker/localsearchai staan:

  • Dockerfile_tbv_JoplinIndexer-PythonInclPIP: een Dockerfile voor een eigen image (docker build -t joplin-indexer:latest -f Dockerfile_tbv_JoplinIndexer-PythonInclPIP .). De stack gebruikt die niet. Docker zoekt standaard naar een bestand Dockerfile zonder extensie; de naam is bewust beschrijvend gemaakt.
  • joplin_indexer.py: verzorgt de indexatie van Joplin naar Qdrant. De image hoeft niet opnieuw gebouwd te worden als het script wijzigt: de container gebruikt altijd het bestand uit de datadir. De vertaling van de databasestructuur van Joplin naar Qdrant was lastig; titel, datum en inhoud van een notitie komen elk in een eigen veld in Qdrant.

Na een update van Joplin de joplin-indexer één keer draaien.

AnythingLLM en Qdrant

AnythingLLM kan maar één database koppelen, dus Qdrant heeft één database waarin alle bronnen komen. De bron is wel te specificeren, zodat die in de zoekresultaten te herkennen is.

Netwerk

  • Segment:

    (adres en VLAN: zie het ip-plan)

  • Docker-netwerk: eigen bridge localsearch voor Qdrant en AnythingLLM.
  • Poorten: AnythingLLM 3001, Qdrant 6333

Resources

Container Gebruik mem_limit cpu_shares
qdrant ca. 40 MiB 2g
anythingllm ca. 273 MiB 2g
joplin-indexer piek ca. 2,5 GiB tijdens het indexeren 4g 256

Gebruik: momentopname docker stats, 2026-10-18. Zie 26.012.

Opslag

  • Qdrant: /volume2/docker/localsearchai/qdrant
  • AnythingLLM: /volume2/docker/localsearchai/anythingllm
  • Scripts: /volume2/docker/localsearchai

Afhankelijkheden

  • Joplin als bron voor de indexering.

Relaties

homelab/services/localsearchai.txt · Last modified: by 127.0.0.1