User Tools

Site Tools


homelab:besluiten:26.007-ai_search_max

26.007 Opzetten AI Search Max

/

Context

  • Ik heb informatie op diverse plekken staan, waardoor ik op al die plekken moet zoeken om iets te vinden.

Opties

  • Gekozen: een stack met Qdrant, Python en AnythingLLM:
    • AnythingLLM (gebruikersinterface om de zoekopdracht te geven): simpel te deployen, selfhosted en klaar voor Qdrant. Het is de balans tussen gemak, selfhosted en functionaliteit op een NAS.
    • Qdrant (database voor de LLM-tools): de makkelijkste, stabiele en resource-vriendelijke keuze voor lokale document-search op een NAS.
    • Python: voor de indexeerscripts die Qdrant vullen.
  • Afgewezen: LlamaIndex of LangChain: krachtiger en flexibeler, maar vragen meer setup, Python-kennis en resources, en draaien minder soepel op een NAS met beperkte CPU en RAM.
  • Afgewezen: Weaviate of Milvus als database: vragen meer resources en setup dan Qdrant. Weaviate-only heeft wel een vectordatabase, maar mist een gebruiksvriendelijke ingest- en zoekinterface.

De keuze is gebaseerd op advies van ChatGPT.

Besluit

  • Een stack met Qdrant, Python en AnythingLLM op de NAS. De werking en de leerpunten staan op de localsearchai-pagina.

Gevolgen

  • Risico's:
    • Ik wilde alle containers aanvankelijk draaien onder de gebruiker Dockeruser-apps (3031:100), maar daarmee liep ik tegen problemen aan. Er is uiteindelijk geen gebruiker opgegeven, dus de containers draaien onder root.
homelab/besluiten/26.007-ai_search_max.txt · Last modified: by 127.0.0.1