Løynd, privat KI som blir i Norge

Problemet den svarer på

Det finnes en stor mengde norsk arbeid som åpenbart ville hatt nytte av en språkmodell, og som likevel ikke kan bruke en, fordi teksten det gjelder er et pasientnotat, en klientmappe, en leverandørfaktura eller en kontrakt som ikke har lov til å forlate landet. Det vanlige svaret er en databehandleravtale og et løfte. Svaret til Løynd er at prompten aldri drar noe sted: modellen er vår, maskinvaren er vår, og den står i Norge.

Navnet er nynorsk for skjult, og det er også designkravet. Lagring er ikke en innstilling begravd i et adminpanel som står på i utgangspunktet. Hver API-nøkkel starter med lagringsmodus none, og modusene du kan skru på, krypterer med en nøkkel vi ikke tar vare på. En kryptert historikk er dermed uleselig for oss i kraft av konstruksjonen, ikke i kraft av en policy.

Hvordan topologien håndhever det

Et personvernløfte er ikke verdt mer enn nettverksveien bak det, så nettopp den veien er det mest interessante ved bygget. Nettsiden er statiske filer på Cloudflare, og ikke noe mer. Chat-widgeten i nettleseren poster rett til api.loynd.no, som er en DNS-only-oppføring mot kontorserveren, slik at promptdata går fra nettleseren til Norge uten å innom Cloudflare eller noen annen tredjepart på veien. Tredjepartskall finnes ikke på siden i det hele tatt: ingen CDN-fonter, ingen analyseverktøy, ingen informasjonskapsler.

Databasen på serveren lagrer API-nøkler og aggregerte tokentellinger. Den lagrer ikke innholdet i prompts, og dermed er lagringsløftet en egenskap ved skjemaet i stedet for en slettejobb som må fortsette å kjøre riktig.

Hva du kan bruke

• En gratis Lite-modell, demonstrert rett på forsiden med en strømmende chat-widget og uten innlogging.
• Et OpenAI-kompatibelt API: POST /v1/chat/completions med en bearer-nøkkel, slik at eksisterende klienter og SDK-er peker hit ved å bytte base-URL.
• Sterkere modeller og API-tilgang på forespørsel, og det er med vilje: kapasitet er fysiske maskiner i et rom, ikke en elastisk faktura.
• Valgfri kryptert historikk, der nøkkelen er brukerens og chifferteksten er alt vi sitter på.

Myntos er den første kunden i produksjon: der brukes en liten Løynd-hostet modell til å plukke regnskapskategori ut av en opplastet faktura. Det er akkurat den formen på problemet Løynd finnes for, siden dokumentet er regnskapet til en ekte bedrift og det ikke er aktuelt å sende det til et utenlandsk API.

Stack

• Backend: Python 3.12, FastAPI og Uvicorn, Hugging Face Transformers som serverer en lokal åpen modell, og SQLite fra standardbiblioteket til nøkler og tellere. Kjører på vår egen server i Norge.
• Frontend: Astro, statisk output, uten JavaScript-rammeverk og uten tredjepartskall. Norsk som standard, engelsk på /en/.
• To uavhengige repoer, fordi halvdelene deployes til hver sin maskin: siden til edgen, API-et til serveren som holder modellen.

Utforsk