Hopp til innholdet
Norsk journal om kunstig intelligens 255 artikler Oslo --:--
TokenPrat
1 min lesetid Av TokenPrat-redaksjonen

Kom i gang med lokale AI-er uten å være ekspert

Har du erfaring med Docker og backend, har du
mesteparten av grunnlaget for å kjøre lokal AI.
Resten er rammeverk og litt konfigurasjon.

Hva du trenger fra før

  • Docker – du kjører modellen i container
  • Kommandolinje – for å starte og teste modeller
  • REST API-er – du snakker med modellen via HTTP
  • GPU eller Apple Silicon – for fornuftig hastighet

De fleste backend-utviklere har dette allerede.

De viktigste verktøyene

Ollama – kommandolinjeverktøy
for å kjøre modeller lokalt. Enklest å komme i gang med.

LM Studio – grafisk
grensesnitt med innebygd modellbibliotek.
Bra for å utforske og teste uten terminal.

Open WebUI –
chat-grensesnitt mot lokale modeller.
Kobles mot Ollama og gir deg et ChatGPT-lignende
brukergrensesnitt lokalt.

En realistisk arbeidsflyt

  1. Installer Ollama eller LM Studio
  2. Last ned en åpen modell – Gemma 4, Llama 3 eller Qwen
  3. Test via API-et eller webgrensesnittet
  4. Integrer i applikasjonene dine via standard HTTP-kall

Det meste lar seg gjøre på en ettermiddag.

Oppsummering

Lokal AI har modnet til et område der erfarne
backend-utviklere kan komme inn raskt.
Hovedjobben er å bli kjent med modellene og
finne hvilke som passer dine bruksområder.

Ressurser

Del

Les videre

Forsiden →
Forelesningssal om natten med en tavle full av krittdiagrammer, en laptop og høye stabler med manuskripter
· Forskning

OpenAI slapp over 700 matematikkbevis på én dag – Lean sjekker rundt 42 prosent av dem

6. oktober la OpenAI ut 722 matematiske manuskripter laget av en intern modell uten navn. Det mest interessante er metoden: en AI som tenker i timevis per problem, og et maskinelt verktøy som skal skille holdbare bevis fra tull.

Studiomikrofon med lysende fargede lydbølger i et mørkt lydstudio
· Modeller

Ming 3.0 TTS: Beste åpne stemmekloner med MIT-lisens – men den snakker ikke norsk

Ant Group har sluppet to talemodeller som kloner stemmer, designer nye fra en beskrivelse og ler, sukker og nøler på kommando. Den minste har bare 0,5 milliarder parametere, og lisensen er så åpen som det går an. Men står norsk på ønskelista, må du vente.

Menneskehånd og robothånd som holder hver sin trekloss med samme grep
· Forskning

FlashDexRetarget: Én policy for tusen håndbevegelser – og 100 ganger mindre GPU-tid

Roboter med fingre trenger enorme mengder treningsdata, og den billigste kilden er opptak av mennesker som håndterer ting. Problemet er å oversette en menneskehånd til en robothånd. Et nytt prosjekt fra KAIST og Holiday Robotics gjør det med én felles modell i stedet for én per bevegelse, og bruker