ollama-agent

Eine erweiterbare Agent-Plattform in Go, die ausschließlich mit Ollama arbeitet und für kleine lokale LLMs optimiert ist. Sie verteilt Anfragen über mehrere Ollama-Server, wählt je nach Aufgabe selbst das passende Modell und bringt eine dunkle Weboberfläche mit.

Features

Betrieb über mehrere Server

Endpoint-Pool: mehrere Ollama-Server parallel nutzen, mit Health-Checks, automatischem Failover und Recovery. Anfragen gehen nur an Server, die das benötigte Modell tatsächlich haben.
Docker: Container-Image, das die Weboberfläche direkt startet; Konfiguration wahlweise komplett über Umgebungsvariablen.

Passendes Modell je Aufgabe

Automatische Modellwahl: Task-Kategorien (chat, code, summarize, …) werden per JSON-Config auf Modell-Präferenzlisten gemappt; ein kleines Router-Modell klassifiziert Aufgaben, wenn keine Kategorie angegeben ist.
Eingebaute Benchmarks: ein standardisierter Test misst pro Modell und Server Fähigkeits-Stufen, reale Kontextgröße, Tempo und Stabilität — der Kontext-Tiefentest prüft zusätzlich, ob ein Modell seinen großen Kontext wirklich versteht.

Robust bei kleinen Modellen

Agent-Loop mit Tool-Calling: gebaut gegen die typischen Schwächen kleiner Modelle — Salvage-Parsing fehlerhaft formatierter Tool-Calls, kurze Prompts, Tool-Subsetting nach Kategorie, Loop-Erkennung, Kontext-Kompaktierung.
Geduldige Zeitlimits: lokale Modelle dürfen für eine Antwort Minuten brauchen, ohne dass etwas abbricht.

Oberfläche

Weboberfläche: mehrere Chat-Sitzungen mit automatischer Benennung, Volltextsuche, Token-Anzeige pro Antwort, Kontext-Meter mit Komprimieren-Funktion, Job-Übersicht, Modell-Matrix mit Benchmark-Start und Einstellungsseite.
Vorlesen & Spracheingabe: optional über Google Cloud — Lautsprecher unter jeder Antwort, Mikrofon am Eingabefeld.
CLI: dieselbe Plattform interaktiv oder skriptbar auf der Kommandozeile.

Erweiterbar

Markdown-Skills: Fähigkeiten als SKILL.md-Ordner, ohne Neukompilieren erweiterbar.
MCP-Client: externe MCP-Server (stdio + HTTP) anbinden, deren Tools stehen dem Agent zur Verfügung.
Web-Recherche: eingebaute Websuche und Seitenanalyse mit Kompressionsschicht, damit auch kleine Modelle mit Webinhalten arbeiten können.
Cron-Scheduler: wiederkehrende Agent-Jobs per Cron-Ausdruck.

Schnelleinstieg

make build
./bin/ollama-agent config init > config.json   # Beispiel-Config erzeugen, dann anpassen
./bin/ollama-agent ui                          # Daemon starten und Weboberfläche öffnen

Ausführlich in der Installation. Wer lieber auf der Kommandozeile arbeitet, findet den Einstieg unter Kommandozeile.

Wo geht es weiter?

Ich möchte …	Seite
die Plattform installieren	Installation
die `config.json` verstehen	Konfiguration
die Oberfläche kennenlernen	Weboberfläche
alle Kommandos nachschlagen	Befehlsreferenz
das richtige Modell auswählen	Modell-Guide
eigene Fähigkeiten ergänzen	Plattform erweitern
am Kern mitarbeiten	Architektur
jeden Endpunkt mit Schema und Beispiel nachschlagen	API-Referenz
wissen, was sich zuletzt geändert hat	Changelog