Modelle testen

./bin/ollama-agent probe            # alle Modelle auf den Endpoints testen
./bin/ollama-agent probe show       # Ergebnis-Matrix anzeigen

Der Probe-Test misst pro Modell auf dieser Installation:

1. Komplexitätsstufen 1–5: einfache Antwort → Anweisung exakt befolgen → logischer Schluss → Tool-Aufruf → Kette aus zwei abhängigen Tool-Aufrufen. Ergebnis: bis zu welcher Stufe das Modell zuverlässig arbeitet.
2. Kontext-Leiter: Needle-in-Haystack-Test mit wachsender Kontextgröße (2k → 32k Tokens, --ctx-max erweiterbar bis 128k). Ergebnis: die größte Kontextgröße, die das Modell auf dieser Hardware tatsächlich bewältigt.
3. Tempo: Token/s bei der Generierung sowie echte Antwortzeiten — KALT (erste Antwort inkl. Modell-Laden), WARM (kurze Frage bei geladenem Modell) und 8K-KTX (Antwortzeit bei 8k Tokens Kontext, die realistische Agent-Last).
4. Stabilität: technische Fehler (Timeouts, 5xx, Verbindungsabbrüche) werden getrennt von inhaltlich falschen Antworten gezählt.

Die Matrix landet in state_dir/model-matrix.json. Der Agent nutzt die gemessenen effektiven Kontextgrößen automatisch für seine History-Kompaktierung. Welche Modelle inhaltlich für Code/Text/etc. eingesetzt werden, bleibt Entscheidung des Users in der models.tasks-Config — die Matrix liefert die objektiven Parameter dazu.

--exclude (Default uncensored,heretic) überspringt automatisch entdeckte Modelle, deren Name eines der Muster enthält — praktisch, um Varianten-Modelle aus den Tests zu halten. Mit explizitem --models greift der Filter nicht.

Kontext-Tiefentest: probe deep

Der normale Probe misst, bis zu welcher Größe ein Modell einen einzelnen Fakt im Kontext findet (Needle-Test). Der Tiefentest misst, wie gut es den großen Kontext wirklich versteht und nutzt — nach dem RULER-Prinzip. Jedes Modell wird auf seinem gemessenen Maximalkontext getestet: Ein kohärentes Dokument (deterministisch generiert, pro Modell anders, nichts memorierbar) füllt ~85% des Fensters, dann folgen Fragen steigender Schwierigkeit:

1. Basis: triviale Mathe-Frage ohne Kontextbezug — bleibt das Modell unter Volllast überhaupt kohärent?
2. Retrieval (×1): einzelne Fakten wörtlich finden, an drei Tiefen (Anfang/Mitte/Ende — deckt „lost in the middle” auf)
3. Multi-Hop (×2): zwei Fakten verknüpfen
4. Aggregation (×3): über das ganze Dokument zählen/vergleichen

Ergebnis ist ein gewichteter Prozent-Score der Kontextnutzung, gespeichert in der Matrix und über probe deep (ohne weitere Argumente zeigt die letzte Auswertung) abrufbar.

ollama-agent probe deep                      # zeigt die letzte Auswertung (startet nichts)
ollama-agent probe deep run --plan           # nur auflisten: Modelle, Kontext, Zeitschätzung
ollama-agent probe deep run --endpoint nvidia   # ausführen
ollama-agent probe deep run --ctx 32768      # Kontext deckeln (schneller)

probe deep ohne run zeigt nur die gespeicherten Ergebnisse — ein Testlauf braucht immer probe deep run. --plan führt nichts aus, sondern zeigt vorab die Modell-Liste mit Zielkontext und Zeitschätzung.

Der Test ist bewusst geduldig ausgelegt (Call-Timeout 10 min, Gesamt-Timeout pro Anfrage 15 min Default): lokale Modelle dürfen für eine Antwort mehrere Minuten brauchen, ohne dass der Agent abbricht.