ollama-fleet-manager
v1.2 Infrastructure & AIIntelligenter KI-Modell-Router & OOM-Schutz für Ollama Intelligent LLM model router & OOM protection for Ollama
Der intelligente Flotten-Manager für verteilte Ollama-Instanzen. Bietet zuverlässigen VRAM-Schutz gegen Speicherüberläufe, automatische Lastverteilung und ausfallsichere API-Weiterleitung. The intelligent fleet coordinator for distributed Ollama deployments. Features proactive VRAM memory protection against kernel crashes, automated load distribution, and resilient API routing.
go install github.com/benzjeremy/ollama-fleet-manager@latest Funktionen & Architektur Features & Architecture
Ausgereifte Ingenieursdisziplin: Zero-Telemetry, echte Sicherheit und native Performance. Engineered for precision: Zero telemetry, real security, and native performance.
Dynamisches VRAM-Routing & OOM-Schutz Dynamic VRAM Routing & OOM Protection
Überwacht den GPU- und Systemarbeitsspeicher in Echtzeit. Verhindert Kernel-OOM-Kills durch automatisches Auslagern inaktiver Modelle. Monitors GPU and system memory allocations in real-time. Prevents system crash kills by gracefully unloading idle model weights.
Multi-Node Lastverteilung über Tailscale Multi-Node Load Balancing via Tailscale
Verteilt Prompt-Anfragen dynamisch auf mehrere Rechenknoten im Mesh-Netzwerk (z. B. Pi 5, Desktop-PC mit dedizierter GPU). Balances inference requests across multiple compute nodes in your mesh network (e.g. Pi 5 edge, workstation with discrete GPU).
Intelligentes Kontext- & Prompt-Caching Intelligent Context & Prompt Caching
Erkennt wiederkehrende Systemprompts und Präfixe zur Minimierung von KV-Cache Neuberechnungen und drastischen Reduzierung der Time-to-First-Token. Identifies recurring system prompts and prefixes to reuse KV caches, dramatically slashing time-to-first-token latencies.
Ausfallresistente Fallback-Kaskaden Resilient Failure Fallback Cascades
Fällt ein primäres Modell oder ein Knoten aus, schaltet der Router nahtlos auf ein passendes Fallback-Modell um. If a primary model or node becomes unavailable, the fleet router seamlessly cascades to a defined fallback model.