Ein Modellanbieter fällt aus, mitten im Spitzengeschäft
- Ausgangslage
Ein Händler beantwortet in der Woche vor Weihnachten tausende Kundenanfragen pro Stunde mit einem KI-Assistenten. Genau dann wird der genutzte Modellanbieter langsam und liefert Fehler. Ohne Gegenmaßnahme stehen Chat und Ticketbearbeitung still.
- So löst es izz.ONE
Der Status Check erkennt steigende Antwortzeiten nach wenigen Sekunden. Das Gateway leitet alle Anfragen auf ein freigegebenes, gleichwertiges Modell um, der IT-Betrieb bekommt eine Meldung in Teams. Ist der Anbieter wieder stabil, wird der Verkehr schrittweise zurückgeführt.
- Ergebnis
Kein Kunde hat den Ausfall bemerkt. Das Team hat ihn aus der Benachrichtigung erfahren, nicht aus Beschwerden.
Für Entwickler: Failover-Regeln
Failover-Ziele werden pro Anwendung festgelegt und respektieren Region und Datenklasse.
failover:
app: service-assistant
primary: anthropic/claude-sonnet@eu
fallback:
- azure-openai/gpt-4.1@swedencentral
- mistral/large@eu
trigger:
p95_latency_ms: 3000
error_rate: 0.05
notify: [teams:it-betrieb]