# Hermes Agent lokal betreiben: KI ohne Cloud mit Ollama oder Unsloth Für die lokale Einrichtung eines Hermes Agenten stehen mit Ollama und Unsloth Studio zwei unterschiedlich ausgerichtete Backends zur Verfügung: Ollama eignet sich besonders für einen schnellen und einfachen Einstieg, während Unsloth Studio mehr Kontrolle über GGUF-Modelle, Quantisierung und Speicherverbrauch bietet. ## Was bedeutet es, einen Hermes Agenten lokal zu betreiben? Beim lokalen Betrieb des [Hermes Agent](https://www.ionos.at/digitalguide/server/knowhow/was-ist-hermes-agent/) laufen Sprachmodell und [Inferenz](https://www.ionos.at/digitalguide/server/knowhow/ai-inference/) **vollständig auf der eigenen Hardware**. Hermes sendet Anfragen nicht an externe [Cloud](https://www.ionos.at/digitalguide/server/knowhow/was-ist-eine-cloud/)-APIs, sondern an ein lokales Backend. Dadurch bleiben Eingaben auf dem Gerät und es entstehen keine nutzungsabhängigen [API](https://www.ionos.at/digitalguide/websites/web-entwicklung/was-ist-eine-api/)-Kosten; Strom- und Hardwarekosten bleiben jedoch bestehen. Hermes Agent ist dabei nicht selbst das [Sprachmodell](https://www.ionos.at/digitalguide/server/knowhow/large-language-model/). Das [Open-Source](https://www.ionos.at/digitalguide/server/knowhow/was-ist-open-source/)-Framework übernimmt unter anderem die Gesprächssteuerung, den Zugriff auf Werkzeuge, das Gedächtnis und die Ausführung mehrstufiger Aufgaben. Ollama oder Unsloth Studio stellen dagegen das eigentliche LLM für Hermes Agent bereit und beantworten die von Hermes gesendeten Anfragen. Für eine wirklich cloud-unabhängige Installation dürfen Sie in Hermes **keinen Cloud-Anbieter wie OpenRouter oder Nous Portal als Modellquelle** einrichten. Auch zusätzliche Funktionen wie Websuche, Cloud-Browser, Bildgenerierung oder Messenger-Anbindungen können externe Dienste kontaktieren. Möchten Sie alle Daten ausschließlich auf Ihrem Computer verarbeiten, sollten Sie Hermes zunächst nur über das lokale Terminal und mit lokal ausführbaren Werkzeugen verwenden. ## Ollama und Unsloth Studio im Vergleich Ollama und Unsloth Studio erfüllen eine ähnliche Grundaufgabe: Beide laden ein Sprachmodell in den Arbeitsspeicher beziehungsweise Grafikspeicher und stellen es anderen Programmen über eine lokale Schnittstelle zur Verfügung. In Hermes werden beide Varianten als „Custom Endpoint“ eingerichtet. Der Unterschied liegt vor allem in der Bedienung und in der Kontrolle über die verwendeten Modelldateien.
Kriterium Ollama Unsloth Studio
API-Schnittstelle OpenAI-kompatibler Endpunkt unter `http://localhost:11434/v1`; für lokale Zugriffe ist normalerweise kein API-Key erforderlich OpenAI-kompatibler Endpunkt, standardmäßig unter `http://localhost:8888/v1`; Zugriff wird über einen lokal erzeugten API-Key abgesichert
Unterstützte Formate Modelle aus der Ollama-Bibliothek sowie eigene GGUF-Dateien, die über ein Modelfile importiert werden GGUF- und Safetensors-Modelle aus Hugging Face oder aus lokalen Dateien
Speicheroptimierung Automatische GPU-Auslagerung und einfache Nutzung quantisierter Modelle; wenige Einstellungen erforderlich Direkte Auswahl unterschiedlicher GGUF-Quantisierungen und umfangreichere Kontrolle über Modell, Kontext und Inferenz
Primäre Zielgruppe Einsteigerinnen und Einsteiger, die möglichst schnell ein lokales Modell starten möchten Fortgeschrittene Nutzerinnen und Nutzer, die eigene, angepasste oder besonders stark quantisierte Modelle einsetzen möchten
Ollama ist für die meisten Einsteigenden die bessere Wahl. Ein Modell kann mit einem einzelnen Terminalbefehl heruntergeladen werden und Hermes erkennt den laufenden Ollama-Endpunkt automatisch. Eigene GGUF-Dateien lassen sich ebenfalls importieren, erfordern aber ein zusätzliches Modelfile. Unsloth Studio eignet sich vorrangig, wenn Sie Modelle selbst auswählen, quantisieren, anpassen oder trainieren möchten. Die Oberfläche kann GGUF- und Safetensors-Modelle lokal ausführen und stellt das geladene Modell anschließend über eine API bereit. Unsloth Studio funktioniert unter Windows, Linux, WSL und macOS; GGUF-Chats können laut Hersteller auch ausschließlich über die [CPU](https://www.ionos.at/digitalguide/server/knowhow/cpu/) ausgeführt werden, allerdings deutlich langsamer als über eine geeignete GPU. ## Hermes Agent und Ollama installieren Für Einsteigerinnen und Einsteiger ist die Installation mit Ollama **der schnellste Weg**, Hermes Agent vollständig lokal zu betreiben. In den folgenden Schritten richten Sie zunächst Hermes und Ollama ein, laden anschließend ein passendes Modell herunter und verbinden beide Anwendungen über den lokalen API-Endpunkt. Hinweis Wenn Ollama bereits installiert ist, können Sie Hermes Agent mit einem einzigen Befehl einrichten: ```bash ollama launch hermes ``` Ollama prüft dabei, ob die Hermes-Kommandozeilenanwendung vorhanden ist, und bietet bei Bedarf deren Installation an. Anschließend wählen Sie ein Modell aus; Ollama richtet den lokalen Endpunkt automatisch als Modellanbieter ein und startet Hermes. Wählen Sie für einen vollständig cloud-unabhängigen Betrieb unbedingt ein lokal verfügbares Modell und kein Modell mit dem Zusatz `:cloud`. ### 1. Hermes Agent installieren Für Windows und macOS ist die native Hermes-Desktop-App der einfachste und von Nous Research empfohlene Installationsweg. Linux-Nutzerinnen und -Nutzer sowie Personen, die Hermes ausschließlich im Terminal verwenden möchten, können weiterhin die Kommandozeilenversion installieren. #### Installation über die Desktop-App unter Windows und macOS Laden Sie den Hermes-Desktop-Installer über die offizielle Website von Nous Research herunter. Dort stehen **Installationspakete** für Windows 10 und 11 sowie für macOS ab Version 12 bereit. Führen Sie die heruntergeladene Datei anschließend aus und folgen Sie den Anweisungen des Installationsprogramms. Beim ersten Start richtet die App nicht nur die grafische Oberfläche, sondern auch die eigentliche Hermes-Umgebung und benötigte Abhängigkeiten ein. Die Desktop-App und die Kommandozeilenversion verwenden dieselben Einstellungen, Sitzungen, Modelle, [Skills](https://www.ionos.at/digitalguide/server/konfiguration/hermes-agent-skills/) und Speicherinhalte. Sie können daher später jederzeit zwischen grafischer Oberfläche und Terminal wechseln. Modelle, Anbieter und Zugangsdaten lassen sich in der App **über die Einstellungen konfigurieren**. Für den vollständig lokalen Betrieb müssen Sie Ollama dennoch separat installieren und anschließend den lokalen Ollama-Endpunkt als Modellanbieter auswählen. #### Installation über das Terminal Unter Linux, macOS oder [WSL](https://www.ionos.at/digitalguide/server/knowhow/windows-subsystem-for-linux-wsl-vorgestellt/) öffnen Sie zunächst ein Terminal und führen den offiziellen Installationsbefehl aus: ```bash curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash ``` Unter Windows öffnen Sie PowerShell und verwenden stattdessen: ```bash iex (irm https://hermes-agent.nousresearch.com/install.ps1) ``` Der Installer richtet die benötigte Python-Umgebung, Node.js und weitere Abhängigkeiten automatisch ein. Unter macOS und Linux sollte Git bereits installiert sein. Unter Linux werden außerdem `curl` und `xz-utils` benötigt. Laden Sie das Terminal nach der Installation neu: ```bash source ~/.bashrc ``` Bei Verwendung der Z-Shell, die beispielsweise auf neueren macOS-Systemen üblich ist, lautet der Befehl: ```bash source ~/.zshrc ``` Prüfen Sie anschließend die Installation: ```bash hermes doctor ``` Der Befehl kontrolliert unter anderem die Installation, die Konfigurationsdateien und den eingerichteten Modellanbieter. Werden Fehler gefunden, zeigt Hermes in der Regel **passende Lösungsvorschläge** an. ### 2. Ollama installieren Laden Sie Ollama über die offizielle Download-Seite des Anbieters herunter und wählen Sie dort die passende Version aus. Unter macOS und Windows installieren Sie anschließend das bereitgestellte Installationspaket; für Linux zeigt die Seite einen Terminalbefehl zur automatischen Installation an. Nach der Installation können Sie im Terminal prüfen, ob der Befehl verfügbar ist: ```bash ollama --version ``` Ollama startet auf Desktop-Systemen automatisch im Hintergrund. Der lokale API-Dienst ist standardmäßig über Port 11434 erreichbar. Für OpenAI-kompatible Programme wie Hermes lautet die vollständige Basisadresse: ```none http://localhost/v1 ``` `localhost` bedeutet, dass Hermes ausschließlich den Dienst auf demselben Computer anspricht. Ollama verlangt für diesen lokalen Zugriff normalerweise keinen API-Key. ### 3. Ein lokales Modell herunterladen Für Hermes empfiehlt sich beispielsweise der Download von Gemma 4 und Qwen 3.6. Gemma 4 benötigt in der empfohlenen lokalen Variante ungefähr 16 GB VRAM. Qwen 3.6 ist leistungsfähiger, benötigt in der Standardvariante aber ungefähr 24 GB VRAM. Gemma 4 laden Sie mit folgendem Befehl herunter: ```bash ollama pull gemma4 ``` Alternativ können Sie Qwen 3.6 herunterladen: ```bash ollama pull qwen3.6 ``` Der Download kann je nach Modell mehrere Gigabyte umfassen. Zeigen Sie anschließend die installierten Modelle an: ```bash ollama list ``` Testen Sie das Modell zunächst direkt in Ollama: ```bash ollama run gemma4 ``` Erhalten Sie eine Antwort, funktioniert die lokale Inferenz. Mit `/bye` beenden Sie den Test. ### 4. Die Kontextlänge für Hermes einstellen Hermes Agent benötigt für den zuverlässigen Werkzeugeinsatz **mindestens 64.000 Kontext-Tokens**. Ollama verwendet abhängig vom vorhandenen VRAM teilweise deutlich kleinere Standardwerte: Unter 24 GB VRAM startet Ollama normalerweise mit 4.096 [Tokens](https://www.ionos.at/digitalguide/websites/web-entwicklung/ai-token/), zwischen 24 und 48 GB mit 32.768 Tokens und erst ab 48 GB mit einem größeren Standardkontext. Beenden Sie Ihren bereits laufenden Ollama-Dienst und starten Sie ihn mit der richtigen Kontextlänge neu: ```bash OLLAMA_CONTEXT_LENGTH=64000 ollama serve ``` Unter Windows PowerShell verwenden Sie: ```bash $env:OLLAMA_CONTEXT_LENGTH="64000" ollama serve ``` Lassen Sie dieses Terminal geöffnet. Es führt nun den lokalen Ollama-Server aus. Alternativ können Sie die Kontextlänge dauerhaft in einem eigenen Ollama-Modell hinterlegen. Erstellen Sie dazu eine Datei mit dem Namen `Modelfile` mit folgendem Inhalt: ```none FROM gemma4 PARAMETER num_ctx 64000 ``` Erzeugen Sie daraus anschließend ein neues Modell: ```bash ollama create gemma4-64k -f Modelfile ``` Hermes kann die Kontextlänge nicht über die OpenAI-kompatible Ollama-API erhöhen. Die Einstellung muss deshalb direkt im Ollama-Server oder im Modelfile vorgenommen werden. ### 5. Ollama mit Hermes verbinden In einem nächsten Schritt müssen Sie Ollama und Hermes miteinander verbinden. Öffnen Sie hierzu ein neues Terminal und starten Sie den Modellassistenten: ```bash hermes model ``` Wählen Sie nacheinander folgende Optionen: - More providers - Custom endpoint - Als API-Basis-URL: `http://localhost:11434/v1` - Das Feld für den API-Key lassen Sie leer. - Wählen Sie außerdem das von Hermes erkannte Modell aus. - Geben Sie als Kontextlänge 64000 ein oder lassen Sie das Feld leer, wenn Hermes den korrekten Wert automatisch erkennt. Hermes fragt den Endpunkt `/v1/models` ab und kann dadurch bereits heruntergeladene Ollama-Modelle erkennen. Die Auswahl wird dauerhaft in der Datei `~/.hermes/config.yaml` gespeichert. Starten Sie danach Hermes: ```bash hermes ``` Geben Sie zunächst eine einfache Anfrage ein. Anschließend können Sie mit einer Aufgabe testen, ob das Modell auch Werkzeuge korrekt aufruft. ## Fortgeschrittenes Setup mit Unsloth Studio Unsloth Studio ist eine lokale Weboberfläche für das Ausführen, Trainieren und Exportieren offener [KI](https://www.ionos.at/digitalguide/online-marketing/verkaufen-im-internet/was-ist-kuenstliche-intelligenz/)-Modelle. Für Hermes ist vor allem der integrierte OpenAI-kompatible API-Endpunkt relevant. Installieren Sie Unsloth Studio mit: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Unter Windows PowerShell verwenden Sie: ```bash irm https://unsloth.ai/install.ps1 | iex ``` Starten Sie die Oberfläche anschließend ausschließlich auf der lokalen Adresse: ```none unsloth studio -H 127.0.0.1 -p 8888 ``` Öffnen Sie danach im Browser: ```none http://localhost ``` Beim ersten Start legen Sie ein Passwort für die lokale Studio-Oberfläche fest. Die Verbindung mit Hermes erfolgt anschließend in folgenden Schritten: 1. **Modell in Unsloth Studio laden:** Öffnen Sie den Chat- beziehungsweise Modellbereich und suchen Sie nach einem geeigneten GGUF-Modell. Sie können Modelle aus Hugging Face herunterladen oder eine bereits vorhandene GGUF-Datei auswählen. Für begrenzten Speicher ist eine 4-Bit-Quantisierung wie Q4\_K\_M ein sinnvoller Ausgangspunkt. Achten Sie darauf, dass das Modell Werkzeugaufrufe unterstützt. Die verfügbare Kontextlänge müssen Sie in Unsloth Studio normalerweise **nicht manuell festlegen**, da die integrierte Smart-Auto-Context-Funktion das Kontextfenster automatisch an den verfügbaren Arbeits- und Grafikspeicher anpasst. 2. **Lokalen API-Key erzeugen:** Öffnen Sie in Unsloth Studio den Bereich „Settings > API“ und erstellen Sie einen neuen Schlüssel. Der Schlüssel beginnt normalerweise mit `sk-unsloth-`. Er dient ausschließlich dazu, den lokalen API-Zugriff abzusichern, und bedeutet nicht, dass Anfragen an eine Cloud gesendet werden. Die OpenAI-kompatible Basisadresse lautet bei der oben verwendeten Konfiguration `http://localhost:8888/v1`. 3. **Hermes konfigurieren:** Öffnen Sie die Datei `~/.hermes/config.yaml` in einem Texteditor und tragen Sie Modellname, Endpunkt und Schlüssel ein: ```none model: default: "EXAKTER-MODELLNAME-AUS-UNSLOTH" provider: custom base_url: "http://localhost/v1" api_key: "sk-unsloth-IHR-LOKALER-SCHLUESSEL" ``` Ersetzen Sie `EXAKTER-MODELLNAME-AUS-UNSLOTH` durch die Modell-ID, die Unsloth Studio in seinem API-Bereich anzeigt. Achten Sie bei YAML-Dateien auf die Einrückung: Unterhalb von `model:` stehen jeweils zwei Leerzeichen. Hermes verwendet `~/.hermes/config.yaml` als zentrale Quelle für Modell, Anbieter und Basis-URL. Da die Datei einen Zugangsschlüssel enthält, sollte sie nur für Ihr Benutzerkonto lesbar sein. Sie können die Rechte mit folgendem Befehl beschränken: ```bash chmod 600 ~/.hermes/config.yaml ``` Prüfen Sie die Einrichtung danach erneut: ```bash hermes doctor ``` Starten Sie anschließend Hermes: ```bash hermes ``` Unsloth Studio muss während der Nutzung geöffnet beziehungsweise als lokaler Server aktiv bleiben. Wird Studio beendet, kann Hermes den API-Endpunkt nicht mehr erreichen. ## Hardware-Anforderungen für lokale Modelle Die benötigte Hardware hängt nicht allein von der Parameterzahl ab. Entscheidend sind außerdem die **Quantisierung, die Kontextlänge, die Modellarchitektur** und die Frage, ob das Modell **vollständig in den Grafikspeicher passt**. Folgende Werte eignen sich als praktische Orientierung für quantisierte GGUF-Modelle:
Modellgröße Praktische Mindestausstattung Einordnung
7B bis 9B, 4-Bit Ca. 16 GB RAM beziehungsweise Unified Memory; mit separater GPU möglichst mindestens 8 bis 12 GB VRAM Für einfache lokale Tests geeignet; ein Kontext von 64.000 Tokens kann den Speicherbedarf deutlich erhöhen
12B bis 14B, 4-Bit Ca. 24 GB RAM beziehungsweise Unified Memory oder 12 bis 16 GB VRAM Bessere Antwortqualität, aber bereits spürbar höhere Anforderungen
27B bis 35B, 4-Bit Mindestens 32 GB RAM beziehungsweise Unified Memory; für flüssige GPU-Inferenz häufig rund 24 GB VRAM Geeignet für aktuelle Modelle wie Qwen 3.6; lange Kontexte benötigen zusätzlichen Speicher
70B, 4-Bit In der Regel mindestens 64 bis 96 GB verfügbarer Speicher Eher für leistungsfähige Workstations oder Systeme mit mehreren GPUs
Hinweis RAM und VRAM sind dabei **nicht dasselbe**. RAM ist der normale Arbeitsspeicher des Computers. VRAM ist der Speicher einer separaten Grafikkarte. Macs mit Apple Silicon verwenden dagegen einen gemeinsamen Speicher, auf den Prozessor und GPU zugreifen. Diese Werte sind **keine festen Grenzen**. Ein 27B-Modell in einer 4-Bit-Quantisierung kann als Datei etwa 17 GB groß sein, benötigt im Betrieb aber zusätzlichen Speicher. Bei Hermes fällt dies ins Gewicht, weil für Agentenaufgaben ein Kontextfenster von mindestens 64.000 Tokens vorgesehen ist. Passt ein Modell nicht vollständig in den [VRAM](https://www.ionos.at/digitalguide/server/knowhow/gpu-vram/), können Ollama und Unsloth Teile in den normalen Arbeitsspeicher auslagern. Das ermöglicht zwar den Betrieb **auf schwächerer Hardware**, reduziert aber häufig die Geschwindigkeit. ## Fehlerbehebung bei der lokalen Installation Viele Probleme entstehen durch einen nicht gestarteten lokalen Server, eine falsche Endpunktadresse oder eine zu kleine Kontextlänge. Mit den folgenden Prüfungen lassen sich die häufigsten Fehler meist schnell beheben. ### Hermes-Befehl wird nicht gefunden Erscheint die Meldung `hermes: command not found`, laden Sie zunächst die Shell-Konfiguration neu: ```bash source ~/.bashrc ``` Unter macOS oder bei Verwendung der Z-Shell nutzen Sie stattdessen: ```bash source ~/.zshrc ``` Prüfen Sie außerdem, ob `~/.local/bin` in der `PATH`-Umgebungsvariable enthalten ist. Führen Sie danach folgenden Diagnosebefehl aus: ```bash hermes doctor ``` Hermes prüft damit die Installation und weist auf mögliche Konfigurationsfehler hin. ### Hermes erreicht Ollama nicht Prüfen Sie zunächst, ob der lokale Ollama-Server erreichbar ist: ```none curl http://localhost/v1/models ``` Erscheint eine Modellliste, funktioniert die Verbindung. Bei einem Verbindungsfehler starten Sie Ollama erneut: ```none OLLAMA_CONTEXT_LENGTH=64000 ollama serve ``` Kontrollieren Sie außerdem die in Hermes eingetragene Adresse. Sie muss vollständig `http://localhost:11434/v1` lauten. Fehlt `/v1`, kann ein HTTP-404-Fehler auftreten. ### Hermes verlangt einen API-Key Für den lokalen Ollama-Endpunkt ist normalerweise kein API-Key erforderlich. Lassen Sie das entsprechende Feld im Einrichtungsassistenten daher leer. ### Kontextlänge und Context Drift bei Ollama korrigieren Probleme können entstehen, wenn Hermes und Ollama unterschiedliche Kontextlängen verwenden. Beispielsweise kann Hermes mit 64.000 Tokens planen, während Ollama das Modell tatsächlich nur mit 4.096 Tokens ausführt. Längere Gespräche oder Werkzeugaufrufe werden dann möglicherweise abgeschnitten oder abgelehnt. Tragen Sie deshalb in `~/.hermes/config.yaml` die gewünschte Kontextlänge ein: ```none model: default: "gemma4" provider: custom base_url: "http://localhost/v1" context_length: 64000 ``` Starten Sie Ollama anschließend mit demselben Wert: ```none OLLAMA_CONTEXT_LENGTH=64000 ollama serve ``` Den tatsächlich geladenen Kontext prüfen Sie mit: ```bash ollama ps ``` In der Spalte `CONTEXT` sollte mindestens 64000 stehen. Die Einstellung in der Hermes-Konfiguration allein vergrößert das Kontextfenster des Modells nicht. Wählen Sie jedoch keinen höheren Wert, als das Modell und Ihre Hardware unterstützen. Andernfalls können Speicherfehler, langsame Antworten oder Verbindungsabbrüche auftreten. ### Werkzeugaufrufe erscheinen nur als Text Hermes benötigt ein Modell, das strukturierte Werkzeugaufrufe unterstützt. Beschreibt das Modell eine Aktion nur im Text, statt das entsprechende Werkzeug auszuführen, ist häufig das Modell oder dessen Chat-Template ungeeignet. Verwenden Sie deshalb möglichst ein Ollama-Modell, das **ausdrücklich Werkzeugaufrufe unterstützt**. Bei selbst importierten GGUF-Dateien müssen außerdem das passende Chat-Template und die Tool-Unterstützung erhalten bleiben. ## Fazit Für die erste vollständig lokale Hermes-Installation ist Ollama der einfachste Weg. Modelle werden über wenige Terminalbefehle geladen, der lokale Endpunkt benötigt keinen API-Key und lässt sich direkt über `hermes model` einrichten. Entscheidend ist, Ollama mit einem Kontextfenster von mindestens 64.000 Tokens zu starten. Unsloth Studio bietet mehr Kontrolle. Die Einrichtung benötigt einige zusätzliche Schritte, stellt Hermes danach aber ebenfalls einen OpenAI-kompatiblen lokalen Endpunkt bereit. In beiden Fällen kann die Modellinferenz ohne externe Cloud-API erfolgen – vorausgesetzt, Sie verwenden ausschließlich lokale Modelle und aktivieren keine cloudbasierten Hermes-Werkzeuge. This is a markdown version of: [https://www.ionos.at/digitalguide/server/konfiguration/hermes-agent-lokal-betreiben/](https://www.ionos.at/digitalguide/server/konfiguration/hermes-agent-lokal-betreiben/) for AI/LLM consumption.