Hermes Agent lokal betreiben: KI ohne Cloud mit Ollama oder Unsloth

Für die lokale Ein­rich­tung eines Hermes Agenten stehen mit Ollama und Unsloth Studio zwei un­ter­schied­lich aus­ge­rich­te­te Backends zur Verfügung: Ollama eignet sich besonders für einen schnellen und einfachen Einstieg, während Unsloth Studio mehr Kontrolle über GGUF-Modelle, Quan­ti­sie­rung und Spei­cher­ver­brauch bietet.

Was bedeutet es, einen Hermes Agenten lokal zu betreiben?

Beim lokalen Betrieb des Hermes Agent laufen Sprach­mo­dell und Inferenz voll­stän­dig auf der eigenen Hardware. Hermes sendet Anfragen nicht an externe Cloud-APIs, sondern an ein lokales Backend. Dadurch bleiben Eingaben auf dem Gerät und es entstehen keine nut­zungs­ab­hän­gi­gen API-Kosten; Strom- und Hard­ware­kos­ten bleiben jedoch bestehen.

Hermes Agent ist dabei nicht selbst das Sprach­mo­dell. Das Open-Source-Framework übernimmt unter anderem die Ge­sprächs­steue­rung, den Zugriff auf Werkzeuge, das Ge­dächt­nis und die Aus­füh­rung mehr­stu­fi­ger Aufgaben. Ollama oder Unsloth Studio stellen dagegen das ei­gent­li­che LLM für Hermes Agent bereit und be­ant­wor­ten die von Hermes ge­sen­de­ten Anfragen.

Für eine wirklich cloud-un­ab­hän­gi­ge In­stal­la­ti­on dürfen Sie in Hermes keinen Cloud-Anbieter wie Open­Rou­ter oder Nous Portal als Mo­dell­quel­le ein­rich­ten. Auch zu­sätz­li­che Funk­tio­nen wie Websuche, Cloud-Browser, Bild­ge­ne­rie­rung oder Messenger-An­bin­dun­gen können externe Dienste kon­tak­tie­ren. Möchten Sie alle Daten aus­schließ­lich auf Ihrem Computer ver­ar­bei­ten, sollten Sie Hermes zunächst nur über das lokale Terminal und mit lokal aus­führ­ba­ren Werk­zeu­gen verwenden.

Ollama und Unsloth Studio im Vergleich

Ollama und Unsloth Studio erfüllen eine ähnliche Grund­auf­ga­be: Beide laden ein Sprach­mo­dell in den Ar­beits­spei­cher be­zie­hungs­wei­se Gra­fik­spei­cher und stellen es anderen Pro­gram­men über eine lokale Schnitt­stel­le zur Verfügung. In Hermes werden beide Varianten als „Custom Endpoint“ ein­ge­rich­tet. Der Un­ter­schied liegt vor allem in der Bedienung und in der Kontrolle über die ver­wen­de­ten Mo­dell­da­tei­en.

Ollama ist für die meisten Ein­stei­gen­den die bessere Wahl. Ein Modell kann mit einem einzelnen Ter­mi­nal­be­fehl her­un­ter­ge­la­den werden und Hermes erkennt den laufenden Ollama-Endpunkt au­to­ma­tisch. Eigene GGUF-Dateien lassen sich ebenfalls im­por­tie­ren, erfordern aber ein zu­sätz­li­ches Modelfile.

Unsloth Studio eignet sich vorrangig, wenn Sie Modelle selbst auswählen, quan­ti­sie­ren, anpassen oder trai­nie­ren möchten. Die Ober­flä­che kann GGUF- und Safe­ten­sors-Modelle lokal ausführen und stellt das geladene Modell an­schlie­ßend über eine API bereit. Unsloth Studio funk­tio­niert unter Windows, Linux, WSL und macOS; GGUF-Chats können laut Her­stel­ler auch aus­schließ­lich über die CPU aus­ge­führt werden, al­ler­dings deutlich langsamer als über eine geeignete GPU.

Hermes Agent und Ollama in­stal­lie­ren

Für Ein­stei­ge­rin­nen und Ein­stei­ger ist die In­stal­la­ti­on mit Ollama der schnells­te Weg, Hermes Agent voll­stän­dig lokal zu betreiben. In den folgenden Schritten richten Sie zunächst Hermes und Ollama ein, laden an­schlie­ßend ein passendes Modell herunter und verbinden beide An­wen­dun­gen über den lokalen API-Endpunkt.

ollama launch hermes

1. Hermes Agent in­stal­lie­ren

Für Windows und macOS ist die native Hermes-Desktop-App der ein­fachs­te und von Nous Research emp­foh­le­ne In­stal­la­ti­ons­weg. Linux-Nut­ze­rin­nen und -Nutzer sowie Personen, die Hermes aus­schließ­lich im Terminal verwenden möchten, können weiterhin die Kom­man­do­zei­len­ver­si­on in­stal­lie­ren.

In­stal­la­ti­on über die Desktop-App unter Windows und macOS

Laden Sie den Hermes-Desktop-Installer über die of­fi­zi­el­le Website von Nous Research herunter. Dort stehen In­stal­la­ti­ons­pa­ke­te für Windows 10 und 11 sowie für macOS ab Version 12 bereit. Führen Sie die her­un­ter­ge­la­de­ne Datei an­schlie­ßend aus und folgen Sie den An­wei­sun­gen des In­stal­la­ti­ons­pro­gramms.

Beim ersten Start richtet die App nicht nur die grafische Ober­flä­che, sondern auch die ei­gent­li­che Hermes-Umgebung und benötigte Ab­hän­gig­kei­ten ein. Die Desktop-App und die Kom­man­do­zei­len­ver­si­on verwenden dieselben Ein­stel­lun­gen, Sitzungen, Modelle, Skills und Spei­cher­in­hal­te. Sie können daher später jederzeit zwischen gra­fi­scher Ober­flä­che und Terminal wechseln.

Modelle, Anbieter und Zu­gangs­da­ten lassen sich in der App über die Ein­stel­lun­gen kon­fi­gu­rie­ren. Für den voll­stän­dig lokalen Betrieb müssen Sie Ollama dennoch separat in­stal­lie­ren und an­schlie­ßend den lokalen Ollama-Endpunkt als Mo­dell­an­bie­ter auswählen.

In­stal­la­ti­on über das Terminal

Unter Linux, macOS oder WSL öffnen Sie zunächst ein Terminal und führen den of­fi­zi­el­len In­stal­la­ti­ons­be­fehl aus:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Unter Windows öffnen Sie Power­Shell und verwenden statt­des­sen:

iex (irm https://hermes-agent.nousresearch.com/install.ps1)

Der Installer richtet die benötigte Python-Umgebung, Node.js und weitere Ab­hän­gig­kei­ten au­to­ma­tisch ein. Unter macOS und Linux sollte Git bereits in­stal­liert sein. Unter Linux werden außerdem curl und xz-utils benötigt. Laden Sie das Terminal nach der In­stal­la­ti­on neu:

source ~/.bashrc

Bei Ver­wen­dung der Z-Shell, die bei­spiels­wei­se auf neueren macOS-Systemen üblich ist, lautet der Befehl:

source ~/.zshrc

Prüfen Sie an­schlie­ßend die In­stal­la­ti­on:

hermes doctor

Der Befehl kon­trol­liert unter anderem die In­stal­la­ti­on, die Kon­fi­gu­ra­ti­ons­da­tei­en und den ein­ge­rich­te­ten Mo­dell­an­bie­ter. Werden Fehler gefunden, zeigt Hermes in der Regel passende Lö­sungs­vor­schlä­ge an.

2. Ollama in­stal­lie­ren

Laden Sie Ollama über die of­fi­zi­el­le Download-Seite des Anbieters herunter und wählen Sie dort die passende Version aus. Unter macOS und Windows in­stal­lie­ren Sie an­schlie­ßend das be­reit­ge­stell­te In­stal­la­ti­ons­pa­ket; für Linux zeigt die Seite einen Ter­mi­nal­be­fehl zur au­to­ma­ti­schen In­stal­la­ti­on an. Nach der In­stal­la­ti­on können Sie im Terminal prüfen, ob der Befehl verfügbar ist:

ollama --version

Ollama startet auf Desktop-Systemen au­to­ma­tisch im Hin­ter­grund. Der lokale API-Dienst ist stan­dard­mä­ßig über Port 11434 er­reich­bar. Für OpenAI-kom­pa­ti­ble Programme wie Hermes lautet die voll­stän­di­ge Ba­sis­adres­se:

http://localhost/v1

localhost bedeutet, dass Hermes aus­schließ­lich den Dienst auf demselben Computer anspricht. Ollama verlangt für diesen lokalen Zugriff nor­ma­ler­wei­se keinen API-Key.

3. Ein lokales Modell her­un­ter­la­den

Für Hermes empfiehlt sich bei­spiels­wei­se der Download von Gemma 4 und Qwen 3.6. Gemma 4 benötigt in der emp­foh­le­nen lokalen Variante ungefähr 16 GB VRAM. Qwen 3.6 ist leis­tungs­fä­hi­ger, benötigt in der Stan­dard­va­ri­an­te aber ungefähr 24 GB VRAM.

Gemma 4 laden Sie mit folgendem Befehl herunter:

ollama pull gemma4

Al­ter­na­tiv können Sie Qwen 3.6 her­un­ter­la­den:

ollama pull qwen3.6

Der Download kann je nach Modell mehrere Gigabyte umfassen. Zeigen Sie an­schlie­ßend die in­stal­lier­ten Modelle an:

ollama list

Testen Sie das Modell zunächst direkt in Ollama:

ollama run gemma4

Erhalten Sie eine Antwort, funk­tio­niert die lokale Inferenz. Mit /bye beenden Sie den Test.

4. Die Kon­text­län­ge für Hermes ein­stel­len

Hermes Agent benötigt für den zu­ver­läs­si­gen Werk­zeug­ein­satz min­des­tens 64.000 Kontext-Tokens. Ollama verwendet abhängig vom vor­han­de­nen VRAM teilweise deutlich kleinere Stan­dard­wer­te: Unter 24 GB VRAM startet Ollama nor­ma­ler­wei­se mit 4.096 Tokens, zwischen 24 und 48 GB mit 32.768 Tokens und erst ab 48 GB mit einem größeren Stan­dard­kon­text. Beenden Sie Ihren bereits laufenden Ollama-Dienst und starten Sie ihn mit der richtigen Kon­text­län­ge neu:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Unter Windows Power­Shell verwenden Sie:

$env:OLLAMA_CONTEXT_LENGTH="64000"
ollama serve

Lassen Sie dieses Terminal geöffnet. Es führt nun den lokalen Ollama-Server aus.

Al­ter­na­tiv können Sie die Kon­text­län­ge dauerhaft in einem eigenen Ollama-Modell hin­ter­le­gen. Erstellen Sie dazu eine Datei mit dem Namen Modelfile mit folgendem Inhalt:

FROM gemma4
PARAMETER num_ctx 64000

Erzeugen Sie daraus an­schlie­ßend ein neues Modell:

ollama create gemma4-64k -f Modelfile

Hermes kann die Kon­text­län­ge nicht über die OpenAI-kom­pa­ti­ble Ollama-API erhöhen. Die Ein­stel­lung muss deshalb direkt im Ollama-Server oder im Modelfile vor­ge­nom­men werden.

5. Ollama mit Hermes verbinden

In einem nächsten Schritt müssen Sie Ollama und Hermes mit­ein­an­der verbinden. Öffnen Sie hierzu ein neues Terminal und starten Sie den Mo­del­las­sis­ten­ten:

hermes model

Wählen Sie nach­ein­an­der folgende Optionen:

• More providers
• Custom endpoint
• Als API-Basis-URL: http://localhost:11434/v1
• Das Feld für den API-Key lassen Sie leer.
• Wählen Sie außerdem das von Hermes erkannte Modell aus.
• Geben Sie als Kon­text­län­ge 64000 ein oder lassen Sie das Feld leer, wenn Hermes den korrekten Wert au­to­ma­tisch erkennt.

Hermes fragt den Endpunkt /v1/models ab und kann dadurch bereits her­un­ter­ge­la­de­ne Ollama-Modelle erkennen. Die Auswahl wird dauerhaft in der Datei ~/.hermes/config.yaml ge­spei­chert.

Starten Sie danach Hermes:

hermes

Geben Sie zunächst eine einfache Anfrage ein. An­schlie­ßend können Sie mit einer Aufgabe testen, ob das Modell auch Werkzeuge korrekt aufruft.

Fort­ge­schrit­te­nes Setup mit Unsloth Studio

Unsloth Studio ist eine lokale Web­ober­flä­che für das Ausführen, Trai­nie­ren und Ex­por­tie­ren offener KI-Modelle. Für Hermes ist vor allem der in­te­grier­te OpenAI-kom­pa­ti­ble API-Endpunkt relevant.

In­stal­lie­ren Sie Unsloth Studio mit:

curl -fsSL https://unsloth.ai/install.sh | sh

Unter Windows Power­Shell verwenden Sie:

irm https://unsloth.ai/install.ps1 | iex

Starten Sie die Ober­flä­che an­schlie­ßend aus­schließ­lich auf der lokalen Adresse:

unsloth studio -H 127.0.0.1 -p 8888

Öffnen Sie danach im Browser:

http://localhost

Beim ersten Start legen Sie ein Passwort für die lokale Studio-Ober­flä­che fest. Die Ver­bin­dung mit Hermes erfolgt an­schlie­ßend in folgenden Schritten:

1. Modell in Unsloth Studio laden: Öffnen Sie den Chat- be­zie­hungs­wei­se Mo­dell­be­reich und suchen Sie nach einem ge­eig­ne­ten GGUF-Modell. Sie können Modelle aus Hugging Face her­un­ter­la­den oder eine bereits vor­han­de­ne GGUF-Datei auswählen. Für be­grenz­ten Speicher ist eine 4-Bit-Quan­ti­sie­rung wie Q4_K_M ein sinn­vol­ler Aus­gangs­punkt. Achten Sie darauf, dass das Modell Werk­zeug­auf­ru­fe un­ter­stützt. Die ver­füg­ba­re Kon­text­län­ge müssen Sie in Unsloth Studio nor­ma­ler­wei­se nicht manuell festlegen, da die in­te­grier­te Smart-Auto-Context-Funktion das Kon­text­fens­ter au­to­ma­tisch an den ver­füg­ba­ren Arbeits- und Gra­fik­spei­cher anpasst.
2. Lokalen API-Key erzeugen: Öffnen Sie in Unsloth Studio den Bereich „Settings > API“ und erstellen Sie einen neuen Schlüssel. Der Schlüssel beginnt nor­ma­ler­wei­se mit sk-unsloth-. Er dient aus­schließ­lich dazu, den lokalen API-Zugriff ab­zu­si­chern, und bedeutet nicht, dass Anfragen an eine Cloud gesendet werden. Die OpenAI-kom­pa­ti­ble Ba­sis­adres­se lautet bei der oben ver­wen­de­ten Kon­fi­gu­ra­ti­on http://localhost:8888/v1.
3. Hermes kon­fi­gu­rie­ren: Öffnen Sie die Datei ~/.hermes/config.yaml in einem Text­edi­tor und tragen Sie Mo­dell­na­me, Endpunkt und Schlüssel ein:

model:
    default: "EXAKTER-MODELLNAME-AUS-UNSLOTH"
    provider: custom
    base_url: "http://localhost/v1"
    api_key: "sk-unsloth-IHR-LOKALER-SCHLUESSEL"

Ersetzen Sie EXAKTER-MODELLNAME-AUS-UNSLOTH durch die Modell-ID, die Unsloth Studio in seinem API-Bereich anzeigt. Achten Sie bei YAML-Dateien auf die Ein­rü­ckung: Unterhalb von model: stehen jeweils zwei Leer­zei­chen. Hermes verwendet ~/.hermes/config.yaml als zentrale Quelle für Modell, Anbieter und Basis-URL.

Da die Datei einen Zu­gangs­schlüs­sel enthält, sollte sie nur für Ihr Be­nut­zer­kon­to lesbar sein. Sie können die Rechte mit folgendem Befehl be­schrän­ken:

chmod 600 ~/.hermes/config.yaml

Prüfen Sie die Ein­rich­tung danach erneut:

hermes doctor

Starten Sie an­schlie­ßend Hermes:

hermes

Unsloth Studio muss während der Nutzung geöffnet be­zie­hungs­wei­se als lokaler Server aktiv bleiben. Wird Studio beendet, kann Hermes den API-Endpunkt nicht mehr erreichen.

Hardware-An­for­de­run­gen für lokale Modelle

Die benötigte Hardware hängt nicht allein von der Pa­ra­me­ter­zahl ab. Ent­schei­dend sind außerdem die Quan­ti­sie­rung, die Kon­text­län­ge, die Mo­dell­archi­tek­tur und die Frage, ob das Modell voll­stän­dig in den Gra­fik­spei­cher passt.

Folgende Werte eignen sich als prak­ti­sche Ori­en­tie­rung für quan­ti­sier­te GGUF-Modelle:

Diese Werte sind keine festen Grenzen. Ein 27B-Modell in einer 4-Bit-Quan­ti­sie­rung kann als Datei etwa 17 GB groß sein, benötigt im Betrieb aber zu­sätz­li­chen Speicher. Bei Hermes fällt dies ins Gewicht, weil für Agen­ten­auf­ga­ben ein Kon­text­fens­ter von min­des­tens 64.000 Tokens vor­ge­se­hen ist. Passt ein Modell nicht voll­stän­dig in den VRAM, können Ollama und Unsloth Teile in den normalen Ar­beits­spei­cher auslagern. Das er­mög­licht zwar den Betrieb auf schwä­che­rer Hardware, reduziert aber häufig die Ge­schwin­dig­keit.

Feh­ler­be­he­bung bei der lokalen In­stal­la­ti­on

Viele Probleme entstehen durch einen nicht ge­star­te­ten lokalen Server, eine falsche End­punkt­adres­se oder eine zu kleine Kon­text­län­ge. Mit den folgenden Prüfungen lassen sich die häu­figs­ten Fehler meist schnell beheben.

Hermes-Befehl wird nicht gefunden

Erscheint die Meldung hermes: command not found, laden Sie zunächst die Shell-Kon­fi­gu­ra­ti­on neu:

source ~/.bashrc

Unter macOS oder bei Ver­wen­dung der Z-Shell nutzen Sie statt­des­sen:

source ~/.zshrc

Prüfen Sie außerdem, ob ~/.local/bin in der PATH-Um­ge­bungs­va­ria­ble enthalten ist. Führen Sie danach folgenden Dia­gno­se­be­fehl aus:

hermes doctor

Hermes prüft damit die In­stal­la­ti­on und weist auf mögliche Kon­fi­gu­ra­ti­ons­feh­ler hin.

Hermes erreicht Ollama nicht

Prüfen Sie zunächst, ob der lokale Ollama-Server er­reich­bar ist:

curl http://localhost/v1/models

Erscheint eine Mo­dell­lis­te, funk­tio­niert die Ver­bin­dung. Bei einem Ver­bin­dungs­feh­ler starten Sie Ollama erneut:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Kon­trol­lie­ren Sie außerdem die in Hermes ein­ge­tra­ge­ne Adresse. Sie muss voll­stän­dig http://localhost:11434/v1 lauten. Fehlt /v1, kann ein HTTP-404-Fehler auftreten.

Hermes verlangt einen API-Key

Für den lokalen Ollama-Endpunkt ist nor­ma­ler­wei­se kein API-Key er­for­der­lich. Lassen Sie das ent­spre­chen­de Feld im Ein­rich­tungs­as­sis­ten­ten daher leer.

Kon­text­län­ge und Context Drift bei Ollama kor­ri­gie­ren

Probleme können entstehen, wenn Hermes und Ollama un­ter­schied­li­che Kon­text­län­gen verwenden. Bei­spiels­wei­se kann Hermes mit 64.000 Tokens planen, während Ollama das Modell tat­säch­lich nur mit 4.096 Tokens ausführt. Längere Gespräche oder Werk­zeug­auf­ru­fe werden dann mög­li­cher­wei­se ab­ge­schnit­ten oder abgelehnt. Tragen Sie deshalb in ~/.hermes/config.yaml die ge­wünsch­te Kon­text­län­ge ein:

model:
    default: "gemma4"
    provider: custom
    base_url: "http://localhost/v1"
    context_length: 64000

Starten Sie Ollama an­schlie­ßend mit demselben Wert:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Den tat­säch­lich geladenen Kontext prüfen Sie mit:

ollama ps

In der Spalte CONTEXT sollte min­des­tens 64000 stehen. Die Ein­stel­lung in der Hermes-Kon­fi­gu­ra­ti­on allein ver­grö­ßert das Kon­text­fens­ter des Modells nicht. Wählen Sie jedoch keinen höheren Wert, als das Modell und Ihre Hardware un­ter­stüt­zen. An­dern­falls können Spei­cher­feh­ler, langsame Antworten oder Ver­bin­dungs­ab­brü­che auftreten.

Werk­zeug­auf­ru­fe er­schei­nen nur als Text

Hermes benötigt ein Modell, das struk­tu­rier­te Werk­zeug­auf­ru­fe un­ter­stützt. Be­schreibt das Modell eine Aktion nur im Text, statt das ent­spre­chen­de Werkzeug aus­zu­füh­ren, ist häufig das Modell oder dessen Chat-Template un­ge­eig­net. Verwenden Sie deshalb möglichst ein Ollama-Modell, das aus­drück­lich Werk­zeug­auf­ru­fe un­ter­stützt. Bei selbst im­por­tier­ten GGUF-Dateien müssen außerdem das passende Chat-Template und die Tool-Un­ter­stüt­zung erhalten bleiben.

Fazit

Für die erste voll­stän­dig lokale Hermes-In­stal­la­ti­on ist Ollama der ein­fachs­te Weg. Modelle werden über wenige Ter­mi­nal­be­feh­le geladen, der lokale Endpunkt benötigt keinen API-Key und lässt sich direkt über hermes model ein­rich­ten. Ent­schei­dend ist, Ollama mit einem Kon­text­fens­ter von min­des­tens 64.000 Tokens zu starten.

Unsloth Studio bietet mehr Kontrolle. Die Ein­rich­tung benötigt einige zu­sätz­li­che Schritte, stellt Hermes danach aber ebenfalls einen OpenAI-kom­pa­ti­blen lokalen Endpunkt bereit. In beiden Fällen kann die Mo­dell­in­fe­renz ohne externe Cloud-API erfolgen – vor­aus­ge­setzt, Sie verwenden aus­schließ­lich lokale Modelle und ak­ti­vie­ren keine cloud­ba­sier­ten Hermes-Werkzeuge.