CUDA Cloud In­stal­la­ti­on: CUDA auf Ubuntu 24.04 in­stal­lie­ren und Trei­ber­kon­flik­te beheben

Bei einer CUDA-Cloud-In­stal­la­ti­on müssen drei Ebenen zu­sam­men­pas­sen: Das NVIDIA-Kernel-Modul verbindet die GPU mit dem Linux-Kernel, User-Mode-Treiber und Bi­blio­the­ken stellen Re­chen­funk­tio­nen bereit, und der Compiler nvcc übersetzt CUDA-Code. Erst dieses Zu­sam­men­spiel abs­tra­hiert die Cloud-Hardware zu­ver­läs­sig und ver­hin­dert Ver­si­ons­feh­ler bei In­stal­la­ti­on, Neustart und Betrieb.

Wie der CUDA-Stack in einer Cloud-Instanz funk­tio­niert

CUDA ist nicht nur ein einzelnes Programm. Der so­ge­nann­te CUDA-Stack besteht aus mehreren Kom­po­nen­ten, die un­ter­schied­li­che Aufgaben über­neh­men:

Be­son­der­heit vir­tua­li­sier­ter Cloud-GPUs

Bei einer Cloud-Instanz befindet sich die physische GPU im Re­chen­zen­trum des Cloud-Anbieters. Je nach Angebot wird sie voll­stän­dig an Ihre virtuelle Maschine durch­ge­reicht oder über eine Vir­tua­li­sie­rungs­schicht be­reit­ge­stellt. Für Sie ist vor allem ent­schei­dend, ob die GPU innerhalb der Instanz sichtbar ist:

lspci | grep -i nvidia

Erscheint keine NVIDIA-GPU, lässt sich das Problem nicht durch eine CUDA-Neu­in­stal­la­ti­on beheben. In diesem Fall wurde wahr­schein­lich keine GPU an die Instanz an­ge­bun­den, der falsche In­stanz­typ gewählt oder die GPU-Vir­tua­li­sie­rung des Anbieters nicht korrekt ein­ge­rich­tet.

Bei ver­wal­te­ten vGPU-Angeboten sollten Sie außerdem keine beliebige Trei­ber­ver­si­on in­stal­lie­ren. Der Gast­trei­ber innerhalb der vir­tu­el­len Maschine muss ge­ge­be­nen­falls zur vGPU-In­fra­struk­tur des Cloud-Anbieters passen. Verwenden Sie dann bevorzugt das GPU-Image oder die Trei­ber­an­lei­tung des je­wei­li­gen Anbieters.

Welche CUDA-Version passt zu Hopper und Blackwell?

Für neue Hopper- oder Blackwell-Instanzen ist CUDA Toolkit 13.3 Update eine sinnvolle Stan­dard­wahl, sofern ver­wen­de­te Frame­works und An­wen­dun­gen CUDA 13.3 bereits un­ter­stüt­zen.

Hopper-GPUs werden seit CUDA 11.8 nativ un­ter­stützt. Die native Un­ter­stüt­zung für Blackwell beginnt mit CUDA 12.8. Ältere An­wen­dun­gen können auf neueren GPUs teilweise über mit­ge­lie­fer­ten PTX-Code gestartet werden. Das ist jedoch nicht mit nativer Un­ter­stüt­zung gleich­zu­set­zen und kann zu­sätz­li­che Startzeit oder Funk­ti­ons­ein­schrän­kun­gen ver­ur­sa­chen.

Kom­pa­ti­bi­li­täts­ma­trix für CUDA, Treiber und GPU-Ar­chi­tek­tur

NVIDIA er­mög­licht zu­sätz­lich eine so­ge­nann­te Minor Version Com­pa­ti­bi­li­ty. Dadurch können An­wen­dun­gen aus der CUDA-13-Familie unter be­stimm­ten Vor­aus­set­zun­gen bereits mit einem Treiber ab Version 580 laufen. Für eine neue, möglichst leicht zu wartende In­stal­la­ti­on sollte jedoch die zur konkreten Toolkit-Version aus­ge­wie­se­ne Trei­ber­ver­si­on verwendet werden.

CUDA Install

Schritt 1: Cloud-Instanz absichern

Erstellen Sie zunächst einen Snapshot oder ein Image der Instanz. Ein feh­ler­haf­tes Kernel-Modul kann dazu führen, dass die GPU nach dem Neustart nicht mehr verfügbar ist. Bei einer reinen SSH-Instanz bleibt das Be­triebs­sys­tem nor­ma­ler­wei­se er­reich­bar, dennoch ver­ein­facht ein Snapshot die Wie­der­her­stel­lung erheblich.

Prüfen Sie außerdem, ob Ihr Cloud-Anbieter bereits ein GPU-Image mit vor­in­stal­lier­tem NVIDIA-Treiber be­reit­stellt. Funk­tio­niert nvidia-smi bereits, sollten Sie den Treiber nicht ohne konkreten Grund ersetzen. Häufig genügt es, lediglich das passende CUDA Toolkit zu ergänzen.

Die Anleitung setzt Folgendes voraus:

• Ubuntu 24.04 LTS oder 26.04 LTS
• an­ge­bun­de­ne NVIDIA-GPU
• User mit sudo-Rechten
• In­ter­net­ver­bin­dung
• x86_64-Cloud-Instanz

Schritt 2: Be­triebs­sys­tem, Kernel und GPU prüfen

Zeigen Sie zunächst die Ubuntu-Version, den laufenden Kernel und die Pro­zes­sor­ar­chi­tek­tur an:

hostnamectl
uname -r
uname -m

Für die folgende Anleitung sollte uname -m diese Ausgabe liefern:

x86_64

Prüfen Sie an­schlie­ßend, ob die NVIDIA-GPU von der vir­tu­el­len Maschine erkannt wird:

lspci | grep -i nvidia

Prüfen Sie danach, ob bereits ein Treiber in­stal­liert ist:

nvidia-smi

Zeigt nvidia-smi die GPU und eine Trei­ber­ver­si­on ab 610.43.02, funk­tio­niert der Treiber und Sie können direkt mit Schritt 8 fort­fah­ren. Feh­ler­mel­dun­gen oder eine nicht erkannte GPU weisen dagegen auf fehlende Trei­ber­werk­zeu­ge, ein defektes Kernel-Modul oder eine feh­ler­haf­te GPU-Zuordnung hin.

Schritt 3: Ubuntu ak­tua­li­sie­ren und neu starten

Ak­tua­li­sie­ren Sie zunächst das Be­triebs­sys­tem:

sudo apt update
sudo apt full-upgrade -y

Starten Sie die Instanz an­schlie­ßend neu:

sudo reboot

Melden Sie sich nach dem Neustart per SSH an und prüfen Sie den aktiven Kernel:

uname -r

Schritt 4: Passende Kernel-Header in­stal­lie­ren

In­stal­lie­ren Sie die Ent­wick­lungs­werk­zeu­ge, DKMS und die Header des ge­gen­wär­tig laufenden Kernels:

sudo apt install -y \
    build-essential \
    dkms \
    wget \
    linux-headers-$(uname -r)

Der Ausdruck $(uname -r) wird au­to­ma­tisch durch die aktuelle Kernel-Version ersetzt.

Prüfen Sie an­schlie­ßend, ob das Header-Ver­zeich­nis vorhanden ist:

ls -ld /usr/src/linux-headers-$(uname -r)

Wird ein Ver­zeich­nis angezeigt, passen Kernel und Header zusammen. Erscheint dagegen „No such file or directory“, sollte der NVIDIA-Treiber noch nicht in­stal­liert werden.

Schritt 5: Vor­han­de­ne CUDA- und Trei­ber­pa­ke­te un­ter­su­chen

Ermitteln Sie, welche NVIDIA- und CUDA-Pakete bereits in­stal­liert sind:

dpkg -l | grep -E 'nvidia|cuda'

Prüfen Sie außerdem die geladenen Kernel-Module:

lsmod | grep -E 'nvidia|nouveau'

Dabei sollten nicht gleich­zei­tig nvidia und nouveau für dieselbe GPU aktiv sein.

Kon­trol­lie­ren Sie auch, ob eine frühere Runfile-In­stal­la­ti­on vorhanden ist:

ls -ld /usr/local/cuda*

Ein Ver­zeich­nis wie /usr/local/cuda-12.8 zeigt, dass bereits ein CUDA Toolkit in­stal­liert sein könnte, aber nicht, ob ein Konflikt besteht. Prüfen Sie deshalb, ob die In­stal­la­ti­on über APT oder eine .run-Datei erfolgte, und entfernen Sie eine be­stehen­de Runfile-In­stal­la­ti­on, bevor Sie CUDA per APT in­stal­lie­ren.

Schritt 6: Of­fi­zi­el­les NVIDIA-Re­po­si­to­ry ein­rich­ten

Wechseln Sie zunächst in ein tem­po­rä­res Ver­zeich­nis:

cd /tmp

Laden Sie das CUDA-Keyring-Paket für Ubuntu 24.04 herunter:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb

In­stal­lie­ren Sie den Re­po­si­to­ry-Schlüssel:

sudo dpkg -i cuda-keyring_1.1-1_all.deb

Ak­tua­li­sie­ren Sie an­schlie­ßend die Pa­ket­in­for­ma­tio­nen:

sudo apt update

Das Keyring-Paket trägt den Si­gna­tur­schlüs­sel und die Re­po­si­to­ry-Kon­fi­gu­ra­ti­on in das System ein.

Schritt 7: NVIDIA-Treiber in­stal­lie­ren

Für Hopper- und Blackwell-GPUs verwenden Sie die NVIDIA-Kernel-Module, um passende Treiber zu in­stal­lie­ren:

sudo apt install -y nvidia-open

Starten Sie die Instanz an­schlie­ßend neu:

sudo reboot

Prüfen Sie nach dem Neustart den Treiber:

nvidia-smi

Zu­sätz­lich können Sie kon­trol­lie­ren, ob das Kernel-Modul geladen wurde:

lsmod | grep nvidia

Die genaue Version des geladenen Moduls lässt sich fol­gen­der­ma­ßen anzeigen:

cat /proc/driver/nvidia/version

Zeigt nvidia-smi eine GPU und min­des­tens Trei­ber­ver­si­on 610.43.02, ist die Instanz für CUDA 13.3 Update 1 vor­be­rei­tet.

Schritt 8: CUDA Toolkit Install

Nun erfolgt der ei­gent­li­che CUDA Install:

sudo apt install -y cuda-toolkit-13-3

Die explizite Ver­si­ons­num­mer ver­hin­dert, dass die In­stal­la­ti­on später au­to­ma­tisch auf eine andere CUDA-Haupt- oder Ne­ben­ver­si­on wechselt.

Schritt 9: nvcc dauerhaft in den Suchpfad aufnehmen

Das Toolkit wird üb­li­cher­wei­se unter folgendem Pfad in­stal­liert:

/usr/local/cuda-13.3

Erstellen Sie eine sys­tem­wei­te PATH-Kon­fi­gu­ra­ti­on:

sudo tee /etc/profile.d/cuda.sh >/dev/null <<'EOF'
export PATH=/usr/local/cuda-13.3/bin${PATH:+:${PATH}}
EOF

Laden Sie die Ein­stel­lung für die aktuelle Sitzung:

source /etc/profile.d/cuda.sh

Prüfen Sie an­schlie­ßend den CUDA-Compiler:

nvcc --version

Die Ausgabe sollte unter anderem CUDA 13.3 nennen. Bei einer APT-In­stal­la­ti­on müssen Sie die Um­ge­bungs­va­ria­ble LD_LIBRARY_PATH nor­ma­ler­wei­se nicht anpassen. Das ist nur bei Runfile-In­stal­la­tio­nen oder eigenen In­stal­la­ti­ons­pfa­den nötig.

Schritt 10: CUDA-In­stal­la­ti­on praktisch testen

Erstellen Sie ein kleines Test­pro­gramm:

cat > cuda-check.cu <<'EOF'
#include <cuda_runtime.h>
#include <iostream>
int main() {
    int deviceCount = 0;
    cudaError_t result = cudaGetDeviceCount(&deviceCount);
    if (result != cudaSuccess) {
        std::cerr << "CUDA-Fehler: "
                  << cudaGetErrorString(result)
                  << std::endl;
        return 1;
    }
    std::cout << "Gefundene CUDA-GPUs: "
              << deviceCount
              << std::endl;
    for (int i = 0; i < deviceCount; i++) {
        cudaDeviceProp properties{};
        cudaGetDeviceProperties(&properties, i);
        std::cout << "GPU " << i << ": "
                  << properties.name
                  << std::endl;
    }
    return 0;
}
EOF

Über­set­zen Sie das Programm mit nvcc:

nvcc cuda-check.cu -o cuda-check

Starten Sie den Test:

./cuda-check

Eine er­folg­rei­che Ausgabe sieht bei­spiels­wei­se so aus:

Gefundene CUDA-GPUs: 1
GPU 0: NVIDIA H100 80GB HBM3

Damit wurden alle wichtigen Ebenen geprüft:

• nvcc konnte den Quellcode über­set­zen.
• Die CUDA Runtime wurde geladen.
• Der User-Mode-Treiber konnte den Kernel-Treiber an­spre­chen.
• Die GPU wurde innerhalb der Cloud-Instanz erkannt.

Typische Probleme bei der CUDA-In­stal­la­ti­on beheben

Funk­tio­nie­ren nvidia-smi oder nvcc nach der In­stal­la­ti­on nicht, liegt die Ursache meistens bei den Kernel-Headern, einem kon­kur­rie­ren­den Treiber oder ver­misch­ten In­stal­la­ti­ons­me­tho­den. Prüfen Sie die folgenden Punkte deshalb nach­ein­an­der.

1. Kernel und Kernel-Header ver­glei­chen

Der NVIDIA-Treiber benötigt Header, die genau zum aktuell laufenden Linux-Kernel passen. Zeigen Sie zunächst die Kernel-Version an:

uname -r

Prüfen Sie an­schlie­ßend, ob die passenden Header vorhanden sind:

ls -ld /usr/src/linux-headers-$(uname -r)

Fehlen sie, in­stal­lie­ren Sie die be­nö­tig­ten Pakete:

sudo apt update
sudo apt install -y linux-headers-$(uname -r) dkms

Wurde kurz zuvor ein neuer Kernel in­stal­liert, starten Sie die Instanz neu. An­dern­falls kann noch der alte Kernel laufen, während bereits die Header der neuen Version in­stal­liert sind:

sudo reboot

Besteht das Problem danach weiter, liefern diese Befehle zu­sätz­li­che Hinweise:

dkms status
sudo journalctl -k -b | grep -iE 'nvidia|nouveau|NVRM'

2. Konflikte mit dem Nouveau-Treiber beheben

Nouveau ist ein freier NVIDIA-Treiber, der in einigen Linux-Systemen au­to­ma­tisch geladen wird. Belegt er die GPU bereits, kann das of­fi­zi­el­le NVIDIA-Modul nicht richtig starten.

Prüfen Sie, ob Nouveau aktiv ist:

lsmod | grep nouveau

Erscheint keine Ausgabe, ist Nouveau nicht geladen. An­dern­falls können Sie sein au­to­ma­ti­sches Laden mit einer Sperr­da­tei ver­hin­dern:

sudo tee /etc/modprobe.d/blacklist-nouveau.conf >/dev/null <<'EOF'
blacklist nouveau
options nouveau modeset=0
EOF

Ak­tua­li­sie­ren Sie danach das Start­ab­bild des Kernels und starten Sie die Instanz neu:

sudo update-initramfs -u
sudo reboot

Prüfen Sie an­schlie­ßend erneut:

lsmod | grep nouveau

Der Befehl sollte jetzt keine Ausgabe mehr liefern. Entfernen Sie dafür keine Linux-Ker­nel­pa­ke­te: Nouveau muss nor­ma­ler­wei­se nur de­ak­ti­viert und nicht voll­stän­dig de­instal­liert werden.

3. Runfile- und APT-In­stal­la­tio­nen nicht ver­mi­schen

CUDA kann entweder über die Ubuntu-Pa­ket­ver­wal­tung oder über eine von NVIDIA her­un­ter­ge­la­de­ne .run-Datei in­stal­liert werden. Werden beide Methoden vermischt, können un­ter­schied­li­che Treiber- und Bi­blio­theks­ver­sio­nen auf dem System ver­blei­ben.

Prüfen Sie zunächst die in­stal­lier­ten Pakete und CUDA-Ver­zeich­nis­se:

dpkg -l | grep -E 'nvidia|cuda'
ls -ld /usr/local/cuda*

Wurde CUDA mit einer Runfile in­stal­liert, verwenden Sie den da­zu­ge­hö­ri­gen Un­in­stal­ler:

sudo /usr/local/cuda-13.3/bin/cuda-uninstaller

Passen Sie 13.3 an die tat­säch­lich in­stal­lier­te Version an. Einen ebenfalls per Runfile in­stal­lier­ten NVIDIA-Treiber entfernen Sie mit:

sudo /usr/bin/nvidia-uninstall

APT-Pakete sollten dagegen auch über APT entfernt werden:

sudo apt --purge remove cuda-toolkit-13-3
sudo apt autoremove --purge

Löschen Sie Ver­zeich­nis­se wie /usr/local/cuda-13.3 nicht einfach manuell. An­dern­falls können Dateien ver­schwin­den, obwohl die Pa­ket­ver­wal­tung sie weiterhin als in­stal­liert führt.

4. GPU-Per­sis­tenz ak­ti­vie­ren

Bei längeren Pausen ohne GPU-Auftrag kann der Treiber Teile des GPU-Zustands wieder freigeben. Beim nächsten CUDA-Aufruf muss die GPU dann erneut in­itia­li­siert werden, was kurze Ver­zö­ge­run­gen ver­ur­sa­chen kann.

Auf dauerhaft be­trie­be­nen Cloud-Instanzen lässt sich dafür der NVIDIA Per­sis­tence Daemon ak­ti­vie­ren:

sudo systemctl enable --now nvidia-persistenced.service

Prüfen Sie den Dienst:

systemctl is-active nvidia-persistenced.service

Bei er­folg­rei­cher Ak­ti­vie­rung erscheint:

active

Ak­ti­vie­ren Sie an­schlie­ßend den Per­sis­tence Mode:

sudo nvidia-smi -pm 1

Die Ein­stel­lung lässt sich so kon­trol­lie­ren:

nvidia-smi -q | grep -i "Persistence Mode"

Bei kurz­le­bi­gen Instanzen sollte diese Kon­fi­gu­ra­ti­on in einem Start­skript oder im ver­wen­de­ten Server-Image hin­ter­legt werden. Nach dem Löschen und voll­stän­di­gen Neu­erstel­len einer Cloud-Instanz bleibt sie nicht au­to­ma­tisch erhalten.

Häufige Feh­ler­mel­dun­gen im Überblick

Erscheint ein Driver/library version mismatch, starten Sie die Instanz zunächst neu. Häufig wurde bereits ein neuer Treiber in­stal­liert, während noch das alte Kernel-Modul geladen ist. Bleibt der Fehler bestehen, ver­glei­chen Sie die in­stal­lier­ten Kom­po­nen­ten:

cat /proc/driver/nvidia/version
modinfo nvidia | grep '^version'
dpkg -l | grep -E 'nvidia|cuda'

Wurden un­ter­schied­li­che In­stal­la­ti­ons­me­tho­den oder Trei­ber­se­ri­en verwendet, entfernen Sie die alte In­stal­la­ti­on und richten Sie den Treiber an­schlie­ßend ein­heit­lich über APT ein.

Fazit

Ein stabiler CUDA-Cloud-Install hängt weniger von einem einzelnen In­stal­la­ti­ons­be­fehl als von der Ab­stim­mung der be­tei­lig­ten Kom­po­nen­ten ab. Der laufende Linux-Kernel benötigt passende Header, das NVIDIA-Kernel-Modul muss er­folg­reich geladen werden und der User-Mode-Treiber muss zur in­stal­lier­ten Trei­ber­se­rie gehören. Die In­stal­la­ti­on über das of­fi­zi­el­le NVIDIA-APT-Re­po­si­to­ry ist dabei die nach­voll­zieh­bars­te Lösung. So entsteht ein wartbarer CUDA-Stack für Hopper- und Blackwell-Instanzen.