Proxmox Seminar¶

Virtualisierungen erleichtern effiziente Maschinennutzungen in jeder Umgebung - sei für das private Netzwerk, das Firmen-Rechenzentrum oder für die Cloud. Die professionelle und kostenlose Open-Source-Lösung Proxmox VE hat sich hier über die Jahre einen festen Platz gesichert und ausgebaut.

Ein erster Überblick über die Proxmox Funktionsvielfalt erhält man über den Link Proxmox VE Funktionen - Quelle: proxmox.ve/de.

Die Dokumentationen zu Proxmox Techniken sind gut und werden auch ständig aktualisiert und gepflegt. Des Weiteren unterhält Proxmox diverse Foren und Informationsportale für den technischen Austausch mit Kunden und Technikinteressierten. Ich werde in diesen Unterlagen immer wieder auf diese Proxmox Originalinfos verweisen!

PVE - Proxmox Virtual Environment

Die Virtualisierungslösung Proxmox VE lässt sich über grafische Oberflächen (GUI) und die Kommandozeile (CLI) administrieren und verwalten. Mittels Software-defined Network (SDN) kann Proxmox VE erweiterte Netzwerkkonfigurationen für Routing, VLANs und Firewalls nutzbar machen.

Der Proxmox VE HA Cluster ermöglicht die Umsetzung hochverfügbarer virtueller Server. Diese Cluster basieren auf bewährten Linux HA-Technologien und bieten somit stabile und verlässliche Services. Das gesamte Setup eines Proxmox VE HA Clusters kann auch über die Web-basierte Management-Oberfläche konfiguriert werden. Mit Ceph (Software-defined Storage Lösung) steht ein professionelles und ausfallsicheres Open-Source Storage System zur Verfügung. Durch die Kombination dieser Techniken kann man eine HCI (Hyperkonvergenete Infrastruktur) betreiben.

Die rollenbasierte Benutzer- und Rechteverwaltung von Proxmox VE erlaubt die Vergabe feiner Zugriffsrechte.

Es stehen manuelle und automatisierte Backups oder ein eigenständiger Proxmox Backup Server (PBS) zur Verfügung. Für die zentralisierte Verwaltung verschiedener Proxmox Serverleistungen wurde der Proxmox Datacenter Manager (PDM) veröffentlicht.

Und los geht es mit unseren Themen rund um die Proxmox - Virtualisierungen.

Ich wünsche viel Spaß und Erfolg bei der Arbeit mit den Proxmox Lösungen.

Ihr Trainer Joe Brandes - Braunschweig, Januar 2026

Stichwortverzeichnis

Einführung¶

Willkommen zu unserem Seminar über Proxmox Virtual Environment (Proxmox VE), eine leistungsstarke Open-Source-Virtualisierungsplattform für Server. Und wie man dem folgenden Screenshot entnehmen kann bietet Proxmox (aka die Firma) uns weitere Techniklösungen an.

Übersicht:

PVE - Proxmox Virtual Environment
PBS - Proxmox Backup Server
PDM - Proxmox Datacenter Manager

Der PVE ist das zentrale Virtualisierer-Werkzeug. Die beiden anderen Open-Source Lösungen tragen ihre jeweilige Zielrichtung im Namen.

Der Virtualisierungsserver Proxmox VE (PVE) unterstützt zwei Basis-Technologien:

KVM (Kernel-based Virtual Machine)

Ermöglicht die Erstellung und Verwaltung vollständiger virtueller Maschinen für Linux, Windows und BSD. Manch - wohlgemeinter Benchmark - ermittelt Performanceverluste von gerade einmal 1 bis 3 % gegenüber der direkten Hardware-Umsetzung (Bare-Metal).
LXC (Linux Containers)

Eine leichtgewichtige Containertechnik basierend auf OpenSource Containertechnik als Platform für (zumeist) Linux-Umgebungen. Diese Lösung wird manchmal auch als Zwischenlösung zwischen reinen Containerumsetzungen und VMs bezeichnet - die LXC Container quasi als superleichte VMs.

Diese Umsetzungen erlauben effiziente Ressourcennutzungen und optimale Flexibilität in dynamischen IT-Umgebungen.

Proxmox Virtualisierungstechnik bietet folgende Funktionen:

Snapshots und Live-Migration

Proxmox VE ermöglicht ressourcenschonende Snapshots von VMs und Containern sowie Live-Migration ohne Ausfallzeiten, selbst ohne Shared Storage.
Hochverfügbarkeits-Clustering

Gewährleistet Ausfallsicherheit und Lastverteilung.
Zentrale Verwaltung

Eine intuitive, webbasierte Oberfläche vereinfacht die Administration von virtuellen Maschinen, Containern, Storage und Netzwerken.

Proxmox VE optimiert die Nutzung vorhandener Ressourcen und reduziert Hardware- und Administrationskosten. Es ist eine kostengünstige Alternative zu proprietären Lösungen wie VMware vSphere.

In diesem Seminar werden Sie lernen, wie Sie Proxmox VE installieren, konfigurieren und effektiv in Ihrer IT-Umgebung einsetzen können. Sie werden praktische Erfahrungen in der Verwaltung virtueller Maschinen und Container sammeln und die Vorteile dieser vielseitigen Plattform für Ihre spezifischen Anforderungen nutzen können.

Hier weitere Abschnitte zum Thema:

Proxmox VE - Roter Faden¶

Diesen Begriff hört man in meinen Seminaren häufiger. Gemeint ist hier: Das grundsätzliche Verständnis der fraglichen IT-Techniken. Am Besten gleich so, dass man auch nach einer Zeit ohne Beschäftigung mit diesen Techniken sehr schnell wieder in Fahrt kommt.

Unter einem roten Faden versteht man ein Grundmotiv, einen leitenden Gedanken, einen Weg oder auch eine Richtlinie. „Etwas zieht sich wie ein roter Faden durch etwas“ bedeutet beispielsweise, dass man darin eine durchgehende Struktur oder ein Ziel erkennen kann.

—Quelle: Wikipedia - Roter Faden

Eine sehr grundsätzliche Erfahrung in der IT ist, dass sich natürlich die IT modernisiert. ABER: keine Entwicklergemeinschaft setzt sich dauernd hin und erfindet das Rad neu. Wir werden uns also erarbeiten, wie die Technik tickt und dann profitieren wir einfach mal ein paar Jahrzehnte davon ;-).

In der folgenden Übersicht steigert sich die Komplextität und Effizienz der eingesetzten Proxmox Techniken. Diese grobe Draufsicht sollte man bei den Beschäftigungen niemals außer acht lassen. Und selbstverständlich steigen auch die Kosten mit höheren Implementierungen an!

Schauen wir auf die Umsetzungsphasen und Techniken mit Proxmox VE.

Standalone Server

1 PVE (Proxmox VE) Node mit Verwaltung und eigenem Storage

Manuelles Backup auf diversen Medien, Netzwerk-Ressourcen oder Proxmox Backup Server (PBS)
Einfacher Cluster mit min. 2 Nodes

PVE Nodes mit einer Web-UI für globales Management der Nodes aber mit jeweils eigenem Node-Storage!

Es sind jetzt Live-Migrationen möglich: VM/LXC müssen/können manuell migriert (verschoben) werden. Es wird die Zeit für das Verschieben der kompletten Installation von Node 1 auf Node 2 benötigt! Für das Verschieben darf auf dem Zielsystem die Instanz-ID noch nicht vergeben sein!

Wichtig: bei Instanzen mit Snapshots wird geeigneter Storagetyp benötigt (ZFS, Ceph)
ZFS-Cluster mit 2 Nodes

Nutzung von ZFS-Replikationen zwischen 2 oder mehreren Nodes: die ZFS Storages der Nodes replizieren regelmäßig untereinander.

Es gibt kein Automatic Failover bei Node-Ausfall. Aber das Umschalten auf eine andere VM auf anderem Node geht viel schneller, da die Disk der Instanz (VM / LXC) ja am Ziel-Node schon verfügbar ist!

Wichtig

Für Trainingsumgebungen ist bei der Nutzung von ZFS zu bedenken, dass wir in der Lage sein müssen weitere Datenträger bereitzustellen! Das ist für VMs deutlich einfacher als für Bare Metal PVE Umsetzungen.
ZFS-Cluster mit 3 Nodes - kein echtes High Availability

Wir nutzen natürlich weiterhin ZFS. Für HA benötigen wir mindestens 3 Nodes - bzw. 2 Nodes + QuorumDevice.

Asynchrone Replikation: es sind hier Datenverluste möglich, weil die Nodes immer noch jeweils eigene Node Storage betreiben - dadurch kein echtes HA bei Node-Ausfall!
Ceph / HA Cluster mit min. 3 Node (HCI)

Cluster mit High Availability (HA) und gemeinsamen Ceph Storage Pool für alle Nodes - Stichwort: HCI

Die Ausfallszeit einer VM wird nur durch die Zeit bestimmt, die der HA-Cluster benötigt den Ausfall zu erkennen und einen alternativen Node zuzuweisen - im Normalfall eine Sache von Sekunden.

Wichtig

Auch für die Ceph-Umsetzungen müssten wir beliebig Storages bereitstellen können, was wiederum in der Virtuellen Umsetzung viel einfacher ist. Bei Ceph müssten wir auch professionelle Netzwerkbedingungen erfüllen, die wir in Übungs- und Testszenarien im Sinne von Proof of Concept vernachlässigen.

Preislich bildet sich hier eine Spanne von einer Handvoll Euro für einen Mini-PC oder Refurbished Thin-Client bis zu einer 3 Node 100 GE Ceph Mesh Lösung für über 40.000 Euro ab. In der aktuellen (Anfang 2026) KI getriebenen HW-Misere kann man wahrscheinlich eher von 60.000+ Euro ausgehen.

Technikvertiefungen für von Proxmox Servern genutzten Techniken

Dazu kommen im Spannungsfeld von Proxmox Virtualisierungen die sauberen Implementierungen von Grundtechniken und weitere Tools. Diese will ich an dieser Stelle nur kurz anreißen.

Storage - also Speicherlösungen:

LVM (bzw. LVM-Thin), ZFS (dickes Brett), Linux FS (ext4, btrfs, xfs), Deduplikation, RAID, …
Network - also Netzwerklösungen:

Netzwerkkonfigurationen auf Servern, Link Aggregation, VLAN, Firewalls, SDN - Software Defined Network, …
Enterprise-Special HCI (Hyper-converged Infrastructure):

siehe Ceph (SDS - Software Defined Storage), …
Proxmox Datacenter Manager (PDM)

der Einstieg seitens Proxmox in die Enterprise Datacenter World like VSphere und Co
CLI-Tools, Tipps & Tricks

wie immer: mit OpenSource entsteht oft ein Biotop mit frischen Tools und Lösungen (siehe ProxMenux, …)

Und diese Aufzählungen sind bei weitem nicht mit dem Anspruch auf Vollständigkeit!

PVE Technikübersicht¶

Für den Einstieg möchte ich hier ein paar einführende technische Topics aus dem ProxmoxVE Manual auflisten.

Techniken des Proxmox Virtual Environment - PVE¶

Einzigartiges Multi-Master-Design

Die integrierte webbasierte Verwaltungsoberfläche bietet Ihnen einen übersichtlichen Überblick über alle Ihre KVM-Gäste und Linux-Container sowie über Ihren gesamten Cluster.

Sie können Ihre VMs und Container, Speicher oder Cluster einfach über die grafische Benutzeroberfläche verwalten. Es ist nicht erforderlich, einen separaten, komplexen und teuren Verwaltungsserver zu installieren.

Proxmox Cluster-Dateisystem (pmxcfs)

Proxmox VE verwendet das einzigartige Proxmox Cluster-Dateisystem (pmxcfs), ein datenbankgestütztes Dateisystem zur Speicherung von Konfigurationsdateien. Dies ermöglicht die Speicherung der Konfiguration von Tausenden virtuellen Maschinen.

Durch die Verwendung von Corosync werden diese Dateien in Echtzeit auf allen Cluster-Knoten repliziert[. Das Dateisystem speichert alle Daten in einer persistenten Datenbank auf der Festplatte, dennoch verbleibt eine Kopie der Daten im RAM, was eine maximale Speichergröße von 30 MB bietet - mehr als genug für Tausende von VMs].

Proxmox VE ist die einzige Virtualisierungsplattform, die dieses einzigartige Cluster-Dateisystem verwendet.

Webbasierte Verwaltungsoberfläche

Proxmox VE ist einfach zu bedienen. Verwaltungsaufgaben können über die integrierte webbasierte Verwaltungsoberfläche erledigt werden - es ist nicht erforderlich, ein separates Verwaltungstool oder einen zusätzlichen Verwaltungsknoten mit großen Datenbanken zu installieren.

Das Multi-Master-Tool ermöglicht es Ihnen, Ihren gesamten Cluster von jedem Knoten aus zu verwalten. Die zentrale webbasierte Verwaltung - <<<<<<< HEAD basierend auf dem JavaScript-Framework ExtJS - ermöglicht es Ihnen, ======= basierend auf dem JavaScript-Framework ExtJS - ermöglicht es, >>>>>>> 5fbc6cb (UPDATE stuff in Intro Chapter) alle Funktionen über die GUI zu steuern und den Verlauf und Systemprotokolle jedes einzelnen Knotens zu überblicken.

Dies umfasst die Ausführung von Backup- oder Wiederherstellungsaufträgen, Live-Migration oder HA-gesteuerte Aktivitäten (High Availability).

Befehlszeile

Für fortgeschrittene Benutzer, die an den Komfort der Unix-Shell oder Windows PowerShell gewöhnt sind, bietet Proxmox VE eine Befehlszeilenschnittstelle zur Verwaltung aller Komponenten Ihrer virtuellen Umgebung.

Diese Befehlszeilenschnittstelle verfügt über eine intelligente Tab-Vervollständigung und vollständige Dokumentation in Form von UNIX-Manpages.

REST-API

Proxmox VE verwendet eine RESTful API. Als primäres Datenformat wurde JSON gewählt, und die gesamte API ist formal mit JSON Schema definiert. Dies ermöglicht eine schnelle und einfache Integration für Verwaltungstools von Drittanbietern wie benutzerdefinierte Hosting-Umgebungen.

Rollenbasierte Verwaltung

Sie können granularen Zugriff für alle Objekte (wie VMs, Speicher, Knoten usw.) definieren, indem Sie die rollenbasierte Benutzer- und Berechtigungsverwaltung verwenden.

Dies ermöglicht es Ihnen, Privilegien zu definieren und hilft Ihnen, den Zugriff auf Objekte zu kontrollieren. Dieses Konzept ist auch als Zugriffssteuerungslisten bekannt: Jede Berechtigung spezifiziert ein Subjekt (einen Benutzer oder eine Gruppe) und eine Rolle (Satz von Privilegien) auf einem bestimmten Pfad.

Authentifizierungsdomänen

Proxmox VE unterstützt mehrere Authentifizierungsquellen wie Microsoft Active Directory, LDAP, Linux PAM-Standardauthentifizierung oder den integrierten Proxmox VE-Authentifizierungsserver.

PVE Funktionen¶

Ich zitiere an dieser Stelle einfach mal von der Proxmox Website:

Proxmox VE ist eine umfangreiche Open Source-Virtualisierungsplattform für Enterprise-Virtualisierung. Die Plattform integriert die beiden Virtualisierungstechnologien Kernel-based Virtual Machine (KVM) und Container-basierte Virtualisierung (LXC) und macht so VMs und Containern auf einer zentralen, web-basierten Managementoberfläche verfügbar.

Mit vielen Out-of-the-Box-Tools lassen sich hochverfügbare Cluster, Software-definierter Storage, virtuelle Netzwerke, Backup oder die Firewall einfach konfigurieren und verwalten.

—O-Ton Proxmox Website:

Das sah auf der Website wie folgt aus und bietet viele weiterführende Informationen.

PVE Proxmox Virtual Environment - Funktionen¶

Für diese weiterführende Erläuterungen ist die Website hier verlinkt. Wir erarbeiten uns die unterschiedlichen Umsetzungen anhand praktischer Übungen.

Proxmox Quellen¶

Die genutzten Proxmox Techniken sind nicht nur per OpenSource realisiert, sondern auch sehr gut dokumentiert. Daher werde ich mich in meinen Ausarbeitungen immer auf den Faden für die technischen Erläuterungen konzentrieren. Die Infos werden von Proxmox und der an- und eingebundenen Community mehr als ordentlich und ausführlich bereitgestellt.

Hier sind für die Dokumentationen insbesondere der Admin Guide und das Wiki zu nennen. Und daher sind diese Quellen auch besonders oben in dieser Seite präsentiert, damit man sie schnell finden und nutzen kann.

Durch den konsequenten Einsatz von OpenSource bei Proxmox Virtualisierungen und Infrastruktur erhält man auch immer für alle beteiligten Techniken ausführlich Unterstützung und Support bei verschiedensten Quellen. Beispiel: Infos zu ZFS sind extrem ausführlich und professionell in der TrueNAS Community verfügbar.

Hier finden sich die Hauptlinks für weitergehende Downloads und Infoseiten.

Proxmox ISO installieren
Proxmox Documentations
Proxmox Agreements
Support Portal Proxmox - Account needed
WIKI Proxmox VE - Hauptseite mit vielen weiterführenden WikiPages
PDF DIRECT LINK - Proxmox Admin Guide PVE 9.1
ONLINE - Proxmox Admin Guide

Im Rahmen meiner Ausarbeitungen werden natürlich noch viele weitere Support- und Info-Links bereitgestellt. Und auf meiner To-Do Liste steht auch die Aufbereitung einer sehr großen OneNote Sammlung zu Proxmox Technik.

Proxmox Software¶

Die Firma Proxmox bietet verschiedene Software-Produkte und Services an.

Die Hauptprodukte sind:

Anm.: Proxmox bietet auch ein Proxmox Mail Gateway PMG oder den Proxmox Datacenter Manager als Alpha an.

Unten den folgenden Links weitere Infos und Daten:

Proxmox Seminare¶

Ich habe über die Jahrzehnte diverse Seminare und Infoveranstaltungen rund um das Thema Virtualisierungen und Container durchführen dürfen. Diese Ausarbeitung widmet sich Proxmox aber auch den jeweiligen technischen Umsetzungen bei Storage, Network oder HA.

Trainer Joe Brandes Website pcsystembetreuer.de¶

Durch diverse Entwicklungen am Markt (siehe z. B. Broadcom / Vmware) hat sich das Interesse an Proxmox stark vermehrt.

Diese Unterlage soll der Nachfrage Rechnung tragen. Und natürlich stellt diese Unterlage immer nur eine Unterstützung zu den jeweiligen Seminaren und praktischen Übungen im Rahmen unserer Seminare dar.

Diese Unterlage ist aber auch immer ein Work in progress und wird (hoffentlich) über die Jahre immer weiter wachsen.

Seminartechnik¶

Ich stelle hier eine beispielhafte Seminarumgebung für praktische Umsetzungen in einem Präsenzseminar dar. Für entsprechende Vor-Ort-Umsetzungen sollten vergleichbare technische Umgebungen vorhanden sein.

Seminarraum

In Kooperation mit dem Veranstalter können wir im Seminarraum erweiterte und professionelle Trainingstechnik bereitstellen.

Trainings-PC mit Intel i5 12th Gen. / 32 GB RAM
Wechsel-SSDs für individuelle Installationen
Dual-Monitor (Full-HD und 1920 x 1200)
Zusatzsysteme für Bare-Metal Installationen PVE und PBS
Professioneller Full-HD Laser Beamer mit großer Leinwand
2 zusätzliche „Old-PC“ für Trainer-Platz (7th. Gen. Intel i5) für Test- und Seminareinsätze
NAS für Training NFS (manuell Backup, …)
Klimaanlage

Vorinstallationen für Trainees:

Windows 11 (23H2) mit frischen Updates und UpdateFreeze (5 Wochen)
Benutzername und Passwort werden in Orientierungsphase an Trainees verteilt
(ggf.) reservierte System gemäß Absprache im Seminar
Hyper-V mit vorkonfiguriertem Extern-Switch zum Seminar- und Schulungsnetz der VHS BS und Internet

PVE Training

Jeder Trainee kann die Umsetzungen rund um die Proxmox VE - oder auch Proxmox Backup Server - an eigenen Installationen praktisch nachverfolgen und umsetzen.

Wichtig

Alle Trainee-Systeme müssen exakte die Bezeichner/Hostnames und statischen IP-Adressierungen umsetzen, wenn sich alle Maschinen im selben Netz befinden!

Erinnerung für Bare Metal PVE 9 Server: Für Übungen mit ZFS-Cluster (oder sogar CephFS) können wir ersatzweise USB-Sticks verwenden! Auf den PVE 9 VMs kann man einfach mit (gleichgroßen) VirtualDisks arbeiten! ZFS-Replikationen kann man auf bestimmte Nodes einschränken/konfigurieren!

Beispielhafte IPs, Bezeichner und Verwendungen

Proxmox Seminar IP-Adressen, Namen und Verwendungen¶

Hyper-V Umsetzungen

Wir rollen die PVE Installationen virtuell (auf Hyper-V) aus. Wir bauen uns quasi eine eigene Cloud-Umgebung.

Man beachte die nötigen Vorbereitungen und Konfigurationen für die PVE Installationen als Hyper-V VM - siehe Kapitel PVE als Hyper-V Gast.

Die Umgebungen könnten von den Trainees am Ende des Seminar sogar auf ausreichend große externe Datenträger exportiert und in eigener Umgebung wieder belebt werden.

Und natürlich könnte man die ganze Virtual/Cloud-Umsetzung auch unter KVM/qemu auf Linux Host Systemen umsetzen. In einem aktuellen Linux Workshop habe ich hiermit sehr gute Erfahrungen gemacht!

Desweiteren stehen weitere Systeme für Bare-Metal-Installationen zur Verfügung.

Seminarausschreibungen¶

Zumeist möchten meine Partner die Seminarausschreibungen von mir für die diversen Veröffentlichungen erstellt bekommen. Damit ich den Überblick über die diversen Konzepte erhalte, veröffentliche ich die Ausschreibungen oft auf den rST-Extrasites. Und los geht es…

In 2025 konnten wir eine Ausschreibung für einen Bildungsurlaub bei der VHS Braunschweig fast zu schnell mit Anmeldungen füllen. Erklärung: eigentlich war das Seminar für 6 Trainees ausgeschrieben. Allerdings waren sechs Monate vorher schon 10 Anmeldungen im Buchungsssystem eingegangen! Wir ziehen das dann natürlich im Sinne der Trainees durch!

Es folgt ein beispielhafter Ausschreibungstext für einen 5-tägigen Bildungsurlaub.

Proxmox VE - Virtualisierungen und Container (5 Tage BU)¶

Virtualisierungen erleichtern effiziente Maschinennutzungen in jeder Umgebung - sei für das private Netzwerk, das Firmen-Rechenzentrum oder für die Cloud. Die professionelle und kostenlose Open-Source-Lösung Proxmox VE hat sich hier über die Jahre einen festen Platz gesichert und ausgebaut.

Proxmox VE lässt sich über eine grafische Oberfläche (GUI) und die Kommandozeile (CLI) administrieren und verwalten. Mittels der Funktion Software-defined Network (SDN) kann Proxmox VE erweiterte Netzwerkkonfigurationen für Routing, VLANs und Firewalls verwalten.

Mit Ceph steht ein professionelles und ausfallsicheres Storage System zur Verfügung. Es lassen sich ausfallsichere Cluster konfigurieren.

Die rollenbasierte Benutzer- und Rechteverwaltung von Proxmox VE erlaubt es feine Zugriffsrechte zu vergeben. Es stehen manuelle und automatisierte Backups oder ein eigenständiger Proxmox Backup Server zur Verfügung.

Das Seminar ist als praxisorientierter Workshop mit maximal 6 TN konzipiert. Im Seminar können auch angrenzende Themen der Virtualisierungs- und Container-Techniken behandelt werden. Den Teilnehmern stehen mehrere PCs für die Umsetzungen zur Verfügung.

Zu tun

[Anm. / Stand: 2025] Die Ausführung sollte überarbeitet bzw. angepasst werden. Außerdem könnte man verschiedene Seminar-Versionen erstellen.

Proxmox VE - Aufbauseminar/Workshop (5 Tage BU)¶

Wir sind erfolgreich mit einem Seminarangebot zu Proxmox Virtualisierungen gestartet und viele Teilnehmer und Interessierte wollen die faszinierenden Umsetzungen mit Proxmox weiter vertiefen.

Proxmox VE (PVE) Cluster: Theorie und Praxis
Tipps und Tricks: VMs, LXC, automatisierte Installationen
Netzwerke: SDN, VLAN, Firewalls, Routing, Security
Authentifizierungen: Token, MFA, Benutzer-/Gruppen, Rollen und Realms
Proxmox Backup Server: Benutzer, Token, CLI, Backup für PVE Hosts
Storages für PVE-Profis: LVM, LVM-Thin, ZFS, ZFS over iSCSI, NFS, SMB/CIFS
Hochverfügbarkeit mit Ceph: CephFS, RBD, HA, HCI
Tools: CLI, PVE API, Proxmox Datacenter Manager (PDM), ProxMenux

Das Seminar ist als praxisorientierter Workshop mit maximal 6 TN konzipiert. Im Seminar können auch angrenzende Themen der Virtualisierungs- und Container-Techniken behandelt werden.

Den Teilnehmern stehen mehrere PCs für die Umsetzungen zur Verfügung.

Für Schulungen im Firmenbereich (Enterprise) habe ich häufig nicht den Luxus mit vielen Trainees die Techniken gemeinsam und ausgiebig zu erkunden und zu schulen. Dort sollen die Dinge immer sehr kurz und kompakt vermittelt werden.

Die folgenden Ausschreibungen sind zwei 2-Tage-Seminare zu Proxmox.

Proxmox VE - Node Praxis (2 Tage)¶

Virtualisierungen erleichtern effiziente Servernutzungen in jeder Umgebung - sei es für das Firmen-Rechenzentrum oder für die Cloud. Die professionelle und kostenlose Open-Source-Lösung Proxmox VE hat sich über die Jahre einen festen Platz gesichert. Und durch die Entwicklungen bei Mitbewerbern konnte man die Positionierung im Virtualisierungsmarkt weiter verbessern.

In diesem 2-tägigen praxisorientierten Seminar erhalten Sie einen umfassenden Einblick in die faszinierende Welt der Virtualisierung mit Proxmox VE.

Proxmox VE installieren und managen (GUI, CLI)
Übersicht Storages: Storage-Typen und Filesystems
Übersicht Networking: Bridges, Bonds, SDN
Virtual Machines (KVM/qemu) und Container (LXC)
Templates, Cloud-init, Clones
Backups: einfach vs. Proxmox Backup Server (PBS)
Überblick Benutzerverwaltung für PVE und PBS

Voraussetzungen - Grundlegende Linux- und Netzwerkkenntnisse sind vorteilhaft, werden aber nicht zwingend benötigt.

Zielgruppe - Das Proxmox VE Seminar richtet sich an Interessierte, Administratoren oder Fachkräfte in der Umsetzung von Virtualisierungs- oder auch Cloud-Techniken.

Dieses Seminar bieten wir als Präsenz-Schulung mit einem Partner an.

Proxmox VE - Cluster Praxis und HA (2 Tage)¶

Die Virtualisierungen und Infrastrukturlösungen mit Proxmox VE erobern seit Jahren das Enterprise-Segment.

In diesem 2-tägigen praxisorientierten Seminar erlernen sie die professionellen Cluster-Umsetzungen von einfachen Ausfallszenarien bis zu Hochverfügbarkeits-Lösungen mit Ceph-Storage (HCI).

Proxmox VE (PVE) Cluster: Theorie und Praxis, Hardware
Tipps und Tricks: VMs, LXC, automatisierte Installationen
Netzwerke: SDN, VLAN, Firewalls, Routing, Security
Authentifizierungen: Token, MFA, Benutzer-/Gruppen, Rollen und Realms
Storages für PVE-Profis: LVM, LVM-Thin, ZFS, ZFS over iSCSI, NFS, SMB/CIFS
Hochverfügbarkeit mit Ceph: CephFS, RBD, HA, HCI

Voraussetzungen - Grundlegende Linux- und Netzwerkkenntnisse sowie Kenntnisse vergleichbar mit unserem Seminar „Proxmox VE - Single-Node Praxis“ sind vorteilhaft, werden aber nicht zwingend benötigt.

Zielgruppe - Das Proxmox VE Seminar richtet sich an Interessierte, Administratoren oder Fachkräfte in der Umsetzung von Virtualisierungs- oder auch Cloud-Techniken.

Dieses Seminar bieten wir als Präsenz-Schulung mit einem Partner an.

Seminarbescheinigung¶

Die Trainees erhalten nach den Seminaren eine formale Bescheinigung mit den Seminarinhalten und bei Seminarzertifizierungen nach Bildungsurlaub (BU) auch eine Bescheinigung für den Arbeitgeber.

Für einen solchen 5-Tage BU folgt eine beispielhafte Bescheinigung.

Seminartopics:

Proxmox VE installieren und managen
Virtual Machines (KVM/qemu) und Container (LXC)
Templates, Cloud-init, Clones
Backups: manuell, Proxmox Backup Server (PBS)
Benutzer und Gruppen, Ressourcen (Pools)
Storage, Netzwerke, SDN
Einfache Cluster (ZFS-Replication)
High Availability (HA) mit Ceph
Tools: PDM, ProxMenux, Tipps & Tricks

Diese Auflistung stellt nur eine beispielhafte Topicliste dar.

Schauen wir mal - jetzt soll es aber mit dem Ausrollen von Proxmox VE Technik losgehen.

Deployment¶

Die offiziellen Proxmox Quellen und weitere Foren und Internet-Recherchen stellen ausführlich die Best Practises für die Installationen und Inbetriebnahmen einzelner oder auch mehrerer Proxmox Server dar - bestenfalls auch gleich noch komplett mit Ausfallsicherheit und Backup-Konzepten.

Oder man erhält die Infrastruktur gleich aus Enterprise Quellen schlüsselfertig - Thomas Krenn Proxmox Ceph HCI

Thomas Krenn Proxmox Ceph HCI (All NVMe) - 3 Server nötig!¶

In einem Webinar von TK wurde ein Screenshot mit fertigem Angebot eingeblendet: HW-Kosten pro Server ca. 14.000 €. Das können und wollen meine Seminar-Partner für unsere Trainingsumgebungen nicht leisten ;-).

[Nachtrag Januar 2026: die Ceph HCI Lösung aktuell nicht verfügbar!!]

Hinweis

Wir konzentrieren uns auf die praktischen Basics und wollen an dieser Stelle nochmals herausstellen, dass die technischen Umsetzungen nur zu Seminarzwecken gewählt werden.

Ihre Enterprise Hardware - inklusive gegebenfalls Supportverträgen - sollte dann in einer anderen Liga spielen!

Siehe Auszug aus PVE Proxmox SSD for ZFS fio Benchmark 2020

Als Trainer finde ich es wichtig, dass jeder Trainee eine eigene Übungsumgebung nutzen kann. Im Seminar kann man dann später auch gemeinsam in Gruppen weitere bereitgestellte Hardware und Infrastruktur nutzen.

Aber auch da wird es sich sicherlich nicht um Hardware im 40 bis 100 Tausend Euro Rahmen handeln ;-)

PVE Installation¶

Eine Proxmox VE Instaallation lässt sich bei den Hilfen von Proxmox einfach nachschlagen:

Installation - Proxmox Wiki - s.a. Screenshots für Installation
Installing Proxmox VE - PVE Docs - siehe folgenden Screenshot

Wer sich gerne durch Videos berieseln / informieren lässt kann gerne bei meinen YouTube Linksammlungen stöbern: YouTube Links.

In Seminaren werden die Installationen praktisch erlebt und danach die eigentlich wichtigen weiteren Schritte besprochen - das sogenannte Post-Install. Hier sind insbesondere die folgenden Schritte zu nennen:

Systemaktualisierung / Paketquellen anpassen
Login Nag deaktivieren
Netzwerk konfigurieren / anpassen
…

Für diese immer wiederkehrenden Schritte werden wir mit Hilfe der HelperScripts sehr viele Vereinfachungen und Beschleunigungen für die Inbetriebnahme der PVE erhalten.

PVE als Hyper-V Gast¶

Wie bereits erwähnt wollen wir oft allen Trainees die individuellen praktischen Erfahrungen mit den Techniken ermöglichen. Außerdem sind in vielen Trainingsumgebungen die Seminarteilnehmer eher aus der Windows-Welt.

Warum nicht einfach alles zusammen optimieren: wir nutzen eine Windows Rechner Trainingsumgebung mit Hyper-V für die weiteren Schritte in die Proxmox Welt!

Im oberen Screenshot sieht man eine erste Einstellung für die Installation von PVE als Hyper-V-Gast:

Aktivierung MAC-Spoofing für PVE NIC

Dadurch kann der NIC der Hyper-V VM (hier: PVE) individuelle MAC-Adressen erzeugen.

Und als zweite Grundeinstellung für die PVE Hyper-V VM muss die verschachtelte Virtualisierung aktiviert werden.

Nested Virtualization - per PowerShell aktivieren:

Set-VmProcessor -VMName NUCHV-PVE8-NODE-1 -ExposeVirtualizationExtensions $true

und testen: Get-VmProcessor -VMName HVPVE-NODE-1 | select *

Aktivierung der Nested Virtualization für Hyper-V VM¶

So klappt es dann auch mit einer PVE Virtualisierung als Hyper-V-Gast.

HelperScripts¶

Wir haben also eine frische PVE Installation. Jetzt fangen aber die Post-Install-Arbeiten an. Und wie immer sage ich „Da kann man einen Affen für dressieren“. Was meint: bitte mal per Skript automatisieren!

Aus den tteck-helper-scripts wurden leider die Comunity-Scripts ProxmoxVE. Warum sage ich leider? Weil der User tteck verstorben ist. Die Proxmox Gemeinschaft sagt nochmals Danke und verbeugt sich.

tteck Site: Archiv seit 02. November 2024

https://tteck.github.io/Proxmox/ und https://github.com/tteck/Proxmox
Community-Scripts Site:

Website Helper Scripts

GitHub Repo Helper Scripts

Hier die überarbeitete Website mit über 300 nützlichen Skripts für Umsetzungen mit Proxmox Server Techniken.

Der Screenshot zeigt das Proxmox VE Post Install Skript. Link zum Post-Install-Skript für eine Analyse:

https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/post-pve-install.sh

Es handelt sich natürlich um ein Shell-Skript, das man mit Admin-Rechten auf seinem PVE-Node ausführen möchte. Da sollte man sich schon ein bisschen Mühe geben und mal ein wenig im Code stöbern ;-).

#!/usr/bin/env bash

# Copyright (c) 2021-2025 tteck
# Author: tteck (tteckster)
# License: MIT
# https://github.com/community-scripts/ProxmoxVE/raw/main/LICENSE

header_info() {
  clear
  cat <<"EOF"
    ____ _    ________   ____             __     ____           __        ____
   / __ \ |  / / ____/  / __ \____  _____/ /_   /  _/___  _____/ /_____ _/ / /
  / /_/ / | / / __/    / /_/ / __ \/ ___/ __/   / // __ \/ ___/ __/ __ `/ / /
 / ____/| |/ / /___   / ____/ /_/ (__  ) /_   _/ // / / (__  ) /_/ /_/ / / /
/_/     |___/_____/  /_/    \____/____/\__/  /___/_/ /_/____/\__/\__,_/_/_/

EOF
}
...

Umsetzungen des Skripts:

Anpassung PVE Paketquellen
Deaktiviere PVE Enterprise Repo
Deaktiviere Ceph Enterprise Repo
Aktiviere PVE No-Subscription Repo
Füge (disabled) pvetest Repo hinzu
Deaktiviere Login Nag „Keine Subskription“
Deaktiviere HA
Deaktiviere Coresync
Aktualisiere PVE Node - Bitte geduldig sein!
Reboot

Persönliche Anmerkung: ich klicke seit Jahren einfach mit Return durch und bin sehr zufrieden. Und selbstverständlich lassen sich alle deaktivierten Techniken (HA, Ceph, Coresync) später auch wieder in Betrieb nehmen.

Letztere Aktivierungen sind natürlich insbesondere für unser HA-Umsetzungen zu bedenken!

Node Management¶

Mit der webbasierten Verwaltungsoberfläche von Proxmox VE lässt sich ein Server umfassend und zentral steuern.

Die Storage-Verwaltung ist äußerst flexibel: Virtuelle Maschinen (VMs) und Container können auf lokalen Datenträgern, wie etwa klassischen Verzeichnissen oder LVM-/ZFS-Volumes, oder auf gemeinsam genutzten Storages wie NFS abgelegt werden.

Wir werden uns in diesen Abschnitten erst einmal um die Basics kümmern, bevor dann in späteren Kapiteln tiefer abtauchen. Fassen wir uns erst einmal kurz die Themen kurz zusammen und orientieren uns.

Verwaltung der Proxmox VE Technik (Bild: pexels-field-engineer-147254-442152.jpg)¶

Es lassen sich beliebig viele Storage-Pools konfigurieren, wobei alle gängigen Speichertechnologien von Debian Linux unterstützt werden. Die Konfiguration erfolgt zentral in einer Datei und wird bei Clustern automatisch auf alle Knoten verteilt, sodass sowohl lokale als auch geteilte Speichertypen effizient eingebunden werden können.

Im Bereich Networking bietet Proxmox VE die Möglichkeit, komplexe virtuelle Netzwerke zu erstellen und zu verwalten, inklusive VLANs, Bridges und Bonds. So können Netzwerke flexibel an die Anforderungen von VMs und Containern angepasst werden, etwa für dei Trennung, Redundanz oder Performance-Steigerung.

Für die Virtualisierung stehen zwei Technologien zur Verfügung: Zum einen KVM/qemu für klassische VMs, zum anderen LXC für leichtgewichtige Linux-Container. Beide Varianten lassen sich über die grafische Oberfläche komfortabel anlegen, konfigurieren, starten, stoppen und überwachen.

Auch fortgeschrittene Funktionen wie Snapshots, Backups oder später Live-Migrationen sind direkt über die GUI zugänglich.

Die Benutzer- und Rechteverwaltung ist rollenbasiert aufgebaut. Administratoren können individuell festlegen, welche Benutzer auf welche Ressourcen (z.B. einzelne VMs, Storage, Knoten) mit welchen Rechten zugreifen dürfen.

Storage 101¶

In den 101 Abschnitten meiner Ausarbeitungen versuche ich mich auf die Basisausstattung und Grundinstallationen der Systeme zu beschränken.

Im PVE System bedeutet das, dass ich eine Grundinstallation mit zwei Testinstallationen betrachte: 1 VM und 1 LXC Container.

Liste Blockgeräte auf PVE mit 1 VM und 1 LXC¶

Die PVE Konfigurationsdatei ist /etc/pve/storage.cfg.

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images

Man erkennt die beiden bei der Standardinstallation entstandenen Storages:

local - Storage-Typ: Directory / Pfad: /var/lib/vz

Inhalte: ISOs, LXC Templates, Backups
local-vm - Storage-Typ: LVM-Thin

Inhalte: LXC Container, VMs (bzw. deren Storages)

Tipp

Übungen: Ordner und Strukturen nachvollziehen!

Hier wurde als Storage Pool für VM und LXC zu LVM-Thin gegriffen. Die genaueren Erläuterungen zu diesem Storage-Typ folgen in Abschnitt Storage Typen.

Wenn wir die Thin-Pools finden wollen, fragen wir am Besten mal PVE mit einem seiner Tools. Hier heißt der Bezeichner: local-lvm:vm-3000-disk-1 für die Standard-Platte. Die andere local-lvm:vm-3000-disk-0 ist die EFI-Partition.

root@pve-node-3:~# pvesm path local-lvm:vm-3000-disk-1
/dev/pve/vm-3000-disk-1

Bei den Inhalten von /dev/pve bitte nicht wundern! Es handelt sich um Links zu den Blockgeräten des LVM.

root@pve-node-3:~# ls -al /dev/pve
total 0
drwxr-xr-x  2 root root  140 Jun 27 07:52 .
drwxr-xr-x 18 root root 4140 Jun 27 14:48 ..
lrwxrwxrwx  1 root root    7 Jun 27 07:52 root -> ../dm-1
lrwxrwxrwx  1 root root    7 Jun 27 07:52 swap -> ../dm-0
lrwxrwxrwx  1 root root    7 Jun 27 07:52 vm-100-disk-0 -> ../dm-8
lrwxrwxrwx  1 root root    7 Jun 27 07:52 vm-3000-disk-0 -> ../dm-6
lrwxrwxrwx  1 root root    7 Jun 27 07:52 vm-3000-disk-1 -> ../dm-7

root@pve-node-3:~# ls -Al /dev/dm-7
brw-rw---- 1 root disk 252, 7 Jun 27 07:52 /dev/dm-7

Man achte auf die erste Spalte in den ls-Ausgaben: d - Directory, l - Link und b - Blockdevice.

Man könnte jetzt alle möglichen Klimmzüge unternehmen, um an die Daten auf den LVM-Blöcken (aka Slices) zu kommen. Aber warum eigentlich der Stress? Mit einem Proxmox Backup Server haben wir solche Dienstleistungen gleich noch mit integriert. Wir können sehr einfach sogar einzelne Dateien aus gesicherten Laufwerken von VMs oder auch LXC Containern holen!

Wer Spieltrieb (auf Testsystem!!) hat: Proxmox Forum - LVM Thin for Backup

So weit eine erste Übersicht zur Storage Verwaltung eines PVE Grundsystems. Weitere Infos folgen im Abschnitt Storage.

Networking 101¶

Auch hier konzentriere ich mich wieder erst einmal auf die Grundkonfigurationen einer Standardinstallation. Ich beschränke mich auch auf nur einen Netzwerkadapter.

Wie immer lassen sich die Konfigurationen über eine Datei einstellen und konfigurieren: /etc/network/interfaces.

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eth0 inet manual
#Standard-NIC

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.253/24
        gateway 192.168.2.1
        bridge-ports eth0
        bridge-stp off
        bridge-fd 0
#Standard-Bridge

source /etc/network/interfaces.d/*

Kurerläuterungen zu den Fachbegriffen bridge-ports, bridge-stp und bridge-fd:

bridge-ports

Gibt die physischen oder virtuellen Netzwerk-Interfaces an, die mit der Bridge verbunden werden sollen. Beispiel bridge-ports eth0 bedeutet, dass das physische Interface eth0 Teil der Bridge (z.B. vmbr0) ist. Dadurch werden Datenpakete zwischen VMs/Containern und dem physischen Netzwerk über dieses Interface geleitet.
bridge-stp

Steht für Spanning Tree Protocol. Mit diesem Parameter wird festgelegt, ob das Spanning Tree Protocol auf der Bridge aktiviert (on) oder deaktiviert (off) ist. STP verhindert Netzwerkschleifen in komplexeren Netzwerktopologien, ist aber in einfachen Setups meist deaktiviert (bridge-stp off), da dort keine Schleifen entstehen können.
bridge-fd

Bedeutet forward delay. Hier gibt man die Zeit (in Sekunden) an, die die Bridge im Spanning-Tree-Prozess zwischen den Zuständen „learning“ und „forwarding“ wartet. Ein Wert von 0 (wie oft in Proxmox-Standardkonfigurationen) bedeutet, dass keine Verzögerung eingestellt ist, was bei deaktiviertem STP sinnvoll ist (bridge-stp off).

Die Konfigurationsdatei ist an sich komplett so Debian-/Server-Standard. Allerdings erlaube ich mir hier einen Hinweis: Normalerweise kann man über das Sourcing (siehe letzte Zeile) Konfigurationen sauber in einem Sub-Dir (hier: /etc/networking/interfaces.d/) ablegen. Das ist sonst Best Practise und soll bei Aktualisierungen das Überschreiben von Grundkonfigurationen vermeiden. Das sollte man aber auf Proxmox Servern vermeiden! Um so wichtiger, dass man sich Überlegungen zum Sichern von PVE Host Bereichen / Ordner / Konf. macht .

Weiterer Tipp: Wenn man die IP des Hosts ändern möchte, dann sollte man nicht nur diese Datei anpassen, sondern auch mindesten noch die /etc/hosts.

127.0.0.1 localhost.localdomain localhost
192.168.2.253 pve-node-3.example.com pve-node-3

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

Für das ändern des Hostname verweise ich auf das Proxmox Wiki - Renaming PVE NODE. Weitere PVE Netzwerktechniken folgen im Abschnitt Network.

Wichtig

Man sollte erkennen, dass die /etc/network/interfaces Konfigurationen nur für einen / auf einem Node spezifiziert sind. Sie beziehen sich also nur auf diesen einen Node und die hier verdrahteten / geswitchten Instanzen. Wird eine virtuelle Instanz auf einen anderen Node verschoben, gelten die dortigen Konfigurationen.

Außerdem sind keinerlei Infrastrukturdienstleistungen wie DHCP vorgesehen.

Die Lösung ist aber in Sicht: eine zusätzliche Abstraktionsschicht mit einem Node-übergreifendem Netzwerkmanagment - ein Software defined Network (siehe Abschnitt Network mit Kapitel SDN).

Virtual Machines¶

Proxmox VE setzt für die Virtualisierung auf das bewährte Technologiegespann aus KVM und qemu

KVM (Kernel-based Virtual Machine) und
QEMU (Quick EMUlator)

KVM ist ein Modul, das direkt in den Linux-Kernel integriert ist und diesen zu einem leistungsfähigen Hypervisor macht. Das bedeutet, dass der Linux-Kernel selbst die notwendigen Funktionen für die Virtualisierung bereitstellt und so die gleichzeitige Ausführung mehrerer virtueller Maschinen auf einem physischen Server ermöglicht.

Proxmox Schema (BLACK) für KVM/qemu (Basisgrafik aus PVE Admin Guide)¶

KVM nutzt die Virtualisierungserweiterungen moderner Prozessoren, wie beispielsweise Intel VT-x oder AMD-V, um die Ausführungsgeschwindigkeit der virtuellen Maschinen nahe an der physischen Ausführung zu haben. Das Host-Betriebssystem, in der Regel eine Linux-Distribution, übernimmt dabei die Verwaltung der Ressourcen wie Arbeitsspeicher, Prozessoren und Ein-/Ausgabegeräte, während KVM als Schnittstelle zur Virtualisierung dient.

QEMU wiederum ist ein vielseitiger Emulator, der die für die virtuellen Maschinen notwendige Hardware nachbildet. Er stellt virtuelle Komponenten wie Netzwerkschnittstellen, Festplattencontroller oder Grafikkarten bereit, mit denen das Gastbetriebssystem interagieren kann.

In Kombination mit KVM übernimmt QEMU die Emulation und Verwaltung der Peripheriegeräte, während die CPU- und Speicherzugriffe dank KVM direkt auf die physische Hardware durchgereicht werden. Diese Zusammenarbeit sorgt für eine sehr hohe Performance der virtuellen Maschinen. QEMU kann theoretisch auch ohne KVM betrieben werden, was jedoch deutlich langsamer wäre, da in diesem Fall sämtliche Operationen softwarebasiert emuliert werden müssten.

In Proxmox VE arbeiten KVM und QEMU eng zusammen. KVM bildet die Grundlage für die Virtualisierung, während QEMU als Benutzerebene-Programm die Erstellung, Verwaltung und den Betrieb der virtuellen Maschinen übernimmt.

Die Konfiguration und Verwaltung erfolgt komfortabel über die Proxmox-Oberfläche, die dem Administrator die Zuweisung von Ressourcen wie CPU, RAM, Festplatten und Netzwerktechnik ermöglicht.

Nach dem Anlegen einer virtuellen Maschine startet Proxmox diese mit Hilfe von QEMU, wobei KVM die Virtualisierung der CPU und des Arbeitsspeichers übernimmt. Das Gastbetriebssystem läuft dabei in einer isolierten Umgebung und greift auf die von QEMU bereitgestellte, virtuelle Hardware zu.

Zusammenfassung:

Proxmox VE nutzt KVM als Basis-Hypervisor und QEMU als User-Space-Komponente, um die virtuellen Maschinen zu erstellen und zu betreiben.
Die Verwaltung erfolgt über Proxmox-eigene Tools und Oberflächen, die auf libvirt und anderen Verwaltungswerkzeugen aufsetzen.
Mit KVM/QEMU lassen sich VMs mit verschiedenen Betriebssystemen (Linux, Windows, BSD etc.) auf einer gemeinsamen Hardware effizient betreiben.
Funktionen wie Live-Migration, Snapshots, Hochverfügbarkeit und PCIe-Passthrough / IOMMU (direkte Durchreichung von Hardware wie Grafikkarten) werden unterstützt.

Anmerkung: meist wird QEMU kleingeschrieben. Ich habe mich hier an die Schreibweise aus der Proxmox Dokumentation (siehe Bild) gehalten. Außerdem haben die offiziellen Portale zur Technik die Großschreibung einheitlich. In meinen Ausarbeitungen wird man auch immer wieder die Kleinschreibung finden.

Infolinks:

LXC Container¶

Proxmox VE nutzt für die Container-Virtualisierung die Technologie LXC (Linux Containers), die eine effiziente und ressourcenschonende Alternative zur klassischen Virtualisierung mit virtuellen Maschinen bietet.

Im Gegensatz zu VMs, die jeweils ein eigenes Betriebssystem samt Kernel benötigen, teilen sich LXC-Container den Kernel des Hostsystems.

Dadurch entfällt die Notwendigkeit, für jede Instanz ein vollständiges Betriebssystem zu betreiben, was zu einer deutlich besseren Performance und einem geringeren Ressourcenverbrauch führt.

Proxmox Schema (BLACK) für LXC (Basisgrafik aus PVE Admin Guide)¶

LXC-Container in Proxmox VE sind darauf ausgelegt, komplette Linux-Systeme oder komplexe Anwendungen in isolierten Umgebungen auszuführen. Sie nutzen dabei Mechanismen des Linux-Kernels wie Namespaces und Cgroups, um sowohl eine strikte Trennung der Prozesse als auch eine gezielte Ressourcenverteilung zu gewährleisten.

Hinweis

Bitte die folgenden Container sauber auseinanderhalten:

Proxmox LXC vs. Ubuntu LXD vs. Container mit Docker, Podman und Co.

Die LXC Isolation sorgt dafür, dass Anwendungen innerhalb eines Containers voneinander abgeschirmt laufen und der Zugriff auf Systemressourcen kontrolliert werden kann. Allerdings hat man keine wirkliche Systemtrennung wie bei Virtuellen Maschinen VMs!

Die Verwaltung von LXC-Containern gestaltet sich in Proxmox VE besonders einfach, da die Plattform eine benutzerfreundliche, webbasierte Oberfläche bereitstellt. Über diese GUI können Container mit wenigen Schritten erstellt, konfiguriert und gestartet werden. Und selbstverständlich werden auch CLI-Tools bereitgestellt.

Der Administrator legt Parameter wie Hostname, Betriebssystem-Template, CPU- und RAM-Zuweisung sowie Netzwerkeinstellungen fest. Die Flexibilität der Container-Technologie erlaubt es, verschiedenste Linux-Distributionen und Anwendungen parallel auf einem einzigen Host zu betreiben.

Container lassen sich im laufenden Betrieb anpassen, sichern und wiederherstellen. Funktionen wie Snapshots, Backups und Live-Migration sind ebenso verfügbar wie bei klassischen VMs, solange die Container auf geeigneten Storages liegen!

Cloud-init¶

Cloud-init ist eine Open-Source-Software, die speziell dafür entwickelt wurde, den Initialisierungsprozess von Cloud-Instanzen zu automatisieren und zu standardisieren.

Aber natürlich können wir das auch in unser PVE Virtualisierung - unserer privaten Cloud - einsetzen, um von den Vorteilen zu profitieren und die Cloud in unsere eigenen Infrastrukturen zu bringen.

cloud-init.io by Canonical - Standard für benutzerdefinierte Cloud Instanzen bzw. VM¶

Sobald eine neue virtuelle Maschine oder ein Container gestartet wird, übernimmt cloud-init die Aufgabe, diese Instanz gemäß vordefinierten Vorgaben zu konfigurieren. Cloud-init wurde für VMs entwickelt. Man kann Cloud-init aber auch für LXC Container austesten.

Typische Aufgaben, die wir von Cloud-init lösen lassen könnne:

Vergabe von Hostnamen
Erstellung von Benutzern
Einrichtung von SSH-Schlüsseln
Installation von Softwarepaketen
Anpassung von Netzwerkeinstellungen

In der Praxis erreicht man so, dass Administratoren eine einzige cloud-init-Konfiguration erstellen können, die dann als Vorlage für beliebig viele Instanzen dient.

Wird eine neue VM oder ein Container in Proxmox VE mit cloud-init-Unterstützung bereitgestellt, liest das System diese Datei beim ersten Start aus und führt die darin beschriebenen Schritte automatisch aus. Dadurch lassen sich nicht nur einzelne Systeme, sondern auch ganze Serverlandschaften mit identischer Basiskonfiguration und Softwareausstattung in kürzester Zeit und ohne manuellen Aufwand aufsetzen.

Hinweis

Alternative Automatisierungstools in der Linux-/Servertechnik: Ansible, Terraform oder aktuelle Terraform-Forks wie OpenTofu.

Windows Alternative mit cloudbase-init

Die Vorgehensweise kann man für Windows mit cloudbase-init versuchen nachzubauen - viel Glück! Bei Recherche zu Proxmox + cloudbase-init und Windows kann man diverse Ansätze mit teils erfolgreichen Umsetzungen finden. Wir bleiben aber natürlich in der Linux-Welt!

Cloud-Images¶

Ein Cloud Image ist eine vorbereitete fertige VM Disk. Diese Disk wurde entworfen, um mit Cloud-init Technik die gewünschten VM Konfigurationen vorzunehmen. Mit Proxmox VE müssen wir dann noch eine VM und Cloud-init Technik rund um dieses Image erzeugen. Außerdem müssen die online bereitgestellten Cloud Images oft noch in ein für Proxmox taugliches Format gewandelt werden (oft: qcow2).

Links:

https://cloud-images.ubuntu.com/noble/
https://cloud-images.ubuntu.com/noble/current/noble-server-cloudimg-amd64.img

mit YT-Anleitung: MRP - Setting up Cloud-INIT VM inside Proxmox

Die Übung ist auch für weitere technische Umsetzungen oder auch Reparaturen von VMs und deren Datenträgern super! Anm.: qm importdisk ... Alias für qm disk import ...

qm disk import 102 /var/lib/vz/template/iso/noble-server-cloudimg-amd64.img local-lvm --format qcow2
Thomas Krenn - Cloud init Templates Quickstart

Thomas Krenn hat auch gleich noch eine Bauanleitung für die Kommandozeile für die Erstellung eines Cloud Init Template basierend auf einem Cloud-image.

Thomas Krenn - Cloud init Templates Quickstart - Cloud Image

Debian Cloud-Images

Viele Darstellungen nutzen Ubuntu Cloud Images, da Ubuntu/Canonical ja auch hinter der Cloud-init Technik steht. Aber selbstverständlich haben wir auch für Debian fertige Images mit Cloud-init Technik.

Hinweis

Ich empfehle daher erste Übungen mit Ubuntu Cloud Images, weil diese gleich in der richtigen Abbildvariante (img) vorliegen.

Die Debian Images müssen manuell heruntergeladen und dann nach diversen Anleitungen manuell einer VM zugewiesen werden.

Beispiel: https://alshowto.com/proxmox-and-debian-12-cloud-image/

Templates¶

In Proxmox VE dienen Templates als Grundlage für die schnelle und standardisierte Bereitstellung von VMs (Virtuellen Maschinen) und LXC Containern.

Die Technik basiert darauf, dass eine bereits vollständig konfigurierte und betriebsbereite VM oder ein Container in einen speziellen Vorlagenmodus versetzt wird. So beinhaltet diese Vorlage das Betriebssystem, alle notwendigen Anwendungen und die gewünschten Einstellungen.

Ein Template ist nicht mehr direkt startbar. Stattdessen wird es als Vorlagenmodus für neue Instanzen genutzt.

Der Prozess beginnt damit, dass eine virtuelle Maschine - oder ein Container - nach den individuellen Anforderungen eingerichtet wird. Sobald alle Konfigurationen abgeschlossen sind, erfolgt die Umwandlung in ein Template. Die Aufgaben lassen sich direkt über die Benutzeroberfläche durchführen.

Nach der Umwandlung steht die Vorlage im System zur Verfügung und kann beliebig oft zur Erzeugung neuer Systeme (Clones) genutzt werden.

Das Klonen einer Vorlage erzeugt eine neue, eigenständige Instanz, die alle Eigenschaften und Einstellungen des Templates übernimmt.

Man unterscheidet die folgenden Arten von Clones.

vollständigen Klon, der völlig unabhängig von der Vorlage arbeitet
Linked Clone, der sich die Daten mit dem Template teilt

Der Linked Clone spart viel Speicherplatz. Es werden nur Änderungen separat speichert. Diese Technik ermöglicht es, innerhalb kürzester Zeit neue virtuelle Maschinen oder Container bereitzustellen, die exakt den Vorgaben entsprechen. Allerdings sind solche Linked Clones ohne ihre Templates nicht mehr nutzbar!

Hinweis

Je nach Betriebssystem müssen die Templates oder die erzeugten Clones individualisiert werden. Hier gibt es - wieder je nach Betriebssystem - unterschiedliche Anleitungen.

Windows: Tool sysprep - Linux: Cloud-init clean reference (Erinnerung: eigentlich nicht für Container gedacht!)

Linux: manuelle Bearbeitung - Proxmox Series #7 Converting a Container into a Reusable Template

System aktualisieren und Aufräumen: apt update && apt upgrade -y && apt clean
/etc/machine-id - Machine-ID resetten: z.B. truncate -s 0 /etc/machine-id
/var/log/* - alle Logs löschen
/etc/ssh - configs - z.B. rm /etc/ssh/ssh_host_* - Vorsicht bei SSH-Nutzung - erst ganz am Schluss ausloggen! - beim Nutzen von LXC muss man manuell mit dpkg-reconfigure openssh-server neue Keys erzeugen, weil uns SystemD - bzw. vollständiges Prozessmanagement - fehlt!

Für das System-Preppen (aka sysprep) von Betriebssstemen stehen auch diverse betriebssystem-seitige und Virtualisierungs-Tools parat, deren Einsätze aber hier den Rahmen sprengen.

Users / Groups¶

Proxmox VE integriert eine umfassende Benutzer- und Gruppenverwaltung, die auf einem rollenbasierten, fein granularen Berechtigungssystem basiert.

Jede Benutzeridentität wird in Proxmox durch einen Benutzernamen und einen sogenannten Realm, also die Authentifizierungsquelle, eindeutig bestimmt. Die Plattform unterstützt verschiedene Authentifizierungsmethoden:

PAM - Linux PAM standard authentication - Authentifizierung gegen den (PVE) Linux Server
PVE - Proxmox VE authentication server - in PVE integrierte Benutzer- und Gruppen
LDAP oder Microsoft Active Directory
OpenID Connect

Es is also möglich, lokale als auch externe Nutzerquellen flexibel und passend zur eigenen Infrastruktur einzubinden.

Hinweis

In Proxmox Seminaren konzentriere ich mich auf Linux PAM und die PVE Authentifizierung. Alles Andere sprengt den Rahmen, oder müsste gesondert angefragt werden.

Die Verwaltung erfolgt zentral, wobei Benutzer mit individuellen Attributen wie Vor- und Nachname, E-Mail-Adresse, Gruppenmitgliedschaften und optionalen Ablaufdaten angelegt werden können.

Gruppen dienen dazu, mehrere Benutzer zusammenzufassen und diesen gemeinsam bestimmte Berechtigungen zuzuweisen. Die eigentlichen Zugriffsrechte werden durch sogenannte Rollen definiert, die jeweils eine Sammlung spezifischer Privilegien enthalten. Diese Rollen lassen sich entweder einzelnen Benutzern oder Gruppen zuordnen und auf beliebige Objekte wie virtuelle Maschinen, Speicher oder Cluster-Nodes anwenden.

So entsteht eine feingranulare Rechteverwaltung, bei der exakt gesteuert werden kann, wer welche Aktionen auf welchen Ressourcen durchführen darf.

Die Konfiguration der Benutzer- und Gruppenverwaltung ist sowohl über die grafische Oberfläche als auch über die Kommandozeile möglich. Für die Kommandozeile steht das Werkzeug pveum zur Verfügung, das alle Funktionen zur Benutzer-, Gruppen- und Rollenverwaltung abbildet. Änderungen an Berechtigungen werden sofort wirksam und ermöglichen eine flexible Anpassung an organisatorische oder sicherheitsrelevante Anforderungen.

Natürlich (könnte) man auch Zwei-Faktor-Authentifizierung aktivieren. Auch diese Umsetzungen werden in PVE Seminaren nicht durchgeführt. MFA verändert die PVE-Technik nicht und richtet sich nach Ihrer Infrastruktur und Ihren Wünschen.

PVE Tools¶

Das Management über das PVE Dashboard - also die PVE GUI - ist oft unsere erste Anlaufstelle. Allerdings gibt es von Proxmox (aka die Firma) und auch aus anderen Quellen weitere Tools. Das ist eben so bei Open-Source.

Tools für Proxmox Virtual Environment (Bild: pexels-yavuz-eren-gungor-188978162-19582317.jpg)¶

Ich habe in einer Vorversion dieser Ausarbeitung den Proxmox Datacenter Manager vorgestellt - damals noch in ersten VorVorVorarb- bzw. Alpha-Versionen.

Mittlerweile habe ich den PDM in einen Extra-Abschnitt Datacenter Manager ausgelagert. Die Firma Proxmox wird PDM in den nächsten Jahren sicherlich immer weiter mit Funktionen und Fähigkeiten ausstatten, um den gefühlten Abstand zu den Virtualisierungs-Klassikern (siehe vCenter et. al.) zu verringern.

Hinweis

Und natürlich könnte man auch argumentieren, dass die HelperScripts eine solche Werkzeugsammlung darstellen. Es gibt in den dort hinterlegten Skripts auch wirlich wahre Schätze für den eigenen PVE Werkzeugkasten.

PVE CLI¶

Wir können die Verwaltung der Proxmox Virtualisierungen auch über das Command Line Interface Tools umsetzen.

Direct Link - Appendix A. Command-line Interface

Hier haben wir neben den Standard-Werkzeugen der KVM/qemu und LXC Container Techniken auch Zugriff auf die speziellen Tools der Proxmox Umsetzungen via PVE.

CLI Tools der PVE Technik im PVE Admin Guide¶

Ich zeige in Seminaren auf jeden Fall den Einsatz der CLI-Tools für die direkte Nutzung unserer VMs mit KVM/QEMU (siehe qm) und der LXC Container (siehe pct).

Dazu kommen noch diverse Tools für Service Daemons oder die Umsetzungen über Konfigurationsdateien.

ProxMenux¶

Ich habe schon häufiger gedacht, dass ich so manche Stunde mit meinen Online-Feeds und Quellen verschwende. Gerade aktuell kann man, wenn man will, stundenlang belanglosen KI Technik Videos zusehen, wenn man wollte.

Aber dann gibt es auch mal wieder diese Perlen. Und um eine solche handelt es sich meines Erachtens bei ProxMenuX. Natürlich hat man viele Aufrufe für die Konsole im Kopf, bzw. in der CLI-History (fzf).

Aber eine so gut gemeint und gedachte Zusammenstellung - insbesondere für das Terminal (siehe ssh!) - ist wirklich eine positive Sache und kann natürlich von jedem nach eigenen Wünschen eingesetzt oder erweitert werden. Also fix mal auf Testserver ausprobiert:

Linksammlung ProxMenux:

GitHub MacRimi/ProxMenux
Website ProxMenux
Introduction ProxMenux
Guides ProxMenux - viele nützliche Links!

ProxMenux in Action:

ProxMenux GUI - in den Untermenüs CLI-Commands zum Stöbern¶

Und spätestens, wenn man sich die Script-Codes auf GitHub durchstöbert ist man auf halbem Weg Down the rabbit hole. Aber es lässt sich auch so vieles Lernen und Entdecken!

Storage¶

Die Verwaltung und Nutzung von Storage in Proxmox VE ist äußerst flexibel gestaltet. Über eine zentrale Konfigurationsdatei /etc/pve/storage.cfg lassen sich beliebig viele Speicherpools anlegen, die entweder lokal auf dem Server oder als gemeinsam genutzte Speicher im Netzwerk eingebunden werden können.

Dabei unterscheidet Proxmox VE - wie alle Technischen Storageumsetzungen - grundsätzlich zwischen File-Level und Block-Level Storage.

File-Level Storage (aka Datei-/Ordner-orientierte Speicher)

Verzeichnisse - Lokal
NFS Exporte - Linux Tech. / Windows hat Features für NFS
SMB/CIFS Freigaben - Windows Tech / Linux hat SMB-Tools und Samba-Server
CephFS - verteiltes Dateisystem, hier Datei-/Ordner-orientiert

File-Level-Speicher wie lokale Verzeichnisse, NFS, CIFS/SMB, GlusterFS oder CephFS ermöglichen die Ablage verschiedenster Inhalte – von VM-Images über Container bis hin zu Backups und ISO-Dateien. Es werden POSIX-kompatibles Dateisystem eingesetzt. In Kombination mit Formaten wie qcow2 erhält man auch Snapshot-Funktionalität.

Block-Level Storage (aka Block-orientierter Speicher)

LVM - Logical Volume Manager
LVM-Thin - unterstützt Thinpools / Thin Provisioning
iSCSI - Stichwort: iSCSI Targets
ZFS - Zettabyte FS - Features: integrierte Snapshots, Klone und Datenintegrität
Ceph RBD - virtuelle Blockgeräte (RADOS Block Device)

Block-Level-Speicher wie LVM, LVM-Thin, iSCSI, ZFS oder Ceph/RBD sind auf die Speicherung von Rohdaten spezialisiert. Dieses geschieht meist in Form von virtuellen Festplatten für VMs und Container. Diese Speicherarten bieten häufig Unterstützung für Snapshots und Thin Provisioning, was eine effiziente Nutzung der physischen Kapazitäten ermöglicht.

Filesystems (aka Dateisysteme) - es können alle unter Linux verfügbaren Dateisysteme genutzt werden:

ext4
XFS
Btrfs oder auch
ZFS

Die Entscheidung für ein bestimmtes Dateisystem hängt dabei von den jeweiligen Anforderungen an Performance, Redundanz und Snapshot-Funktionalität ab.

Storage Typen¶

Proxmox VE (PVE) unterstützt also eine Vielzahl von Speichertechnologien, die sich in die folgenden zwei Hauptklassen einteilen lassen:

File Level Storage - speichern auf Datei-/Ordner-Ebene

Bietet Zugriff auf ein vollständiges Dateisystem
Flexibel für verschiedene Inhaltstypen wie VM-Images, Container, ISOs, Backups usw.
Beispiele: Directory, NFS (klass. Linux), CIFS/SMB (klass. Windows), CephFS, BTRFS

Block Level Storage - speichern auf Blockebene der Datenträger

Speichert Daten als große, zusammenhängende Blöcke (z.B. für VM-Images).
Meist keine Speicherung von ISOs oder Backups möglich
Beispiele: LVM, LVM-Thin, iSCSI, Ceph RBD, ZFS (zvol), ZFS über iSCSI.

An dieser Stelle kann man sich auch die Gegenüberstellung der Begriffe NAS und SAN klarmachen bzw. erinnern:

Hinweis

NAS - Datei-orientiert mit NFS-Exporten oder SMB/CIFS-Freigaben
SAN - Block-orientiert mit iSCSI oder auch FCoE

Wenn man in Windows ein iSCSI-Target verbindet dann zeigt sich in der Datenträgerverwaltung diese Verbindung wie eine eingebaute Festplatte / SSD.

Übersicht der wichtigsten Storage-Typen

Typ	Plugin	Ebene	Shared	Snapshots	Beschreibung
Directory	dir	File	Nein	Nein (*)	Lokales Verzeichnis, flexibel für alle Inhalte
LVM	lvm	Block	Nein	Nein	VM-Images als Logical Volumes
LVM-Thin	lvmthin	Block	Nein	Ja	Thin Provisioning für effiziente Platzausnutzung
ZFS (local)	zfspool	Beides	Nein	Ja	Fortgeschrittenes Dateisystem, Snapshots/Clones
NFS	nfs	File	Ja	Nein	Netzwerk-Share, einfach zu integrieren
CIFS/SMB	cifs	File	Ja	Nein	Windows-Netzwerkfreigabe
iSCSI	iscsi	Block	Ja	Nein	Netzwerkbasiertes Block-Device
Ceph RBD	rbd	Block	Ja	Ja	Hochverfügbarer, verteilter Speicher
CephFS	cephfs	File	Ja	Ja	Verteiltes Dateisystem
GlusterFS	glusterfs	File	Ja	Nein (*)	Verteiltes Dateisystem
Proxmox Backup	pbs	Beides	Ja	n/a	Speziell für Backups optimiert
BTRFS	btrfs	File	Nein	Ja	Modernes Dateisystem, Snapshots (Techn. Preview)
ZFS über iSCSI	zfs	Block	Ja	Ja	ZFS-Volumes als iSCSI-Targets

Anm. (*): Snapshots auf File-basierten Storages sind mit dem qcow2-Format möglich

Typische Anwendungsfälle für Storage Typen:

Directory: Speicherung aller Inhaltstypen, einfach zu konfigurieren, keine Storage-Snapshots
LVM/LVM-Thin: Effiziente Speicherung von VM-Disks, Snapshots nur bei Thin-Pools
ZFS: Lokale Speicherung mit fortschrittlichen Features wie Snapshots und Deduplizierung
NFS/CIFS: Netzwerkbasierte Speicherung, ideal für geteilte Ressourcen und ISO-Images
Ceph (RBD/CephFS): Hochverfügbarer, verteilter Speicher für Cluster-Setups
iSCSI: Blockbasierter Netzwerkspeicher, siehe: SAN
Proxmox Backup Server: Speziell für effiziente und schnelle Backups von VMs und Containern

LVM¶

Der Logical Volume Manager (LVM) ist eine Technik zur flexiblen Verwaltung von Speicherplatz unter Linux. Im Gegensatz zur klassischen Partitionierung, bei der Speicherbereiche fest und starr aufgeteilt werden, fügt LVM eine zusätzliche logische Schicht zwischen den physischen Datenträgern und den Dateisystemen ein.

Diese Schicht abstrahiert die tatsächliche Hardware und ermöglicht es, Speicherplatz dynamisch zu verwalten, zu erweitern oder zu verkleinern, ohne dass bestehende Daten verloren gehen oder das System neu gestartet werden muss.

Die Funktionsweise von LVM basiert auf drei Ebenen: Physical Volume (PV) - Volume Group (VG) - Logical Volume (LV)

Zunächst werden physische Datenträger wie Festplatten oder Partitionen als sogenannte Physical Volumes (PV) bereitgestellt.
Diese werden zu einer Volume Group (VG) zusammengefasst, die als flexibler Speicherpool dient.
Aus diesem Pool können dann beliebig große logische Volumes (LV) erzeugt werden, die für das System wie herkömmliche Partitionen erscheinen.

Auf letzteren logischen Volumes werden die Dateisysteme angelegt und eingebunden.

Der Vorteil von LVM liegt darin, dass Speicherplatz im laufenden Betrieb angepasst werden kann. So lassen sich beispielsweise neue Festplatten einfach in eine bestehende Volume Group integrieren, wodurch sich der verfügbare Speicherplatz erhöhen lässt.

Logische Volumes können also nachträglich vergrößert oder verkleinert werden, um flexibel auf veränderte Anforderungen zu reagieren. Diese Flexibilität macht LVM besonders für Server, aber auch für Desktop-Systeme interessant, bei denen sich die Speicheranforderungen im Laufe der Zeit ändern können.

LVM vs. LVM-Thin¶

Das klassische LVM (Logical Volume Manager) und das modernere LVM-Thin sind beides Technologien zur flexiblen Verwaltung von Speicherplatz unter Linux und werden somit von Proxmox VE unterstützt.

Beide Varianten ermöglichen es, den verfügbaren Speicher in logische Volumes zu unterteilen, die sich einfach vergrößern oder verkleinern lassen. Während das klassische LVM sogenannte thick provisioned Volumes erstellt, also den kompletten Speicherplatz eines Volumes komplett reserviert,

Dem Gegenüber bietet LVM-Thin die Möglichkeit des thin provisioning. Hierbei wird Speicherplatz erst dann physisch belegt, wenn er tatsächlich von einer VM oder einem Container genutzt wird, was eine effizientere Ausnutzung großer Speicherpools ermöglicht.

Die Gemeinsamkeit beider Ansätze liegt in der grundlegenden Verwaltung von Speicher über Volume Groups und Logical Volumes. Unterschiede zeigen sich vor allem im Umgang mit der Speicherzuweisung und der Performance unter Last.

LVM-Thin erlaubt die komfortable Verwaltung vieler Volumes und unterstützt Snapshots effizient. Allerdings kann es bei intensiven Schreibvorgängen oder beim Wiederherstellen großer Datenmengen zu spürbar höherer Systemlast und längeren Wartezeiten kommen.

Klassisches LVM bleibt unter solchen Bedingungen meist performanter und robuster, da der Speicher bereits fest zugeordnet ist und keine zusätzliche Verwaltungsschicht benötigt wird.

Ein weiterer Unterschied betrifft die Ausfallsicherheit: LVM-Thin gilt zwar als moderner und bietet bei richtiger Nutzung viele Vorteile. Allerdings berichten Anwender gelegentlich von Problemen nach Stromausfällen, bei denen sich LVM-Thin-Pools schwieriger reparieren lassen als klassische LVM-Volumes. In stabilen Umgebungen mit redundanter Stromversorgung ist dieses Risiko jedoch geringer.

Wir fassen das mit einer Pro-Contra-Tabellen zu LVM vs. LVM-Thin zusammen. Lassen Sie uns zusammen durch dick und dünn gehen ;-)

LVM - Vorteile	LVM - Nachteile
Speicher wird beim Anlegen direkt fest zugewiesen, was für vorhersehbare Performance sorgt.	Speicherplatz kann nicht überbucht werden, daher weniger flexibel.
Robust und weniger fehleranfällig bei Stromausfällen oder Systemproblemen.	Speicherplatz kann bei vielen VMs schnell knapp werden, da alles vorreserviert ist.
Einfache Verwaltung, besonders für kleinere Umgebungen oder einzelne VMs.	Weniger flexibel beim Anlegen und Verwalten vieler Volumes.
Vorhersehbare Last und geringe IO-Wait auch bei großen Datenmengen.	Keine platzsparenden Vorteile bei wenig genutzten Volumes.

LVM-Thin - Vorteile	LVM-Thin - Nachteile
Speicherplatz wird nur bei tatsächlicher Nutzung belegt (thin provisioning), dadurch effizienter.	Bei intensiven Schreibvorgängen oder Backups kann die Systemlast deutlich steigen.
Snapshots und Klonen sind effizient und ressourcenschonend möglich.	Erhöhter Überwachungsaufwand, da eine Überbuchung des Speicherpools zu Datenverlust führen kann.
Sehr flexibel bei der Verwaltung vieler VMs und dynamischer Speicherzuweisung.	Nach Stromausfällen oder bei Fehlern kann die Wiederherstellung schwieriger sein als bei klassischem LVM.
Spart Speicherplatz, wenn VMs oder Container weniger als ihre maximale Größe nutzen.	Performanceverlust kann bei vielen gleichzeitigen Schreibzugriffen auftreten, insbesondere bei Backups.

LVM Übung¶

Da die Verständnisse rund um LVM für die PVE Nutzungen sehr wertvoll sind, werden in meinen Seminaren hierzu praktische Umsetzungen trainiert, die eine Vergrößerung von Laufwerksbereichen ermöglichen.

Anleitung: Thomas Krenn - LVM vergrößern

Die Übung lässt sich (natürlich) am Besten an einer PVE VM Testinstallation durchführen, die wir bei der Inbetriebnahme von PVE bestimmt durchgeführt haben.

In den meisten Fällen installiere ich einfach eine Debian Grundinstallation und wähle während des grafischen Installers LVM für die Partionierungen aus. Man sollte dort möglichst das /home Directory mit separatem Volume verfügbar haben, damit die Übungen mit LVM Sinn machen können.

ZFS¶

ZFS ist ein modernes, fortschrittliches Dateisystem, das ursprünglich von Sun Microsystems entwickelt wurde und heute als Open-Source-Lösung unter anderem in Proxmox VE weit verbreitet ist.

Beispielhaftes ZFS RAID10 mit 4 Storage Devices¶

Hinweis

Bei Internet-Recherchen zu ZFS wird der geneigte ITler auch immer wieder bei TrueNAS landen. Die Infos dort zu ZFS sind aller Ehren wert. Allerdings stehen in Proxmox VE nicht so viele Konfigurationen über das Dashboard / Management GUI zur Verfügung!

ZFS kombiniert Dateisystem und Volume-Manager in einem und setzt auf ein innovatives COW - Copy-on-Write-Verfahren: Daten werden nie überschrieben, sondern immer in neue Blöcke geschrieben. So bleibt das Dateisystem stets konsistent, und Snapshots sowie Klone lassen sich effizient und zuverlässig erstellen.

Hier folgt einen kurze Übersicht über Eigenschaften und Techniken von ZFS:

Integriertes RAID

ZFS verwaltet Festplatten als sogenannte Pools und unterstützt verschiedene RAID-Level (RAID0, RAID1, RAID10, RAIDZ-1, RAIDZ-2, RAIDZ-3), einschließlich Hot-Spare-Disks und SSD-Caching.
Prüfsummen und Selbstheilung

Jeder Datenblock erhält eine Prüfsumme. Bei jedem Lesevorgang prüft ZFS die Integrität und kann beschädigte Daten automatisch aus redundanten Kopien reparieren.
Snapshots und Klone

Snapshots frieren den Zustand des Dateisystems zu einem bestimmten Zeitpunkt ein. Klone ermöglichen effiziente Kopien von Snapshots.
Deduplizierung und Komprimierung

Redundante Daten werden nur einmal gespeichert, und Daten können transparent komprimiert werden, um Speicherplatz zu sparen.
Verschlüsselung

ZFS unterstützt die Verschlüsselung von Daten auf Dateisystemebene.
Skalierbarkeit

ZFS ist für sehr große Datenmengen und hohe Dateisystemgrößen ausgelegt.
Einfache Verwaltung

Pools und Dateisysteme lassen sich flexibel und einfach erweitern oder migrieren.

ZFS ist besonders für den Einsatz in virtualisierten Umgebungen wie Proxmox VE prädestiniert.

Und zum Ende eine Tabelle: Überblick ZFS

Feature	Vorteil
Integriertes RAID	Einfache Redundanz und Ausfallsicherheit
Prüfsummen	Automatische Erkennung und Reparatur von Datenfehlern
Snapshots/Klone	Effiziente Backups, Rollbacks und Testumgebungen
Deduplizierung	Speicherplatzersparnis bei redundanten Daten
Komprimierung	Reduzierter Speicherbedarf, bessere Performance
Verschlüsselung	Schutz sensibler Daten gegen unbefugten Zugriff
Skalierbarkeit	Geeignet für kleine bis sehr große Installationen
Einfache Verwaltung	Pools und Dateisysteme flexibel erweiterbar und migrierbar

Network¶

Proxmox VE nutzt für die Netzwerkkonfiguration den Linux-Netzwerkstack und bietet damit eine hohe Flexibilität bei der Gestaltung der Netzwerkinfrastruktur. Die Verwaltung kann entweder komfortabel über die grafische Oberfläche oder direkt durch Bearbeiten der Konfigurationsdateien erfolgen.

Im Zentrum der Netzwerktechnik steht die Verwendung von Linux-Bridges, die als virtuelle Switches agieren und sowohl physische als auch virtuelle Netzwerkschnittstellen miteinander verbinden. Diese Bridges ermöglichen es, virtuelle Maschinen und Container direkt in das gewünschte (physische oder virtuelle) Netzwerk einzubinden, sodass sie als eigenständige Geräte agieren können.

Für komplexere Anforderungen lassen sich VLAN zur Netzwerksegmentierung und Bonds zur Erhöhung der Ausfallsicherheit und/oder Bandbreite konfigurieren.

Auch NAT-Routing ist möglich, um VMs in isolierten Netzwerken mit Internetzugang zu versorgen, ohne sie direkt dem externen Netz auszusetzen. Überhaupt kann man die virtuellen Maschinen nach eigenen Wünschen an bestehende physikalische oder virtuelle Netzwerkstrukturen anpassen. Mit Hilfe von SDN - Software Defined Netzworks ist seit PVE 8.x eine weitere Netzwerkumsetzung auf Datacenter-Ebene hinzugekommen. Damit haben sich weitere Vereinfachungen für die Netzwerkversorgung von VMs und LXC Containern auf Single Nodes oder Clustern ergeben.

In Cluster-Umgebungen kann Proxmox VE also SDN einsetzen, um virtuelle Netzwerke über mehrere Nodes hinweg flexibel zu gestalten. Die gesamte Netzwerkkonfiguration bleibt dabei zentral verwaltbar und lässt sich dynamisch an die Bedürfnisse der jeweiligen Umgebung anpassen.

Networking¶

Die Netzwerktechnik in Proxmox VE ist darauf ausgelegt, eine flexible und leistungsfähige Anbindung von virtuellen Maschinen und Containern an interne und externe Netzwerke zu ermöglichen.

Im Mittelpunkt steht dabei die Nutzung von sogenannten Linux-Bridges, die als virtuelle Switches fungieren und den Netzwerkverkehr zwischen den virtuellen Instanzen und dem physischen Netzwerk vermitteln.

Proxmox Network Bridges — Proxmox Create Network Bridges¶

Bereits bei der Installation von Proxmox wird in der Regel eine erste Bridge (meist vmbr0) eingerichtet, die mit einer physischen Netzwerkschnittstelle des Hosts verbunden ist und so den Zugang zum lokalen Netzwerk und/oder zum öffentlichen WAN (Internet) herstellt.

Virtuelle Maschinen und Container werden bei der Erstellung einer Bridge zugewiesen, sodass sie über diese Schnittstelle kommunizieren können. Eine Bridge kann dabei mehreren VMs und Containern gleichzeitig zugeordnet werden, wodurch diese sich wie Geräte im selben physischen Netzwerksegment verhalten. Wie gesagt: eine Bridge verhält sich quasi wie ein Switch!

Man kann weitere Bridges nach eigenen Vorgaben definieren. So kann man interne Netze für die Kommunikation zwischen virtuellen VMs/Containern schaffen oder unterschiedliche physische Netzwerkschnittstellen getrennt anbinden.

Schauen wir uns ein paar beispielhafte Netzwerkumsetzungen aus der Proxmox VE Praxis an.

Bonds/ Link Aggregation¶

In einfachen Worten: wir setzen jetzt viele Netzwerkadapter ein!

Beispiel-Videos:

PROXMOX: Different Network Cards For Different VMs - Lifesaver: ifup eno1 (bei ca. 1:20 ;-)
Proxmox Networking: Adding a New Network Interface

Bonding vs. Link Aggregation vs. NIC-Teaming (Win)?

Beipiel-Video:

Proxmox Network Setup: LACP Bonding, VLANs & Bridge (FAST & EASY Guide!)

Bonding und Link Aggregation bezeichnen in der Netzwerktechnik grundsätzlich dasselbe Prinzip: Mehrere physische Netzwerkverbindungen werden zu einer logischen Verbindung zusammengefasst, um sowohl die Bandbreite zu erhöhen als auch die Ausfallsicherheit zu verbessern.

Im Linux-Umfeld wird meist der Begriff Bonding verwendet, während in der allgemeinen Netzwerktechnik und im internationalen Standard von Link Aggregation gesprochen wird.

Auch Begriffe wie Port Trunking, Channel Bonding oder NIC Teaming werden je nach Hersteller oder Betriebssystem synonym verwendet.

Beide Techniken ermöglichen es, dass der Datenverkehr auf mehrere physische Leitungen verteilt wird. Fällt eine Verbindung aus, übernehmen die verbleibenden Leitungen automatisch den Datenverkehr, sodass keine Unterbrechung für den Nutzer entsteht. Die Verwaltung erfolgt oft über das standardisierte Link Aggregation Control Protocol (LACP), das die automatische Erkennung und Konfiguration solcher Verbindungen zwischen Geräten ermöglicht.

Somit ist Link Aggregation ist der übergeordnete, herstellerunabhängige Begriff und wird durch den IEEE-Standard 802.3ad (seit dem Jahr 2008 IEEE 802.1AX ) definiert. Während Bonding auf Betriebssystemebene (z. B. im Server) konfiguriert wird, findet die Link Aggregation meist auf Netzwerkgeräten wie Switches statt, wobei beide Seiten der Verbindung entsprechend konfiguriert werden müssen.

NAT-Routing¶

..index:: NAT-Routing

NAT-Routing ist eine der maßgeblichen Netzwerk-Grundtechniken vom Homelab (siehe Ihr Router) bis hin zum Enterprise-Network. Wir haben alle nötigen Techniken an Bord, um NAT-Routing umzusetzen.

Hinweis

Technisch: es handelt sich um SNAT (statische öffentliche IP) oder Masquerading (bei wechselnder öffentlicher IP).

Die Konfigurationen können wir über iptables Konfigurationen in der /etc/network/interfaces des gewünschten Nodes hinterlegen. Normalerweise liefert man das über Scripts oder persistent Techniken aus. Wir nutzen - oder besser gesagt nutzten (Vergangenheit) - direkt die NIC-Konfig des Nodes.

Beispielhafte /etc/network/interfaces Konfiguration:

root@pvenuc:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface enp89s0 inet manual
#Bottom Nic of NUC

post-up echo 1 > /proc/sys/net/ipv4/ip_forward

post-up   iptables -t nat -A POSTROUTING -s '10.0.11.0/24' -o vmbr0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.0.11.0/24' -o vmbr0 -j MASQUERADE

post-up   iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2222 -j DNAT --to 10.0.11.10:22
post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 2222 -j DNAT --to 10.0.11.10:22

post-up   iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2223 -j DNAT --to 10.0.11.40:22
post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 2223 -j DNAT --to 10.0.11.40:22

iface enp88s0 inet manual
#Top Nic of NUC

auto vmbr0
iface vmbr0 inet static
    address 192.168.2.11/24
    gateway 192.168.2.1
    bridge-ports enp89s0
    bridge-stp off
    bridge-fd 0
#WAN (FritzBox)

auto vmbr11
iface vmbr11 inet static
    address 10.0.11.1/24
    bridge-ports none
    bridge-stp off
    bridge-fd 0

iface wlo1 inet manual

Die Konfiguration wird in Seminaren mit Trainees erläutert und getestet. In Kürze: Man erkennt den Haupt-NIC enp89s0, der für den Standardswitch vmbr0 genutzt wird. Außerdem wir ein Switch vmbr11 für das Teilnetz 10.0.11.0/24 mit Gateway-Adresse 10.0.11.1 konfiguriert. Jede VM / jeder LXC Container, der mit vmbr11 konfiguriert wird landet also in diesem Subnetz. Allerdings haben wir keinerlei DHCP! Die Instanzen müssen also manuell konfiguriert werden.

Tipp

Die Konfiguration des Nodes kann sich mit iptables (eigentlich xtables) Befehlen anzeigen lassen:

iptables -L bzw. iptables -L -t filter - Tabelle filter leer

iptables -L -t nat - Tabelle nat mit den Konfigurationen (s.o.)

Die Instanzen mit IPs 10.0.11.10 und 10.0.11.40 bekommen neben dem NAT-Routing auch noch eine Portweiterleitung zu ihrem jeweiligen SSH-Service.

Beispiel für NAT-Routing online:

VLAN¶

Die Umsetzung von VLANs in Proxmox VE ermöglicht, virtuelle Netzwerke logisch voneinander zu trennen und gezielt zu segmentieren.

Proxmox verwendet dazu in der Regel sogenannte Linux-Bridges, die als virtuelle Switches fungieren. Eine zentrale Rolle spielt dabei die Option VLAN aware, die bei der Konfiguration einer Bridge aktiviert werden kann. Ist diese Funktion eingeschaltet, kann der Netzwerkverkehr für verschiedene VLANs über eine einzige physische Netzwerkschnittstelle transportiert werden, wobei die Zuordnung zu den jeweiligen VLANs durch die VLAN-Tags erfolgt.

Die eigentliche Zuweisung eines VLANs zu einer virtuellen Maschine oder einem Container geschieht direkt bei der Netzwerkkonfiguration der jeweiligen Maschine. In der Proxmox-Oberfläche lässt sich für jede Netzwerkkarte einer VM oder eines Containers eine VLAN-ID eintragen. Der Netzwerkverkehr dieser Instanz wird dann mit dem entsprechenden VLAN-Tag versehen und gelangt so in das gewünschte Netzwerksegment.

Damit diese Kommunikation funktioniert, muss auch der angeschlossene physische Switch so konfiguriert sein, dass er die entsprechenden VLAN-Tags akzeptiert und weiterleitet.

Firewall¶

Die Firewall-Funktion in Proxmox VE ist ein zentrales Werkzeug zur Absicherung der Virtualisierungsumgebung. Sie basiert auf netfilter (bzw. iptables) und läuft auf jedem einzelnen Cluster-Knoten, wodurch eine vollständige Isolation zwischen den virtuellen Maschinen und Containern gewährleistet wird. D ie Konfiguration der Firewall erfolgt entweder über die grafische Weboberfläche oder über die Kommandozeile und wird zentral im Cluster-Dateisystem gespeichert, sodass alle Einstellungen konsistent und nachvollziehbar bleiben.

Mit der Proxmox VE Firewall können Administratoren detaillierte Regeln für den ein- und ausgehenden Netzwerkverkehr festlegen. Diese Regeln lassen sich auf verschiedenen Ebenen anwenden:

global für das gesamte Datacenter
spezifisch für einzelne Nodes oder
gezielt für einzelne virtuelle Maschinen oder Container.

So ist es möglich, den Zugriff auf bestimmte Ports, IP-Adressen oder Subnetze zu erlauben oder zu blockieren und damit die Sicherheit nach eigenen Wünschen zu steuern.

Die Firewall unterstützt sowohl IPv4 als auch IPv6 und filtert standardmäßig den Datenverkehr für beide Protokolle. Funktionen wie IP-Sets, Aliase, Sicherheitsgruppen und Log-Ratenbegrenzung erleichtern die Verwaltung komplexer Regelwerke und ermöglichen eine flexible Anpassung an unterschiedliche Sicherheitsanforderungen.

Durch die dezentrale Architektur der Firewall bleibt die Netzwerkbandbreite hoch, da kein Flaschenhals entsteht.

Wird die Firewall aktiviert, sind zunächst alle eingehenden Verbindungen blockiert!

Ausnahmen:

Zugriffs auf die Proxmox-Weboberfläche und
SSH vom lokalen Netzwerk

Administratoren müssen explizit Regeln anlegen, um weiteren Zugriff zu ermöglichen. Diese Vorgehensweise erhöht die Grundsicherheit der Umgebung erheblich und schützt die virtuellen Ressourcen effektiv vor unerwünschten oder schädlichen Verbindungen.

SDN¶

Die SDN-Technik (Software Defined Network) in Proxmox VE erlaubt es, Netzwerke für virtuelle Maschinen und Container flexibel, zentralisiert und softwaregesteuert zu verwalten.

Im Gegensatz zu klassischen, rein hardwarebasierten Netzwerken trennt SDN die Steuerungsebene von der Datenebene und verlagert die Kontrolle über die Netzwerkinfrastruktur in eine zentrale Managementinstanz.

Proxmox VE nutzt diese Architektur, um virtuelle Netzwerke – sogenannte VNets – in sogenannten Zonen zu organisieren. Jede Zone bildet dabei einen logisch getrennten Netzwerkbereich, in dem sich mehrere VNets befinden können, die wiederum in Subnetze unterteilt sind.

Die gesamte Konfiguration erfolgt über die Proxmox-Weboberfläche auf Ebene Datacenter.

neue Zonen und VNets anlegen
Subnetze definieren
wichtige Netzwerkdienste wie DHCP oder Routing aktivieren

Die SDN-Konfiguration wird automatisch auf alle Knoten eines Clusters verteilt, sodass virtuelle Maschinen und Container unabhängig vom Host auf dieselben Netzwerke zugreifen können.

Für die automatische Vergabe von IP-Adressen kommt in Proxmox VE das Werkzeug dnsmasq zum Einsatz, das in die IP-Adressverwaltung (IPAM) integriert ist. So erhalten virtuelle Instanzen beim Start automatisch eine passende IP-Adresse aus dem definierten Adressbereich.

Ein weiterer Vorteil der SDN-Umsetzung in Proxmox VE ist die Möglichkeit, komplexe Netzwerktopologien zu realisieren, etwa über Overlay-Netzwerke, die mehrere Standorte oder Cluster miteinander verbinden. Die zugrunde liegende Technik basiert weitgehend auf Standard-Linux-Netzwerkfunktionen, wodurch zusätzliche Abhängigkeiten und Fehlerquellen minimiert werden.

Änderungen an der SDN-Konfiguration werden zunächst als pending markiert und können gesammelt und atomar auf alle beteiligten Systeme ausgerollt werden, was die Verwaltung vereinfacht und die Konsistenz sicherstellt.

Cluster¶

Auch in einem einfachen Proxmox VE Cluster ohne High Availability profitieren Administratoren von einer zentralen und komfortablen Verwaltung mehrerer PVE Nodes über eine gemeinsame Weboberfläche.

Die Clusterbildung beginnt mit der Installation von Proxmox VE auf allen beteiligten Knoten, wobei jeder Node eine eindeutige Hostnamen- und IP-Konfiguration benötigt.

Über die Verwaltungsoberfläche lässt sich im Bereich Datacenter ein neuer Cluster anlegen, indem ein Name und das gewünschte Netzwerk für die Clusterkommunikation festgelegt werden. Weitere Nodes können anschließend unkompliziert über die Option Join Cluster hinzugefügt werden, indem die entsprechenden Verbindungsinformationen und Zugangsdaten eingetragen werden.

Die Kommunikation zwischen den Clusterknoten übernimmt Corosync, das speziell für geringe Latenz und zuverlässigen Nachrichtenaustausch ausgelegt ist.

Hinweis

Für die Clusterkommunikation empfiehlt es sich, ein eigenes, möglichst störungsfreies und schnelles Netzwerk zu spendieren, um die Stabilität zu gewährleisten und Störungen durch andere Netzwerkdienste und Netzwerktraffic zu vermeiden.

Im Cluster können virtuelle Maschinen und Container zentral verwaltet werden. Die Weboberfläche zeigt alle Knoten und deren Ressourcen übersichtlich an, sodass sich VMs und LXC-Container auf jedem Node anlegen, starten, stoppen oder verschieben lassen.

Die Verwaltung von Storage und Netzwerken bleibt dabei flexibel: Jeder Node kann lokale oder gemeinsam genutzte Speicher einbinden, und Netzwerkkonfigurationen lassen sich individuell oder clusterweit anpassen.

Auch ohne aktivierte Hochverfügbarkeit bietet ein Proxmox VE Cluster Vorteile:

einheitliche Benutzer- und Rechteverwaltung
emeinsame Überwachung
VMs und Container manuell zwischen den Knoten zu verschieben.

Die Clusterstruktur ist skalierbar, sodass jederzeit weitere Server hinzugefügt werden können, solange die grundlegenden Voraussetzungen wie eindeutige VM- und Container-IDs und kompatible Netzwerke erfüllt sind.

Cluster (ohne HA)¶

Mit Proxmox VE lässt sich ein einfacher Cluster unkompliziert aufbauen und nutzen. Die technische Grundlage bildet dabei Corosync, das für die Cluster-Kommunikation zwischen den Nodes sorgt.

Zunächst wird auf jedem Server Proxmox VE installiert und eine stabile Netzwerkverbindung eingerichtet. Man kann die Hostnamen und IP-Adressen aller Cluster-Teilnehmer in die /etc/hosts-Dateien eintragen, um eine DNS-unabhängige zuverlässige Namensauflösung sicherzustellen. Man kann aber auch einfach mit IP-Adressen arbeiten.

Die Cluster-Erstellung beginnt auf einem der Nodes, entweder über die Weboberfläche im Bereich Datacenter - Cluster oder per Shell-Befehl pvecm create.

Nach der Vergabe eines Namens und Auswahl des Cluster-Netzwerks wird der Cluster initialisiert. Weitere Nodes treten dem Cluster über die Option Join Cluster in deren Weboberfläche oder in ihrerm Terminal per Befehl pvecm add bei. Hierzu werden die Join-Informationen und ein Passwort benötigt.

Wichtig

Wichtig ist, dass Nodes beim Beitritt keine (aufenden) VMs mit identischen IDs besitzen, da VM-IDs im Cluster eindeutig sein müssen.

Auf dem Node der „Join-ed“ darf keine Instanz vorhanden sein!

Krücke: VM / LXC mit problematischen IDs Backup machen und danach einfach löschen. Die Instanzen lassen sich ja später mit gewünschten IDs recovern.

[Test 2025] Join Cluster funzte - ohne Tricksereien nur mit leerem PVE. Wie gesagt: Backups (local) wären OK.

PVEs die einem Cluster beitreten, müssen sich neu einloggen denn die Nodes erhalten neue Signaturen / selbst ausgestellte Zertifikate.

Nach dem Hinzufügen aller gewünschten Nodes sind diese zentral über das Proxmox-Webinterface verwaltbar.

Virtuelle Maschinen können zwischen den Nodes verschoben werden, sofern das Storage entsprechend konfiguriert und fähig ist. Für die Datenspeicher lassen sich Storage-Technologien wie ZFS oder LVM gut nutzen.

Für eine einfache Replikation empfiehlt sich ein identisch benannter ZFS-Pool auf allen Nodes, der asynchrone Replikation ermöglicht. Mehr zu diesen Replikationen im Abschnitt ZFS-Cluster.

Da keine HA funktioniert bzw. verfügbar ist, werden im Fehlerfall keine automatischen VM-Failover oder -Neustarts durchgeführt. Der Cluster dient in dieser Konfiguration vor allem der zentralen Verwaltung, Migration und optionalen Replikation von VMs, nicht aber der Hochverfügbarkeit.

Einfache Migrationen¶

Wie können wir in der aktuellen PVE-Technik (Single-Nodes oder einfache Cluster) Maschinen (VMs / LXC) von einem Node A zu einem Node B migrieren - also quasi verschieben.

Einfache Lösung - ohne Cluster

Wir haben hier also nur Single-Nodes und wollen eine VM (oder einen LXC Container) von A nach B verschieben. Auf Node A können wir ein (externes) Backup der Maschine erstellen. Einfache Backup Lösung z.B. ein NFS-Share.

Wir parken sozugen die Maschine (Storage + Konfiguration) auf der externen Sicherung. Jetzt kann man von Node B aus das Backup wiederherstellen und die Maschine testen.

Hinweis

In solchen Umgebungen haben wir noch keinerlei IP-Adressen und Netzwerk-Tricks parat. Daher dürfen die beiden VMs auf Node A und Node B normalerweise nicht gleichzeitig laufen!

Bitte auf die Option zum automatischen Starten achten!

Das Migrieren - hier im Sinne von Verschieben - würde in diesem einfachen Szenario jetzt noch das manuelle Löschen auf Node A verlangen.

Lösung mit einfachem Cluster

In einem Clustern können wir die Schaltflächen zum Migrieren nutzen. Das sollte jetzt im Grunde auch problemlos klappen, wenn wir nicht womöglich Snapshots für VMs erstellt haben. Für das Migrieren von Maschinen mit Snapshots benötigen wir ein passendes Filesystem für diesen technischen Vorgang: Empfehlung ZFS.

Aber wie gesagt: No Snapshot - No Problem!

Damit es jetzt auch mit den Snapshots klappt und damit wir beim Migrieren - also dem Verschieben der Daten - nicht immer wieder mit dem vollständigen Kopiervorgang starten müssen, wäre es gut, wenn auf dem Ziel-Node B die Hauptmenge an Daten der Maschine (Virtual Storage) bereits vorhanden wäre.

Gäbe es nur eine Technik, die nach unseren Wünschen virtuelle Datenträger über Nodes hinweg repliziert. Aber natürlich kein Problem: die virtuellen Datenträger müssen einfach nur auf jeweiligen ZFS-Volume liegen und diese lassen wir abgleichen.

ZFS-Cluster¶

Mit dem Begriff ZFS-Cluster will man zwei Dinge in Kombination deutlich machen: wir betreiben einen (einfachen) Cluster (min. 2 Nodes) und lagern unsere VMs oder LXC Container auf ZFS-Volumes.

Mit einem einfachen Proxmox VE Cluster ohne High Availability (HA), aber mit ZFS-Volumes für virtuelle Maschinen und LXC-Container, ergeben sich leistungsfähige Möglichkeiten zur Datensicherung und Redundanz durch ZFS-Replikation.

ZFS dient dabei als Dateisystem und Volume-Manager und ermöglicht auf jedem Cluster-Knoten die lokale Speicherung von VM- und Container-Daten.

Wichtig

Für die ZFS-Replikation müssen auf allen beteiligten Nodes ZFS-Pools (Tank) mit identischem Namen existieren.

Wichtig ist die Erkenntnis, das man bei ZFS in Schritt 1 einen Tank anlegt. Hieraus wird dann ein Storage erzeugt. Für den ZFS-Cluster sollte man auf dem ersten Node den Tank und auch gleich das Storage erzeugen. Für alle Anderen Nodes einfach nur die Tanks. Die Storages werden durch die gleichen Namen automatisch erzeugt.

Nur so kann Proxmox die Replikationsjobs korrekt ausführen. Die Replikation erfolgt asynchron und basiert auf ZFS-Snapshots: Proxmox erstellt regelmäßig Snapshots der VM- oder Container-Volumes und überträgt jeweils nur die Änderungen (Deltas) seit dem letzten Snapshot zum Zielknoten. Dadurch wird das Netzwerk entlastet und nach der initialen Vollsynchronisation sind die weiteren Übertragungen sehr effizient.

Die Verwaltung der Replikationsjobs erfolgt entweder über die Proxmox-Weboberfläche (siehe Replication) oder per Kommandozeile mit dem Tool pvesr.

Dabei lassen sich Intervalle und Bandbreitenbegrenzungen individuell festlegen. Auch eine Replikation auf mehrere Zielknoten ist möglich, solange jeder Zielknoten nur einmal pro Quelle verwendet wird.

Bei Ausfall eines Nodes steht auf dem Zielknoten eine aktuelle Kopie der VM oder des Containers zur Verfügung, die manuell gestartet werden muss – ein automatischer Failover findet ohne HA nicht statt!

Manuelles Wiederherstellen einer VM bei Node Ausfall¶

Der Trick für die Möglichkeit zur Wiederherstellung sind die durchgeführten Replikationen, die auch die Konfigurationen für die VMs/LXC auf die anderen Nodes verteilen.

Tipp

Übersicht über Nodes und Quorum mit pvecm status

Verzeichnis auf Nodes für alle Node-Konfigurationen von VM (bzw. LXC)

/etc/pve/nodes/nodeName/qemu-server/...
/etc/pve/nodes/nodeName/lxc/...

Anleitung für manuelles Wiederherstellen: Migrating a guest in case of Error

# move both guest configuration files form the origin node A to node B:
mv /etc/pve/nodes/A/qemu-server/100.conf /etc/pve/nodes/B/qemu-server/100.conf
mv /etc/pve/nodes/A/lxc/200.conf /etc/pve/nodes/B/lxc/200.conf

# Now you can start the guests again:
qm start 100
pct start 200

Und natürlich sollten die IDs für eigene Systeme passen.

High Availibility¶

Das zentrale Alleinstellungsmerkmal von Proxmox VE im Bereich Hochverfügbarkeit (HA) wird durch die enge Integration mit Ceph als verteiltem, softwaredefiniertem Speichersystem noch verstärkt.

Während der integrierte HA-Manager im Proxmox-Cluster automatisch den Zustand aller virtuellen Maschinen und Container überwacht und bei Ausfall eines Knotens ein schnelles Failover auf einen anderen Host initiiert, sorgt Ceph für eine durchgängige Datenverfügbarkeit und -konsistenz über alle Clusterknoten hinweg. Im Gegensatz zu lokalen oder replizierten Dateisystemen wie ZFS, bei denen ein Datenverlust im Fehlerfall durch zeitversetzte Replikation auftreten kann, stellt Ceph sicher, dass die VM-Daten auf allen Knoten stets identisch und synchron vorliegen. Dadurch ist ein Failover ohne jeglichen Datenverlust möglich, was die Ausfallsicherheit deutlich erhöht.

Ceph ermöglicht es, den gleichen physikalischen Servern sowohl die Rechenleistung für VMs und Containern als auch die Speicherfunktion zuzuweisen, wodurch traditionelle Storage-Silos entfallen und eine hyperkonvergente Infrastruktur (HCI) entsteht. Die Verwaltung von Ceph ist nahtlos in die Proxmox-Weboberfläche integriert, was die Installation, Konfiguration und Überwachung des verteilten Speichersystems erheblich vereinfacht.

Features wie Thin Provisioning, Snapshots, Selbstheilung und Skalierbarkeit bis in den Exabyte-Bereich machen Ceph zu einer idealen Basis für eine robuste HA-Umgebung.

Die Kombination aus Proxmox VE HA-Manager und Ceph-Storage bildet somit eine hochautomatisierte, ausfallsichere Plattform, die ohne teure Hardware-RAID-Controller auskommt und auch in mittelständischen Umgebungen mit überschaubarem Aufwand eine Verfügbarkeit von bis zu 99,999 Prozent ermöglicht. Die Daten sind jederzeit für alle Clusterknoten direkt verfügbar, was nicht nur das Failover beschleunigt, sondern auch Live-Migrationen von VMs ohne vorheriges Kopieren der Daten erlaubt.

Cluster mit HA¶

Um High Availability (HA) mit einem Proxmox VE Cluster zu realisieren, müssen mehrere technische Voraussetzungen und Schritte beachtet werden. Ein HA-Cluster benötigt mindestens drei Proxmox-Nodes, um ein stabiles Quorum zu gewährleisten. Alle Nodes sollten identische Proxmox-Versionen nutzen, im selben Netzwerksegment liegen und synchronisierte Zeit (z.B. per NTP) aufweisen.

HA High Availibilty - Proxmox Help

Im nächsten Screenshot sieht man das Konzept mal in Aktion. Eine VM 3001 lief auf Node 3 - dieser fiel aus. HA hat die VM auf Node 1 gestartet und für geringe Ausfallzeiten gesorgt!

Erfolgreiches HA für VM 3001 (lag auf Node 3 der ausfiel)¶

Die Kommunikation zwischen den Nodes erfolgt über Corosync, das eine konsistente Cluster-Konfiguration und zuverlässige Fehlererkennung ermöglicht.

Für die Netzwerkinfrastruktur empfiehlt sich eine redundante Auslegung! Man empfiehlt ebenfalls separate Netzwerke zur Erhögung der Ausfallsicherheit:

Cluster-Kommunikation
VM-Traffic
Storage

Für die Netzwerke wird Netzwerk-Bonding empfohlen, um Single Points of Failure in der Vernetzung zu vermeiden.

Ein weiterer zentraler Punkt ist der Einsatz von gemeinsam genutztem Storage, da nur so ein automatisches Verschieben und Starten von VMs und Containern auf andere Nodes bei Ausfall möglich ist. Die Storage-Lösung muss von allen Cluster-Nodes gleichzeitig nutzbar sein.

Hinweis

Ceph - hier liegen die Daten in einem solchen verteilten Storage!

Nach dem Aufbau des Clusters wird die HA-Funktion über die Weboberfläche oder CLI aktiviert. VMs oder Container, die hochverfügbar laufen sollen, werden explizit als HA-Ressourcen definiert und konfiguriert. Fällt ein Node aus, erkennt Corosync dies und der HA-Manager startet die betroffenen Ressourcen automatisch auf einem verbleibenden Node neu.

Wichtig ist zudem die Integration von Fencing-Mechanismen, um sicherzustellen, dass ausgefallene Nodes zuverlässig isoliert werden und keine Split-Brain- Situationen entstehen. Hier würden mehrere Nodes gleichzeitig und fälschlicherweise annehmen, das sie jetzt für die VM zuständig sind, deren Ausfall kompensiert werden soll. Dieser Betrieb kann zu Dateninkonsistenzen und Dateisystemfehlern führen.

Fencing

Hardware-Fencing - z. B. über IPMI oder redundante Stromversorgung, die Nodes stromlos schalten können - ist oft zwingend erforderlich. Mit Netzwerk-Fencing wird der Traffic zu Nodes komplett unterbrochen.

Zusammengefasst benötigt ein Proxmox HA-Cluster:

Mindestens drei Nodes mit identischer Proxmox-Version
Redundante Netzwerkinfrastruktur (Cluster, VM, Storage)
Zeit- und Namenssynchronisation
Gemeinsamen, von allen Nodes erreichbaren Storage (siehe Ceph)
Konfiguration von Corosync für Cluster-Kommunikation
Aktivierung und Zuweisung von HA-Ressourcen
Gewünscht: Zuverlässige Fencing-Technik zur Node-Isolation

Services für HA checken

Ich hatte in verschiedenen Testumgebungen Probleme mit HA. Wahrscheinlich eben auch wegen der virtualisierten / eher simulierten Umgebung und durch den Einsatz verschiedender Skripte. Die HA-Umgebung sollte im Dashboard so aussehen:

Mit laufenden HA-Services muss man einen solchen Status erhalten.¶

Tipps:

Die wichtigen HA-Dienste - bitte mit systemctl status ... checken

pve-ha-crm - Cluster Resource Manager
pve-ha-lrm - Local Resource Manager
corosync - checkt Erreichbarkeit und Datenaustausch der Cluster Nodes
pve-cluster - der Cluster Service halt ;-)

Und natürlich das Ganze bitte auf allen Nodes des Clusters checken bzw enablen!

Tipp

Auf PVE Single Nodes sollten diese Services nicht aktiviert sein, da sie erhebliche Datentransporte und Schreib- und Lesevorgänge erzeugen können.

Das Post-Install Helper-Script hat deswegen ja auch die HA- Deaktivierungen voreingestellt!

Ceph Storage (HCI)¶

Ceph ist ein verteiltes, softwaredefiniertes Speichersystem, das als zentrales Storage-Backend von allen Cluster-Nodes gleichzeitig genutzt werden kann. Dadurch sind die Daten der VMs und Container nicht mehr an einzelne physische Server gebunden, sondern stehen im gesamten Cluster zur Verfügung.

Ein Proxmox VE High Availability (HA) Cluster, der Ceph als Dateisystem nutzt, bietet eine besonders leistungsfähige und ausfallsichere Infrastruktur für virtuelle Maschinen und Container.

Ceph in Betrieb genommen und nutzbar — Ceph frisch in Betrieb genommen und nutzbar¶

Das ermöglicht es dem Proxmox HA-Manager, bei Ausfall eines Nodes betroffene VMs oder Container automatisch und ohne Datenverlust auf anderen Nodes neu zu starten, da keine aufwändigen Datenkopien notwendig sind.

Ceph zeichnet sich durch automatische Replikation und Selbstheilung aus. Daten werden redundant auf mehreren Nodes gespeichert, sodass bei Ausfall eines Knotens keine Daten verloren gehen und der Cluster sich selbstständig wieder in einen konsistenten Zustand versetzt. Die Architektur von Ceph ist hoch skalierbar: Zusätzliche Nodes und Festplatten können im laufenden Betrieb hinzugefügt werden, um Kapazität und Leistung flexibel zu erweitern.

Ceph unterstützt sowohl Blockspeicher (RBD - RADOS BD) für VM-Disks als auch CephFS als verteiltes Dateisystem, was vielfältige Einsatzmöglichkeiten innerhalb des Proxmox-Clusters eröffnet.

Erklärung Acronym RADOS: reliable, autonomous, distributed object store

Die Einrichtung und Verwaltung von Ceph erfolgt direkt über die Proxmox-Oberfläche oder per Kommandozeile. Nach der Installation und Konfiguration der Ceph-Komponenten – wie Monitore, Object Storage Device (OSDs) und gegebenenfalls Metadata-Server für CephFS – wird Ceph als Storage in Proxmox eingebunden. Die Verwaltung und Überwachung des gesamten Ceph-Clusters ist zentralisiert und übersichtlich gestaltet, sodass Administratoren jederzeit den Zustand und die Auslastung des Speichersystems im Blick behalten können.

HCI - Hyperconverged Infrastructure

Durch die hyperkonvergente Infrastruktur, bei der Proxmox-Nodes sowohl Virtualisierungsdienste als auch Ceph-Speicher bereitstellen, wird die Hardware optimal genutzt und die Komplexität der Umgebung reduziert. Insgesamt ist Ceph damit die bevorzugte Lösung für Hochverfügbarkeit und flexibles Storage-Management in Proxmox VE Clustern, insbesondere wenn maximale Ausfallsicherheit, schnelle Migrationen und eine einfache Skalierbarkeit gefragt sind.

PVE Backup¶

Proxmox VE bietet eine integrierte Backup-Möglichkeiten für virtuelle Maschinen und Container. Die Sicherungen können entweder direkt über die Weboberfläche oder per Kommandozeile mit dem Tool vzdump gestartet werden.

Backup (und Restore) mit Proxmox VE (Bild: pexels-jakubzerdzicki-19825057.jpg)¶

Dabei handelt es sich immer um vollständige Backups, die sowohl die Konfiguration als auch alle Daten der VM oder des Containers enthalten. Die Backups lassen sich flexibel auf verschiedenen Speichertypen ablegen:

lokale Festplatten
NAS
NFS
SMB/CIFS
iSCSI
…

Ganz besonders effizient funktioniert ein Proxmox Backup Server, der Deduplizierung und Komprimierung unterstützt und sich nahtlos in die Proxmox-Umgebung einfügt.

Für die Automatisierung stehen Zeitpläne zur Verfügung, mit denen regelmäßige Sicherungen für einzelne oder mehrere VMs und Container eingerichtet werden können. Die Verwaltung und Überwachung dieser Backup-Jobs erfolgt zentral über das Proxmox Webinterface. Bei der Sicherungsmethode kann zwischen Snapshot, Suspend und Stop gewählt werden, um entweder konsistente Live-Backups oder vollständige Offline-Sicherungen zu erstellen.

Die Wiederherstellung (Restore) ist ebenso flexibel: Backups können vollständig zurückgespielt oder aber auch einzelne Dateien extrahiert werden.

Auch eine Migration auf andere Proxmox-Server ist durch die Backup- und Restore-Funktionalität sehr einfach möglich und kann im passenden Fall sogar aufwändigere - und erheblich teuerere - Lösungen (siehe HA) ersetzen.

PVE Backup Technik¶

Für die Sicherung von VMs und Containern in Proxmox VE stehen mehrere Wege zur Verfügung. Die Sicherung erfolgt grundsätzlich als vollständiges Backup, das sowohl die Konfiguration als auch alle Daten der jeweiligen VM oder des Containers umfasst.

Die Backups können entweder über die grafische Oberfläche von Proxmox oder per Kommandozeile mit dem Tool vzdump gestartet und automatisiert werden: PVE Backup & Restore

PVE Backup and Restore with Boardtool vzdump — Veeam Backup for Virtualization Plattforms¶

Proxmox VE bietet verschiedene Backup-Modi an, die sich hinsichtlich Konsistenz und Ausfallzeit unterscheiden.

stop: die VM oder der Container wird für die Dauer der Sicherung gestoppt, was zu längerer Downtime führen kann.
suspend: nutzt rsync, wobei das System zunächst in einen temporären Zustand versetzt wird, um die Daten zu kopieren - die Ausfallzeit ist hierbei geringer.
snapshot: nutzt die Snapshot-Funktionalität des zugrundeliegenden Speichers, um konsistente Backups mit sehr kurzer Unterbrechung zu ermöglichen. Dieser Modus setzt jedoch voraus, dass das verwendete Storage Snapshots unterstützt.

Die Backups können auf verschiedene Speicherziele abgelegt werden:

lokale Festplatten
externe Laufwerke
Netzwerkspeicher wie NFS- oder CIFS-Shares
…

Die Auswahl des Backup-Speichers erfolgt im Rahmen der Backup-Job-Konfiguration. Proxmox ermöglicht es zudem, Sicherungsaufgaben zeitgesteuert zu planen, sodass regelmäßige Backups automatisiert ablaufen.

Für die Wiederherstellung stehen verschiedene Optionen bereit:

komplette Rücksicherung einer VM oder eines Containers
Extrahieren einzelner Dateien aus dem Backup
Migration auf einen anderen Proxmox-Host

Auch Drittanbieter-Tools wie Veeam können über Plugins in roxmox VE integriert werden, um etwa Image-basierte Backups oder applikationskonsistente Sicherungen zu erstellen.

Proxmox Backup Server¶

Der Proxmox Backup Server (PBS) ist eine speziell entwickelte Open-Source-Lösung zur Sicherung und Wiederherstellung von virtuellen Maschinen, Containern und physischen Hosts, die sich durch Effizienz, Sicherheit und einfache Verwaltung auszeichnet.

Ein zentraler Vorteil liegt in der Nutzung inkrementeller Backups: Nach dem ersten vollständigen Backup werden nur noch Änderungen gesichert, was sowohl Speicherplatz spart als auch die Backup-Dauer deutlich reduziert.

Dies geht einher mit einer ausgefeilten Deduplizierung, sodass identische Daten (genauer: Datenblöcke) nur einmal gespeichert werden, selbst wenn sie in mehreren Backups vorkommen. Der PBS analysiert dieses Verhalten stets und gibt für die Storages einen Deduplizierungsfaktor an. Ein Faktor von 9,94 bedeutet, dass man bei 100 GB Daten auf dem Backup Server Storage tatsächlich insgesamt 994 GB VM/LXC/Daten gesichert hat.

Die zusätzliche Komprimierung der Backups trägt zusätzlich zur Speicherplatzeffizienz bei, während die integrierte End-to-End-Verschlüsselung für hohe Datensicherheit sorgt. So sind die gesicherten Daten auch bei einem Zugriff auf das Backup-Medium durch Unbefugte geschützt.

Die Verwaltung erfolgt über eine intuitive, webbasierte Benutzeroberfläche:

Backup-Jobs planen
Status überwachen
Wiederherstellungen zentral steuern

Auch eine Automatisierung per API ist möglich, was besonders in größeren oder heterogenen IT-Umgebungen von Vorteil ist.

PBS lässt sich flexibel auf verschiedenster Hardware betreiben und skaliert von kleinen Umgebungen bis hin zu großen Rechenzentren. Die Integration in Proxmox VE ist nahtlos, sodass Backups ohne Unterbrechung des laufenden Betriebs erstellt werden können.

Neben lokalen Speichern unterstützt PBS auch die Sicherung auf Bandlaufwerken und die Anbindung an Cloud-Speicher, was die Flexibilität von Backup-Strategien weiter verbessert.

Besonders hervorzuheben ist die Möglichkeit, Backups zentral zu verwalten und mehrere Backup-Server über eine Oberfläche zu steuern. Dies erleichtert die Umsetzung von Redundanz- und Desaster-Recovery-Konzepten. Die Wiederherstellung kann granular erfolgen, entweder als vollständige VM/Container oder auf Dateiebene.

Diese Zusammenfassung - insbesondere mit der Vorgehensweise über die Verwwaltungsoberflächen - lässt sich sehr einfach für VMs und LXC Container umsetzen. Wir können aber auf einem PBS auch Sicherungen für PVE Host ablegen. Hierfür müssen wir aber auf die Kommandozeilentools zurückgreifen.

Infolinks PBS:

PBS Client¶

Der Proxmox Backup Server (PBS) kann mithilfe des PBS Clients, konkret dem Kommandozeilenwerkzeug proxmox-backup-client, genutzt werden, um Backups von beliebigen Linux-Systemen, physischen Hosts, Containern oder virtuellen Maschinen direkt auf den PBS zu übertragen - PBS Client Usage.

Proxmox Backup Client in Action - YouTube: ElectronicsWizardry¶

Beispielvideo: Getting the most out of Proxmox Backup Server: Backing up other data, Offsite syncs, and more

Diese Technik ist besonders dann relevant, wenn nicht nur Proxmox VE-Umgebungen, sondern auch andere Systeme oder einzelne Verzeichnisse und Laufwerke gesichert werden sollen.

Verbindung zum PBS mittels Repository-ULR:

Benutzername
Serveradresse
ptional den Port und den
Namen des Datastores

Authentifizierung:

Benutzername und Passwort
API-Token

Für die Nutzung werden Umgebungsvariablen wie

PBS_REPOSITORY (Ziel-Repository),
PBS_PASSWORD (Passwort oder Token), und
PBS_FINGERPRINT (zur Verifizierung des Serverzertifikats)

gesetzt, um die Verbindung und Sicherheit zu gewährleisten.

Mit dem Befehl proxmox-backup-client backup können gezielt Verzeichnisse, Partitionen oder ganze Dateisysteme als Backup auf den PBS gesichert werden.

Dabei unterstützt der Client Optionen wie die Verschlüsselung der Backups und die Auswahl bestimmter Verzeichnisse oder Geräte. Die Backups werden im effizienten, deduplizierten und komprimierten PBS-Format gespeichert und lassen sich bei Bedarf auch granular, etwa auf Dateiebene, wiederherstellen.

Timestamps:

00 Intro
43 Users and permissions            (WICHTIG)
57 Namespaces
46 Backing up non PVE data          (SUPER! PBS mit Mehrwert!)
03 Restoring non PVE data

Enterprise Backup¶

Wie sollte es auch anders sein? Natürlich hat auch Veeam mitbekommen, dass sich Massen von Kunden von einem Branchenprimus in der Virtualisierungstechnik abwenden und nach Alternativen umschauen. Und hier kommt natürlich Proxmox VE ins Spiel.

Veeam Backup for Virtualization Plattforms¶

Schauen wir uns mal ein paar Punkte Veeam vs. PBS an.

Beim Vergleich von Proxmox Backup Server (PBS) und Veeam Backup für Proxmox zeigen sich deutliche Unterschiede in Integration, Funktionsumfang und Zielgruppe.

PBS ist speziell für Proxmox VE entwickelt und bietet eine nahtlose, direkte Integration in die Proxmox-Oberfläche. Die Einrichtung ist unkompliziert, besonders in reinen Proxmox-Umgebungen, und es fallen keine Lizenzkosten an.

PBS sichert VMs und Container inkrementell, nutzt Block-basierte Deduplizierung und Komprimierung auf Repositoriumsebene und verschlüsselt die Backups bereits am Client. Die Verwaltung erfolgt zentral über eine Weboberfläche, und für die Datensicherheit sorgen Funktionen wie Repository-Synchronisierung und ZFS-Unterstützung. Allerdings ist die Wiederherstellung weniger granular: Einzelne Dateien können zwar extrahiert werden, eine anwendungskonsistente Sicherung und Wiederherstellung – etwa für Datenbanken oder Exchange – ist jedoch nicht möglich.

PBS eignet sich daher besonders für kleine und mittelgroße Proxmox-Installationen, die keine komplexen Anforderungen an die Wiederherstellung stellen und Wert auf eine einfache, kostengünstige Lösung legen.

Veeam hingegen ist eine umfassende, plattformübergreifende Backup-Lösung, die neben Proxmox auch VMware, Hyper-V, physische Server und Cloud-Umgebungen unterstützt. Die Integration in Proxmox ist weniger tief, dafür bietet Veeam eine sehr granulare Wiederherstellung bis auf Anwendungsebene, etwa für Microsoft Active Directory, Exchange oder SQL-Datenbanken.

Auch Dateiebene-Restores sind möglich. Die Deduplizierung und Komprimierung erfolgt pro Backup-Job, was in manchen Umgebungen flexibler sein kann, aber seltener zu so hohen Einsparungen führt wie die globale Deduplizierung von PBS.

Die Lizenzkosten für Veeam sind deutlich höher und die Einrichtung komplexer, dafür überzeugt die Lösung durch ihre Vielseitigkeit, den Support für heterogene Infrastrukturen und umfangreiche Managementfunktionen.

Quellen zu Topic „PBS / Veeam“:

Datacenter Manager¶

Wenn wir einzelne Nodes oder einen einzelnen Cluster verwalten wollen, dann haben wir über das PVE Management (Dashboard) alles was wir brauchen. Und dann gibt es ja auch immer noch das Terminal.

Es fehlt im Grunde eine allgemeine Verwaltungsoberfläche für mehrere Einzel-Nodes oder auch mehrere Cluster, wie man das ja auch von anderen Mitbewerbern kennt.

Hier soll der Proxmox Datacenter Manager die Lücke schließen.

Erste Alpha Version - Proxmox Datacenter Manager - 19. Dezember 2024

WIEN – 19. Dezember 2024 – Proxmox Server Solutions GmbH, Hersteller von Enterprise Server-Software, hat heute eine erste Alpha-Version ihres neuesten Open-Source-Projekts Proxmox Datacenter Manger zur Verfügung gestellt.

Diese frühe Alpha-Version der Software soll einen ersten Einblick in das neue Server-Management-Tool und der Proxmox-Community die Mitarbeit ermöglichen.

—Deutschsprachige Pressemitteilung Proxmox GmbH, 19.12.24

Die Proxmox Datacenter Manager Version 1.0 wurde am 04.12.2025 offiziell veröffentlicht. Es gibt jetzt auch Install-ISOs für den PDM, sodass manche der unten aufgeführten Install-Optionen mittlweile obsolet sind.

Screenshot aus einer sehr frühen Testumgebung / Proof of Concept for PDM:

Test mit der Alpha des Proxmox Datacenter Managers¶

Links zum Thema Proxmox Datacenter Manager:

Es folgt eine kurze Übersicht über aktuelle Möglichkeiten den PDM zu installieren.

PDM Installation¶

Für die Installation kann man zu verschiedenen Vorgehensweisen greifen:

Community-Script (Helper-Scripts) für eine fix- und fertige LXC Lösung
manuelle Installation auf einer Debian Machine
Basisinstallation mittels bereitgestellter PDM Install ISO

In Kürze ein paar Hinweise - aber bitte beachten, dass die Entwicklung für den PDM im Fluss ist (WIP - Work in Progress)!

PDM als LXC Container (Anm.: Quick & Dirty)

Beispielhafte Anleitung und Video für den LXC Container siehe z.B.:

YouTube: Proxmox just got a vCenter Alternative?! - Proxmox Datacenter Manager!

PDM auf Debian installieren (Anm.: Expert and Nerd Mode)

Beispielhafte Vorgehensweise für manuelle Installation auf Debian Maschine: (bitte Aktualisierung auf Trixie beachten)

PDM Docs:

https://pdm.proxmox.com/docs/installation.html#sysadmin-package-repositories (Deb Quellen)
https://pdm.proxmox.com/docs/installation.html#install-proxmox-datacenter-manager-on-debian (PDM Install)

Vorsicht

Installing Proxmox Datacenter Manager on top of an existing Debian installation looks easy, but it assumes that the base system and local storage have been set up correctly. In general this is not trivial, especially when LVM or ZFS is used. The network configuration is completely up to you as well.

– O-Ton PDM Docs

Hier eine alte Bookworm Debian 12 Anleitung: (Bitte so nicht mehr benutzen!)

apt update & apt dist-upgrade -y && apt autoremove -y && apt autoclean -y && reboot

echo 'deb http://download.proxmox.com/debian/pdm bookworm pdm-test' > /etc/apt/sources.list.d/pdm-test.list
wget https://enterprise.proxmox.com/debian/proxmox-release-bookworm.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bookworm.gpg

apt update
apt install proxmox-datacenter-manager proxmox-datacenter-manager-ui

PDM via ISO (Anm.: bei mir aktuell als Training / Übung)

Mit Veröffentlichung der Install-ISO werden wir im Training meist zur manuellen Installation als Bare-Metal oder VM via ISO greifen.

Specials¶

An dieser Stelle möchte ich diverse Themen und Infos rund zum Proxmox VE aufsammeln. Ich hoffe, dass die Themen auch immer mal wieder zum Nachschlagen anregen.

Spezialthemen zum Proxmox VE (Bild: pexels-cottonbro-6804585.jpg)¶

Beginnen wir am Anfang: Proxmox ist eben auch eine Firma.

Proxmox Enterprise¶

Das Enterprise Angebot der Firma Proxmox heißt Subskription, also ein Service Programm für den Endkunden und Nutzer der Proxmox Open Source Techniken.

Eine Proxmox VE Subskription ist ein Service-Programm, das IT-Profis und Unternehmen hilft, ihre Proxmox VE Infrastruktur komfortabel auf dem aktuellsten Stand zu halten. Mit einer Subskription erhalten Sie Zugriff auf das stabile Proxmox VE Enterprise-Repository sowie Zugang zu technischem Support (direkt von den Entwicklern). Das Proxmox VE Enterprise-Repository enthält stabile, ausgiebig getestete Software-Updates und relevante Sicherheitsaktualisierungen und ist eine hilfreiche Unterstützung für Ihre Produktivumgebung.

Wählen Sie die Subskriptions-Stufe, die für Sie am besten passt. Jede unserer vier Stufen ist flexibel skalierbar und passt sich Ihren geschäftlichen Anforderungen optimal an. Subskriptionen werden pro physischem Server und deren Anzahl an belegten CPU-Sockel berechnet. Eine Subskription ist ein Jahr gültig und ermöglicht Zugriff auf die aktuellste Software, das Enterprise-Repository, alle Updates und Services. – O-Ton Website Proxmox Deutsch; Stand: Juni 2025

Übersicht über die aktuellen Sparpläne für Proxmox:

Die passende Subskription für Ihr Team - Proxmox Website Juni 2025¶

Mit diesen Kosten liegen Proxmox Systeme oft deutlich unterhalb der Investionen anderer Anbieter am Markt. Und das häufig beim Vergleich von 3 Node HA Proxmox Umsetzungen im Vergleich mit anderen 2 Node HA Lösungen - man hat hier also wirklich einen dritten Node im Kostenvergleich!

Der folgende Screenshot ist aus einem YouTube Video mit Thomas Krenn Mitarbeiter Jonas Sterr:

AUFZEICHNUNG | „Proxmox VE: Die neue Ära der IT-Infrastruktur“ | Jonas Sterr | Thomas-Krenn.AG

Thomas Krenn Kostenvergleich HCI HA Cluster¶

Man erkennt im ersten Moment ähnliche Kosten bei einem Mitbewerber. Das relativert sich allerdings, da ich in der Proxmox Lösung 3 Nodes erhalte!

Der Enterprise-Markt ist schon unter normalen Bedingungen immer im Wandel. In Zeiten von Broadcom/Vmware allerdings tut sich da für Proxmox aktuell viel.

Thomas Krenn¶

Mit Thomas Krenn haben wir regional einen starken Anbieter für Internet- und Server-Infrastruktur mit einem offenen Zugang zu Open Source.

Thomas Krenn - Proxmox Angebote

Die Firma betreibt über Ihre Webplattform auch ein mehr als ordentliches Wiki.

45Drives¶

Aus dem internationalen Angeboten habe ich mir als Beispiel 45Drives aus Nordamerika herausgesucht. Die Firma ist mir in den letzten Jahren immer mal wieder als Informationsquelle zu allen möglichen Storage- und Virtualisierungsthemen aufgefallen.

Hier nochmals der O-Ton der Website als Textauszug:

Virtualization, Storage, and Support all in One System

Following Broadcom’s (VMware) decision to significantly reduce its offerings, raise prices, and declare a market strategy centered solely on catering to the needs of its top 600 companies, many users who d epended on them for virtualization find themselves in a state of crisis. As they look for a replacement, many are not keen on again becoming dependent on proprietary solutions, just so they can have the rug removed from under them again. Open-source solutions address t his risk, and can offer better performance, but often becomes a ‘project’, which is inappropriate and unnecessary for a mature technology in an enterprise environment. Thus, many organizations feel stranded.

—45Drives Website 2025 - https://www.45drives.com/products/proxinator/

In aktuellen Systemen verbauen die nur noch direkt per PCIe angekoppelte SSDs. O-Ton aus einem Video: „Was auch immer Ihre Maschine ausbremst - der Storage wird es nicht sein“!

IOMMU¶

Einstieg in die Thematik: I/O-MMU-Virtualisierung (AMD-Vi und VT-d)

Eine Input/Output Memory Management Unit (IOMMU) erlaubt Gast-VMs die direkte Benutzung von Peripheriegeräten, z. B. Netzwerkkarten, Grafikkarten, Festplattenkontrollern durch das Mapping von Speicherzugriffen und Interrupts. Diese Technik wird manchmal auch als PCI Passthrough bezeichnet.

Eine IOMMU erlaubt es Betriebssystemen und VMs außerdem, Peripheriegeräte durch Pufferung leichter zu benutzen, deren Speicher oder Verarbeitungsgeschwindigkeit kleiner ist als der der VM oder Betriebssysteme. Die entsprechenden Mechanismen werden durch die IOMMU implementiert und müssen damit nicht durch die Betriebssysteme bzw. VMs implementiert werden.

Sowohl AMD als auch Intel haben entsprechende Spezifikationen herausgebracht:

AMDs I/O-Virtualisierungs-Technologie, AMD-Vi, ursprünglich IOMMU genannt.
Intels Virtualization Technology for Directed I/O (VT-d), welches durch die meisten high-end (jedoch nicht alle) Nehalem und neuere Intel-Prozessoren unterstützt wird

Neben der Unterstützung durch die CPU müssen sowohl das Mainboard, der Chipsatz als auch das BIOS oder UEFI die IOMMU-Virtualisierungsfunktionen unterstützen, um diese auch wirklich nutzbar zu machen.

Proxmox Builds¶

In meinen OneNote Notebooks finden sich Dutzende von Bauvorschlägen rund um PVE oder NAS-Builds.

MSI Website - https://de.msi.com/Landing/poweredbymsi¶

Hier will ich mal mit einer aktuellen Lösung anfangen, mit der ich vielleicht auch dem ein oder anderen den Einstieg erleichtern kann.

Es geht um aktuelle (Status: 2025) Versionen klassischer Mini-PC nach Intel NUC Vorbild.

Intel NUC 14 Essential¶

Die Intel NUC Sparte wurde von ASUS übernommen - der Name blieb!

Link zu Modell: ASUS NUC 14 Essential

Im Prinzip alles dufte: (Anm.: der Markt hält viele Alternativen bereit!)

Intel Core N150 (4 Core)
16 GB DDR5 (max. Ausbau für diesen Prozessor)
Samsung SSD 990 Pro 2TB (Was soll der Geiz?)
2.5GE - also 2,5 Giga Ethernet (PROBLEM und 2. NIC wäre supi!)
Idled mit einstelligen Watt-Werten!
PVE (24/7) mit Homelab Diensten und (abgespeckter/optimierter) Microwin Win11 VM für Büro

Diese Kombi hat (mit Angeboten) knapp 300 € gekostet! Leider wird der hier verbaute 2.5GE Anschluss nicht mit einem Standard Intel-Chipset unterstützt, sondern mit einer Realtek Variante! Dadurch bleibt mit Proxmox (Debian) und der Kernel 6.8 Unterstützung das Netzwerk tot.

Lösung: per USB-LAN-Adapter PVE (oder WLAN) installieren und dann Modul-Unterstützung passend nachinstallieren - Intel stellt ja einen Treiber bereit.

Intel Realtek 8125

Wir starten also mit einer Installation und Vervollständigung PVE mit Post-Install-Script der Community.

Hinweis

Ich deaktiviere gerne Secure Boot, damit ich bei den folgenden Treiber-/kernel-Installationen keine zusätzlichen Hindernisse habe.

Ansonsten bitte einfach aktiv lassen und den Anleitungen zum Aktualisierungen von Mok und Co folgen.

Danach das System (DKMS, Kernel Headers) optimierenden und den Treiber installieren:

apt update && apt upgrade –y
apt install dkms

# installing the headers for your working kernel
# apt install proxmox-headers-$(uname -r)
# better: install just the Meta Package for Kernel Headers
apt install proxmox-headers-$(uname -r)

dpkg -i realtek-r8125-dkms_9.014.01-1_amd64.deb
# (or latest available from here - Realtek r8125 DKMS)

# Blacklist the old driver -
echo "blacklist r8169" > /etc/modprobe.d/blacklist-r8169.conf
# Boot env upd
update-initramfs -u
reboot

Danach bitte die Netzwerkkonfiguration für den neuen Adapter anpassen und den temporären Adapter (hier: USB-LAN-Adapter) deaktivieren.

Beispielhafte /etc/network/interfaces

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

^iface enp1s0 inet manual
#Main Adapter

iface enxa0cec80003d1 inet manual
#Help NIC for Install

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.6/24
        gateway 192.168.2.1
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0

iface wlo1 inet manual

source /etc/network/interfaces.d/*

Bitte auch die /etc/hosts für die gewünschte IP-Adresse nicht vergessen! Voilà!

NAS via Proxmox VE¶

Warum eigentlich nicht? Ein NAS besteht im Grunde - wie alle Systeme - aus zwei Bereichen:

Betriebssystem
Storage

Das Betriebssystem virtualisieren? Easy mit Proxmox VE oder was auch immer. Etwas anders sieht es mit dem Storage aus. Hier wünscht man sich natürlich Performance und direkte Hardware-Zugriffe des NAS-Systems für S.M.A.R.T.-Tools oder anderen Analysewerkzeuge.

Lösung für Storage: Durchreichen des HBA (Host Bus Adapter) direkt an die NAS-VM. Das hat auch gleich den Vorteil, dass in einem Schritt alle Datenträger in der NAS-VM auftauchen, wenn man den HBA durchreicht.

Hinweis

Die Durchreichung virtueller Storages und Pools an das virtuelle NAS wird nicht empfohlen!

Bei der Auswahl für die NAS-Software wird bei meiner Affinität zu Open Source und Linux Communities ich mich als Erstes auf TrueNAS Community Edition konzentriere.

TrueNAS¶

Die aktuelle (Stand: 2025) TrueNAS Community Edition (CE) ist die weltweit meistgenutzte Open-Source-Storage-Software und richtet sich an alle, die eine leistungsfähige, flexible und kostenfreie Speicherlösung suchen.

Seit April 2025 sind die bisherigen TrueNAS Varianten CORE (nutzte BSD) und SCALE (nutzte Debian) unter dem Namen TrueNAS Community Edition vereint, was die Auswahl und Nutzung deutlich vereinfacht und die Entwicklung bündelt.

Die Software basiert auf Linux Debian und setzt auf OpenZFS. OpenZFS ist ein modernes, robustes Dateisystem, das besonders für seine hohe Datensicherheit, Snapshots, Replikation und flexible RAID-Optionen bekannt ist.

Hinweis

Mit der vorrangigen und professionellen Kombination von TrueNAS und ZFS begründet sich auch, warum man bei Recherchen zu ZFS immer wieder über TrueNAS stolper.

TrueNAS CE unterstützt verschiedene Speicherprotokolle wie SMB, NFS, iSCSI und S3 und ermöglicht damit Datei-, Block- und Objektspeicher für unterschiedlichste Anwendungsfälle – v on privaten Homelabs bis zu professionellen IT-Umgebungen.

Durch die Integration von Docker und VM-Support lassen sich auch Container und virtuelle Maschinen direkt auf dem System betreiben. An dieser Stelle würde das natürlich eine (weitere) Nested Virtualization bedeuten und wird von mir nicht empfohlen. Die Leichtgewichten Docker Lösungen und TrueNAS Apps aus derem Store sind schon wieder eine ganz andere Sache.

Die Software ist vollständig quelloffen und auf GitHub frei verfügbar, sodass die Community aktiv an der Weiterentwicklung beteiligt ist.

Anleitung TrueNAS als PVE VM¶

Beispielhafte Darstellung mit HBA und manuellem Storage durchreichen: The Do-It-All NAS for 2025!

LSI-HBA-Adapter in VM / YouTube - Maker HQ - The Do-It-All NAS for 2025!¶

Das Video widmet sich alternativ auch dem manuellen Durchreichen einzelner HDD aus dem PVE Basissystem (siehe Tool: lshw) und zeigt Unterschiede und Defizite bei der Nutzung in der TrueNAS VM auf.

Alternative Virtualisierung¶

Für mich als Ihr Trainer für Proxmox gibt es natürlich überhaupt keine Alternativen zu Proxmox ;-)

Aber natürlich werde ich manchmal in Seminaren nach einer Übersicht zu Virtualisierern gefragt. Also habe ich hier - relativ unkommentiert von mir - eine solche Übersicht erstellt.

Die Lösungen unterscheiden sich vielfältig:

Funktionsumfang
Lizenzmodell
Zielgruppe
Integration in Infrastrukturen

Hier also die Produkte: (wie gesagt: ohne Kommentar, obwohl es gleich mit einem Kracher losgeht ;-)

VMware vSphere (ESXi) - vmware.com

Marktführer im Bereich der Servervirtualisierung, bestehend aus dem ESXi-Hypervisor (Typ-1, Bare Metal) und der zentralen Management-Plattform vCenter.
Sehr hohe Skalierbarkeit und umfangreiche Verwaltungsfunktionen.
Lizenzierung inzwischen ausschließlich im Subscription-Modell, lizenziert pro CPU-Core, was zu erheblichen Kosten führen kann.
Breite Unterstützung und globaler Support, aber keine kostenlose Version mehr verfügbar. [Nachtrag: Juni 25 - abgespeckter ESXi wieder verfügbar]

Microsoft Hyper-V - microsoft.com

In Windows Server integriert, tiefe Anbindung ins Microsoft-Ökosystem
Gute Performance und hohe Skalierbarkeit, besonders für Windows-Umgebungen
Lizenzierung über Windows Server, alle Kernfunktionen enthalten
Eingeschränkte Unterstützung für Linux und andere Nicht-Windows-Systeme

Citrix XenServer (heute Citrix Hypervisor) - citrix.com

Basiert auf dem Open-Source-Xen-Hypervisor
Besonders stark im Bereich Virtual Desktop Infrastructure (VDI)
Zwei Editionen: Standard und Premium (mit erweiterten Features wie GPU-Virtualisierung)
Preisgestaltung zuletzt volatil, mit Berichten über deutliche Preiserhöhungen

Oracle VM VirtualBox - virtualbox.org

Kostenlose, Open-Source-Lösung für Desktop- und kleinere Servervirtualisierung
Unterstützt viele Betriebssysteme als Gastsysteme
Besonders beliebt bei Entwicklern und Testumgebungen, weniger für große Produktionsumgebungen geeignet

OpenStack - openstack.org

Open-Source-Plattform für Cloud-Infrastrukturen, de-facto-Standard für private Clouds
Sehr flexibel und skalierbar, aber komplex in Einrichtung und Betrieb
Eignet sich für größere Unternehmen und Service Provider, die eine eigene Cloud-Infrastruktur betreiben wollen

Nutanix Acropolis Hypervisor (AHV) nutanix.com

Teil der Nutanix Hyperconverged Infrastructure (HCI)
Kombiniert Compute, Storage und Virtualisierung in einer Plattform
Einfache Skalierung, zentrale Verwaltung über Nutanix Prism, Integration mit Public Clouds

oVirt - ovirt.org

Open-Source-Plattform auf KVM-Basis, vergleichbar mit Proxmox
Enterprise-Funktionen wie zentrale Verwaltung, hohe Verfügbarkeit und Snapshot-Management
Besonders für Unternehmen mit Red Hat- oder CentOS-Umgebungen geeignet

OSL Unified Virtualisation Environment (UVE) - osl.eu

Deutsche Lösung mit Fokus auf Einfachheit und hyperkonvergente Infrastruktur
Kombiniert Server-, Speicher- und Netzwerkvirtualisierung
Skalierbar bis zu 120 Compute-Nodes und 1.000 VMs pro Cluster
Interessant für Unternehmen, die Wert auf deutsche Entwicklung und Support legen

Virtuozzo Hybrid Server: - virtuozzo.com

Plattform für Container- und VM-Virtualisierung, häufig im Hosting-Umfeld

Tipp

Open-Source-Alternativen - na geht doch mit der Übersicht ;-)

QEMU: Leistungsfähige Open-Source-Virtualisierung, oft als Basis für andere Lösungen genutzt
KVM (Kernel-based Virtual Machine): Wird von vielen Plattformen (u.a. Proxmox, OpenStack) als Hypervisor genutzt

Vergleichstabelle: Virtualisierungslösungen

Lösung	Lizenzmodell	Zielgruppe	Besonderheiten
VMware vSphere	Subscription per Core	Mittel/Großunternehmen	Marktführer, teuer, skalierbar
Microsoft Hyper-V	Windows Server-Liz.	Windows-Umgebungen	Integration, günstiger
Citrix XenServer	Subscription	VDI, Mittel/Groß	VDI-Fokus, GPU-Virtualisierung
Proxmox VE	Open Source/Support	KMU, Budgetbewusst	KVM+LXC, günstig
OpenStack	Open Source	Großunternehmen, Cloud	Cloud, sehr flexibel
Oracle VirtualBox	Open Source	Entwickler, Test	Desktop, einfach, kostenlos
OSL UVE	Kauf/Support	Made in Germany	Hyperkonvergent, einfach

Aber wir entscheiden uns natürlich für die Open Source Lösungen oder gerne auch unter Windows die onBoard-Lösungen mit PowerShell CLI. So weit meine unmaßgeblichen 5 Cent.

Tipps & Tricks¶

Meine OneNote Notzibuch und auch mein NAS sind noch voll mit Infos. Und irgendwann werde ich die auch mal hier aufbereiten.

… tbc …

Links Proxmox¶

Da diese Ausarbeitung eher eine Sammlung von Infos zu den unterschiedlichen Proxmox Themen darstellt, habe ich sehr oft in den Abschnitten entsprechende Linksammlungen hinterlegt.

Bookmarks - Unsplash.com — Bookmarks - Bild: markus-winkler-qg9JEHiPX98-unsplash.jpgg¶

Ich beginne - für das schnelle Nachschlagen und Finden - mit den Premium Links direkt zur Proxmox VE Technik.

Proxmox Links

WIKI Proxmox VE - Hauptseite mit vielen weiterführenden WikiPages
PDF Proxmox PVE 8.4 Admin Guide - PDF LINK to Admin Guide PVE 8.4
PDF Proxmox PVE 9.1 Admin Guide - PDF LINK to Admin Guide PVE 9.1
ONLINE - Proxmox Admin Guide - ONLINE LINK to Admin Guide Main Website
Proxmox ISO installieren
Proxmox Documentations
Proxmox Agreements
Support Portal Proxmox - Account needed
Quellcode Proxmox PVE
OpenSource bei Proxmox - inkl. Firmengeschichte

In den folgenden Abschnitten will ich auch weiteren Link-Auflistungen einen Platz einräumen.

YouTube Links¶

Gerade durch die Schnittmenge von professionellen Enterprise Einsätzen bis hin zum Homelabor Nutzer von Proxmox Technik hat sich auf YouTube ein regelrechtes Info Biotop gebildet.

Die folgende Auflistung zu YouTube-Kanälen - wie immer - ohne Anspruch auf Vollständigkeit.

VirtualizationHowto: https://www.youtube.com/@VirtualizationHowto
Novaspirit Tech: https://www.youtube.com/@NovaspiritTech
Learn Linux TV: https://www.youtube.com/@LearnLinuxTV
TechHut: https://www.youtube.com/@TechHut
Techno Tim: https://www.youtube.com/@TechnoTim
Craft Computing: https://www.youtube.com/@CraftComputing
Jim’s Garage: https://www.youtube.com/@Jims-Garage
Apalrd’s adventures: https://www.youtube.com/@apalrdsadventures
House of Logic: https://www.youtube.com/@HouseofLogicBlog
ElectronicsWizardry: https://www.youtube.com/@ElectronicsWizardry
Christian Lempa: https://www.youtube.com/@christianlempa
Virtualize Everything: https://www.youtube.com/@virtualizeeverything
TheLazyAutomator: https://www.youtube.com/@Tech-TheLazyAutomator
SyncBricks: https://www.youtube.com/@syncbricks/videos
DB Tech: https://www.youtube.com/@DBTechYT
Tech Tutorials - David McKone: https://www.youtube.com/@TechTutorialsDavidMcKone
Lawrence Systems: https://www.youtube.com/@LAWRENCESYSTEMS

Viele individuelle YouTube Videos und korrespondierende Website Beiträge und Git-Repo-Infos finden sich in den restlichen Unterlagen.

Diverse Links¶

Die folgenden Linksammlungen habe ich einmal mit KI Suche erhalten (perplexity.ai) und will sie nicht wegschmeißen. Die Resourcen sind sicherlich auch in anderen Teil-Ausarbeitungen in dieser Unterlage aufgetaucht.

Hier also: eine erste lockere Sammlung ohne Anspruch auf Vollständigkeit ;-).

Perplex1

Perplex2

reStructuredText¶

Hier folgen abschließend noch die Meta-Infos zur Dokumentenversionspflege mit Hilfe von restructuredText:

Kurzinfo auf Wikipedia zu rST

reStructuredText (kurz ReST, reST oder RST) ist eine vereinfachte Auszeichnungssprache (Markup) mit dem Ziel, in der reinen Textform besonders lesbar zu sein.

Wikipedia - restructuredText

Die reST-Dokumenten lassen sich nahezu beliebig in gewünschte Formate wandeln:

ODT - OASIS Open Document Format for Office Applications Kurzform: OpenDocument, ODF – engl. Offenes Dokumentformat für Büroanwendungen
Textformate wie für LibreOffice, Microsoft Word
HTML - diverse HTML-Varianten (Websitestile)
LaTex - professioneller Schriftsatz mit Exportmöglichkeiten nach PostScript und PDF
PDF (bzw. PostScript)
Epub - Standard für eBooks

Desweiteren lassen sich die Dokumente

professionell verlinken (taggen)
indizieren und
durchsuchen.

Die folgende Grundeinstellung gerne für die VS Code Entwicklungsumgebung.

Tipp

Microsoft VS Code Settings in .vscode/settings.json für Live-Preview:

{
   "esbonio.sphinx.confDir": "${workspaceFolder}",
   "esbonio.sphinx.buildDir": "${workspaceFolder}/_build",
   "restructuredtext.linter.run": "off"
}

Wichtig ist die Zeile für den _build Pfad!

Weiter Infos zur verwendeten Sphinx/reStructuredText Technik folgen.

Sphinx Vorlage TYPO3¶

Für dieses Dokument nutze ich eine modifizierte Sphinx Vorlage aus dem Hause TYPO3:

Leider kann man ohne die Dev-Umgebung für die TYPO3-Dokumentation nicht alle Stilmittel direkt nutzen. Diese Umgebung liegt natürlich auch wieder als Container-Lösung vor!

Bildinfos¶

Alle Bildmaterialien in dieser Ausarbeitung wurden nach bestem Wissen recherchiert und sind gemäß ihrer geforderten Bedingungen hinsichtlich des Autors kommentiert.

Die entsprechenden Bildmaterialien entstammen folgenden Quellen:

Eigene Bildmaterialien oder Bildkompositionen
Wikipedia - Link zum Wikipedia Bild (inkl. Autorennennung)

Für die Verwendung anderer freier Ressourcen folgen noch weitere Erläuterungen.

Unsplash¶

Aus dieser Quelle werden alle Bildmaterialien mit Bildname attributisiert.

Erklärung zum Bildcode:

Bildcode Unsplash¶
Info	Inhalt
Bildname	magnet-me-beCkhUB5aIA-unsplash.jpg
Unsplash Autor	magnet-me
Bildcode	beCkhUB5aIA

Aus dem Unsplash-Bild-Code (hier: beCkhUB5aIA) lässt sich der Bildlink zum Unsplash-Portal zusammenbauen:

https: // unsplash.com / photos / Bildcode
https: // unsplash.com / photos / beCkhUB5aIA

Abweichende Bild-Quellen wurden entsprechend kommentiert/dokumentiert.

Pexels - Pixabay¶

Neben der von mir sehr geschätzten Unsplash-Community nutze ich auch noch die Pexels - Pixabay Angebote.

Lizenzinfos

Link zur Pexels FAQ Are the photos and videos on Pexels really free? und auch für Pixaby - Zusammenfassung der Inhaltslizenz

Die genutzten Fotos werden von mir mit ihren Originallinks hinterlegt.

Die Community ist insbesondere bei Affinity Software (Photo, Publisher, Designer) als Palette (Stock) eingebunden. Das ermöglicht mir in vielen Fällen eine sehr schnelle Recherche.

Tipp

Im Netz gibt es aktuelle Anleitungen, in denen die Installation über spezielle abgespeckte WINE Umgebungen unter Linux für die Affinity Software gezeigt wird!

Dokumentstatus¶

Status des Git-reStructuredText Projekts: In Arbeit (Bild: richy-great-MAYEkmn7G6E-unsplash.jpg)¶

Meine inhaltlichen Aufbereitungen zu den diversen Themen unterliegen ständigen Änderungen und Aktualisierungen.

Bemerkung

Diese Dokument befindet sich in stetiger Überarbeitung. Fehlerbereinigung (Typos) oder eine ggf. noch fehlende Indexierung der Dokumente ist ein Work in Progress und findet auch in Seminaren statt.

Fragen Sie also gerne auch einmal später nach einer aktualisierten Variante dieser Ausarbeitung und beziehen sich dabei bitte auf die entsprechende Versionsnummer des Dokuments (oder der angegebenen Versionierung).

To-Do¶

Eine - nicht immer aktuelle - Liste mit Planungen für Arbeiten an dieser Dokumentation.

Zu tun

[Always] Korrekturen / kleine Verbesserungen
[Always] Einbau weiterer Tipps & Tricks rund um Git
[Always] Optimierung Styling HTML
[Always] Optimierung LaTeX / PDF: Styling und Textfluss
[DONE] Overhaul Link infos and Styling Proxmox Orange/Brown
[IMPROVE] Indexing
OneNote Sammlung bereitstellen/einbauen
Einbau Screenshots aus Seminaren
WIP ;-)
…

Alles wie immer: Work in progress…

Version¶

Versionierungsmerkmale für die reST-Dokumentstrukturen

Hier folgen also Meta-Infos zur Dokumentenversionspflege:

Version:

1.1

Language:

de

Description:

Unterlagen zu Proxmox - Virtualisierung Seminaren Trainer Joe Brandes.

Erstellt mit restructuredText / Sphinx / ReadTheDocs / sphinx_typo3_theme v4.9.0

Keywords:

Proxmox VE, Seminarunterlage, Trainer Joe Brandes

Copyright:

Joe Brandes

Author:

Joe Brandes

License:

GNU General Public License, either version 2 of the License or any later version.

Rendered:

25.01.2026

Farben¶

Meine rST-Ausarbeitungen basieren immer auf derselben statischen HTML/CSS/JS-Vorlage. Ich definiere das HTML/CSS-Layout nicht dynamisch, weil ich das TYPO3-rST-Theme einfach statisch in meinen Projekten verlinke.

Das ist sehr einfach! Es schränkt allerdings auch die flexible Anpassung von Design via CSS sehr ein. Am Ende läuft es auf ein Farben suchen und ersetzen hinaus.

Hier die Hauptfarben für dieses rST-Projekt:

#e57000 - Braunton (hell) - rgb(235, 126, 2)
#dc5600 - Braun/Rot (dunkel) - rgb(220, 86, 0)

Austauschfarbe (in Vorlage zur Orientierung): rgb(29, 99, 237)