Alter Server? Neues Leben!

Die Variante mit Grub kenne ich tatsächlich. Der Rest überfordert mich gerade hart, so ohne Background Wie gesagt, wenn es soweit ist, greife ich das Thema R9 unter Linux Systemen noch einmal auf

Die CPUs sind da, dann kanns ja in ner ruhigen Minute los gehen mit dem Aufbau

Der Aufbau
---------------
Heute habe ich den Trümmer mit nach Hause genommen und gleich mal entstaubt

Die Hardware, die da rein soll.

Erstmal wurden alle Platten und das Netzteil rausgenommen und die Kabelage entwirrt. So sieht das Brett übrigens aus.

Just a Bunch of Disks - 2x 500er, 6x 1TB Raptoren - und Bingo - eine 4TB Seagate Ironwolf

Die wandert gleich mit 2 250er Samsung SSDs zurück ins Gehäuse.

Nach 1,5 Stunden mit kleinen Pausen steht die Konfig. Das Netzteil wurde getauscht und die Kabelage entwirrt.

Wie man sieht, ist der RAM nicht voll bestückt. Das Board mag keine Mische - das hat es mir klar und deutlich mitgeteilt - daher beschränke ich mich erstmal auf die 64GB und teste ein andern mal, was geht. Außerdem brüllt er rum, da sich in der BMC die Lüfterkonfiguration geändert hat. Das nehme ich morgen in Angriff. Wegen alter Wärmleitepaste und der Tatsache, dass ich keine mehr zu Hause habe, lief der Bock nur kurz. Morgen im Büro hole ich Nachschub.

Spec:
Intel S2600CP Mainboard Sockel Dual 2011
2x Intel Xeon E2650v2
8x8 16x8 = 64GB RAM ECC DDR3 1600 128GB 1333
FSP Fortron 1000 Watt NT Vollmodular
2x Samsung Evo 850 250GB
1x Seagate HDD 4TB
1x Palit GTX 650ti
1x PowerColor R9 390 PCS+

Soviel erstmal dazu. Der nächste Schritt ist dann die Installation und Einrichtung von Proxmox.

Und direkt als Nachtrag: Läuft jetzt mit 128GB RAM. Er mochte 4 andere 1600er ECC nicht, 1333er aber schon.

Inbetriebnahme und Installation von Proxmox VE

Nachdem die Basis geschaffen und Lauffähig ist, habe ich gleich noch per Intel eigenem Tool über die EFI Shell der BMC mitgeteilt, dass nur CPU1 und CPU2 Fans vorhanden sind. Somit fängt er nicht an zu schreien, wenn mal einer der Gehäuselüfter langsamer dreht als angenommen. Wobei hier allesamt 3-Pin Lüfter angeschlossen sind. Soviel zum Mainboard-spezifischen Teil. Die 128GB Ram sind gesteckt und laufen mit 1333MHz. Nachträglich ist rein für die Proxmox Installation eine 60GB Kingston SSD mit ins System gewandert.

1. Vorbereitung
Man nehme die aktuelle Version von Proxmox VE und lade sich die 800MB schwere ISO herunter. Mittels Rufus oder Balena Etcher wird die ISO auf einen USB Stick gepackt und gebootet.
Es gibt verschiedene Versionen von Proxmox. Einmal VE (Virtual Environment), Backup Server und Mail Gateway. Für uns steht die VE im Fokus.

2. Installation
Die Installation von Proxmox habe ich kurz in einer VM nachgebildet für die Bildchen.

Einfach das Setup über den ersten Punkt starten.

Das Setup selbst ist grafisch und wird über Maus/Tastatur genutzt, kein Terminal zu sehen.

Hier fragt das Setup, auf welchem Datenträger das System installieren soll. Ich belasse es hier beim Standard. Über "Options" lassen sich noch Parameter einstellen:
- Größe der Swap-Partition
- LVM min und max Size (für System und Speicher der ISO-Daten)

Kurz noch das Passwort für den root angeben sowie eine gültige E-Mail Adresse für Systemmeldungen und für vergessene Passwörter

Am Ende gibt es noch eine Zusammenfassung vor der Installation. Nach dem Setup erfolgt der Neustart.

Ist Proxmox fertig geladen, folgt der dezente Hinweis, ab hier einen Webbrowser zu nutzen. Darüber läuft dann ab jetzt die weitere Verwaltung des Servers.

Jetzt würde ich noch gerne wissen, wie viel Strom das Gute Stück zieht.... ich finde meinen Strommesser nicht

Aber dafür gibt es eine kurze Hörprobe wie laut er ist. Ich würde ihn mir leise wünschen, aber die geboxten Intel Kühler sehen das anders. Für den Anfang reichts erstmal.

Na toll, die Hülle des Smartphones verdeckt leider einen Teil

Zitat von mrshadowtux

Von Haus aus sehr laut. Über ein paar IPMI-Befehle habe ich ihn aber auf in etwa leicht über die Lautstärke eines Desktop-PCs stellen können, wo er auch bei stundenlanger Volllast absolut kühl bleibt.

wäre echt interessant, was deine Kiste zieht. Welche CPU-Kühler hast Du im Einsatz?

Einrichtung von Proxmox [Teil 1 - Updates]

und weiter gehts. Nach der Installation am System selbst geht es jetzt per WebGUI weiter. Also nehmen wir die IP Adresse und rufen sie von einem anderen PC auf. - https://[IP-ADRESSE]:8006

Nach dem Login - am Anfang mit "root" und dem von uns während des Setups vergebenen Passworts melden wir uns an. Die erste Meldung, dass keine Subscription vorhanden ist, wird weg geklickt

Meine "Enterprise" - In der Übersicht wird direkt die aktuelle Last des Systems angezeigt. Bevor es überhaupt losgeht, hier ein paar Handgriffe, damit Proxmox auch korrekt mit seinen Updates agieren kann. Im Standard greift Proxmox auf die Enterprise Repos zu, welche für User mit einer Subcription gedacht ist - wir haben aber keine. Daher wird auch beim Update gemeckert, man habe keine Berechtigung auf eines der Repos zuzugreifen.

Auf jeden Fall muss dazu tatsächlich das Terminal bemüht werden. Entweder geht man wieder an den Rechner direkt, oder ruft die Konsole über den Webbrowser / Putty, [anderes ssh-tool hier einfügen] auf. Ich gehe den Weg über den Webbrowser. Bequem geöffnet wird die Shell über einen Button.

Es öffnet sich ein neues Fenster mit der Konsole hier kann man gut sehen, dass Proxmox auf Debian basiert.

Im Proxmox Wiki zum Thema Package Repositories führe ich die notwendigen Schritte durch.

Kurzum wird folgendes gemacht:
Das Repository für die NoSubcription-Version eingefügt

und die Repos für die Enterprise-Version auskommentiert.

Danach können wir anfangen die Updates zu suchen. Auch hier gibt es zwei Wege: 1. per apt-update und apt-upgrade in der Shell oder auf der WebGUI unter "Updates"

Einrichtung von Proxmox [Teil 2 - PCI Passthrough]

Als nächstes wird Proxmox beigebracht Hardware durchzureichen - spezieller PCI(e) Geräte. Im Standard wird angemerkt, man möge doch bitte IOMMU aktivieren, um ein PCI(e) Gerät an eine VM weiter zu reichen.

Dem folgen wir einfach, nutzen dazu das Wiki - PCI Passthrough und führen die Schritte durch.

Rein in die Shell und rumhacken - als erstes wird GRUB angepasst.

Danach noch kurz ein update-grub.

Als nächstes werden noch benötigte Module in die entsprechenden Konfigdateien eingetragen.

Im Wiki steht, dass IOMMU Remapping unterstützt sein muss, damit die Hardware korrekt an VMs übergeben werden kann. Kurzerhand lässt sich das herausfinden mit
dmesg | grep 'remapping'

kommt als Ergebnis
[ 1.085309] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[ 1.086013] DMAR-IR: Enabled IRQ remapping in x2apic mode

wird Remapping von der Hardware unterstützt.

Was im Wiki nicht steht, aber helfen kann, ist dem Debian-Unterbau von Proxmox per Blacklist zu verbieten, für die erkannten GPUs die Treiber zu laden und damit sich die verbauten Grafikkarten zu krallen. Damit sollten Probleme ggf. mit der Bildausgabe von VMs nicht auftreten.

Am Ende gibts einen Reboot.