Tipps und Tricks fürs vSAN Troubleshooting

Heute war ich in einer Web-Session von VMware zum Thema vSAN Troubleshooting, und die Tipps und Tricks daraus gebe ich hier gerne weiter.

Das Naheliegende

Stell sicher, dass deine Hardware auf der VMware HCL steht.
– Disks, Controller, Firmware, Treiber

Stell sicher, dass du aktuelle Backups hast, und teste den Restore vollständig.

vSAN im Überblick

Cluster: 2 bis 64 physische Hosts
Host: 1 bis 5 Disk Groups
Disk Group: 1 Flash für Cache, 1 bis 7 Flash- oder HDD-Devices für Capacity

vSAN Objekte:
– VM Home, VM Swap, VMDK, Delta Disk, Memory Delta

Storage Policies:
– Werden pro VM oder pro VMDK angewendet
– Definieren Schutzniveau und Performance

Jedes Objekt besteht aus einer oder mehreren Komponenten, je nach Storage Policy.

C1 und C2 = Komponenten, W = Witness

Zustände einer Komponente:

• Active – Komponente erreichbar
• Absent – nicht erreichbar, aber ohne erkannten Fehlercode
  • Host-Ausfall oder Maintenance Mode mit «ensure accessibility»
  • Rebuild startet nach 60 Minuten Timeout
• Degraded – nicht erreichbar, mit erkanntem Fehlercode
  • Device-Ausfall
  • Rebuild startet sofort
• Active – stale
  • In der Warteschlange der Objekte, die neu gebaut werden

vSAN Werkzeuge

• vRealize Ops und Log Insight
• ESXCLI
• RVC
• Health Check
• vSAN Observer (bei Performance-Problemen)

ESXCLI

esxcli vsan – zeigt die verfügbaren Namespaces
Neu in 6.6: debug und health

esxcli vsan health cluster list – gibt einen Überblick nach Ampelsystem (grün, gelb, rot) über alle Tests
esxcli vsan health cluster get -t “vSAN Disk Balance” – liefert das Ergebnis eines Tests aus dem obigen Befehl
esxcli vsan health cluster get -t “vSAN object health” – vSAN Object Health kann auf ernste Probleme hindeuten, wenn der Status rot ist. Hol dir die UUID des Objekts, um das Problem zu verfolgen

esxcli vsan debug – zeigt die verfügbaren Namespaces
esxcli vsan debug resync summary – Informationen zum laufenden Resync
esxcli vsan debug object health summary get – Überblick über deine Health
esxcli vsan debug object list |more – gibt alle Objekte samt Komponentenzustand zurück
esxcli vsan debug disk list – Informationen zu deinen Disks und ob sie mitkommen
esxcli vsan debug controller list – Informationen zu deinen Disk Controllern (HCL-Informationen, Queue Depth)

RVC (Ruby vSphere Console)

Die RVC ist auf allen vCenter Server Varianten vorinstalliert.

vsan.check_state 0

vsan.disks_stats 0

vsan.cluster_info 0

Health UI

vSAN Disk Balance

vSAN Health

python /usr/lib/vmware-vpx/vsan-health/vsan-vc-health-status.py > /tmp/vsan_status.txt

Dasselbe auf einem einzelnen Node:
Pfad: /usr/lib/vmware/vsan/bin/vsan-health-status.pyc

python /usr/lib/vmware/vsan/bin/vsan-health-status.pyc

KB 2107705 hat mehr dazu.

Wann du das brauchst: wenn der Health Service auf dem vCenter nicht verfügbar ist.

Anwendungsfälle

Cluster mit 6 Hosts. Drei Nodes kamen dazu. Nach dem Hinzufügen der Hosts kam keine Kapazität dazu.

esxcli vsan storage list

In CMMDS: false – merk dir die naa…-ID

• Prüf vobd.log (such nach der naa…-ID)
• Prüf boot.gz (mit zcat; such nach der naa…-ID)
  • Disk naa…-ID detected to be a snapshot

Lösung:
– Die Disk lässt sich nicht hinzufügen, weil bereits ein Dateisystem darauf liegt
– Die Disk hatte eine UUID, war in einem Cluster und wurde irgendwann verwendet
– Löschen der Daten bestätigt
– Mit partedutil die Partitionen entfernt
– Disk Groups gelöscht und neu erstellt

Nützliche Logs:

vobd.log

Such nach «problem» und «permanent».