System Protection Backup schlägt fehl und im Eventviewer findet sich ein CAPI2 Fehler – Eventid 513

Manchmal muss man tief in den Eingeweiden von Windows wühlen um einen Backupfehler zu finden und zu lösen. Ein physikalischer Server ließ sich plötzlich nicht mehr sichern nach diversen Windows Updates. In den DPM Logs ließ sich kein Fehler finden. Allerdings loggte der Server bei jedem Backupversuch das Event 513 für CAPI2:

event513_CAPI2

Damit ließ sich schon mehr anfangen. CAPI2 ist die Crypto API die vom Cryptographic Services Dienst benutzt wird. Offensichtlich ein Permission Problem, dass durch ein Windows Update verursacht wurde. Der NETWORK_SERVICE darf hier nicht zugreifen. Das ist der Account mit dem der VSS System Writer versucht ein Backup zu machen.

Um das gerade zu biegen benötigen schauen wir uns mit Hilfe von sc sdshow MSLLDP die Permissions des Microsoft Link-Layer Discovery Protocols an. Parallel schauen wir uns mit sc sdshow MUP die funktionierenden Permissions an. Daraus kopieren wir den String für den NETWORK_Service und setzen ihn dann mit Hilfe sc sdset. Dabei kopieren wir aus dem vorhergehenden sdshow von MSLLDP alle Security Informationen und fügen den Code für den NETWORK_SERVICE hinzu (A;;CCLCSWLOCRRC;;;SU) und setzen ihn vor S: in dem String von MSLLDP.

Zusammengefasst sieht das dann so aus:

sc_sdshow_mslldp

Jetzt noch den Dienst neustarten mit net stop cryptsvc und net start cryptsvc und schon ist der Fehler behoben und es gibt keine CAPI2 Error Events mehr im Eventlog.

Lässt man nun einen Recovery Point in DPM erstellen, dann läuft dieser ohne Probleme durch.

Ich gehe davon aus, dass das ein Bug in einem der Windows Updates für Server 2012R2 ist, denn ein ungepatchter 2012R2 läuft nicht in dieses Problem. Auf der anderen Seite laufen auch nicht alle gepatchten 2012R2 in dieses Problem hinein. Ist vermutlich eine magische Kombination aus mehreren Faktoren die hier die Permissions durcheinander bringt.

 

DPM beschwert sich über fehlenden Speicherplatz beim Baremetal Backup – Shadow Copy

DPM beschwert sich immer mal wieder über fehlenden Speicherplatz. Sei es im Replica Volume, dem Recovery Point Volume oder auch mal direkt auf C: wenn man ein Baremetal Backup machen möchte.

Eine neue Fehlermeldung ist mir die letzten Wochen häufiger über den Weg gelaufen. DPM meldet:
There is not enough disk space to create the volume shadow copy

Wenn man sich C: anschaut ist meist mehr als genug Platz vorhanden. Diese Fehlermeldung kommt woanders her. Das merkt man ziemlich schnell, wenn man anstelle eines Baremetal Backups nur einen Recovery Point für System State in DPM erstellt. Dieser wird erfolgreich gemacht.

Im Baremetal Backup ist zusätzlich zum System State auch ein Backup der Recovery Partition. Wenn in dieser weniger als 50MB frei sind, dann schlägt das Backup fehl. Die Ursache ist dabei nicht beim DPM zu suchen, sondern beim VSS.

VSS benötigt bei Partitionen die kleiner sind als 500MB ein Minimum von 50MB frei um einen Snapshot (shadow copy) zu erstellen. Bei Partitionen die größer sind als 500MB liegt das Minimum bei 320MB.

Jetzt kann man natürlich hergehen und einfach die Partition vergrößern. In einem sehr kleinen Umfeld kann man das machen. Wenn man aber einige hundert Server hat möchte man die Konfiguration eher einheitlich belassen. Daher gibt es einen einfach Workaround. Man sagt dem VSS Writer, dass er für die Recovery Partition einfach das C: Laufwerk als Storage für die Shadow copy verwenden soll anstelle der direkten Partition.

Um das zu tun, benötigen wir die Laufwerks ID der Recovery Partition. Diese erhalten wir, wenn wir mountvol aufrufen:

mountvol

Die ID ohne Mount Point ist unsere Recovery Partition. Mit vssadmin können wir dem VSS Writer mitteilen, dass er C: benutzen soll für die Shadowcopy:

vssadmin add shadowstorage /for=VOLUMENAME /on=C: /MaxSize=500MB

vssadmin add shadowstorageDer nächste Recovery Point in DPM wird dann erfolgreich erstellt.

 

 

Baremetal Backup schlägt hin und wieder fehl bei früherem Printserver

Bei einem Kunden konnte ich folgendes beobachten in einem DPM Server 2012R2 Umfeld:

Bei einigen Servern liessen sich nach einiger Zeit keine Baremetal Recovery Points mehr erstellen. Logfiles zeigen dass RAPreBackup mit einem Error aussteigt und das ohne ersichtlichen Grund, der auf DPM zurück zu führen ist:
0x80990ED0

Wenn die Server rebooted werden, dann lassen sich wieder Recovery Points mit DPM erstellen. Einige Tage später ist der Fehler wieder da, ohne dass es irgendwelche Änderungen gab. Nach einigem hin und her stellte sich heraus, dass alle Server entweder Printserver oder ehemalige Printserver waren.

Also warteten wir bis der Fehler wieder da war. Dann stoppten wir den Print Spooler und versuchten erneut einen Recovery Point zu erstellen. Dieser funktionierte einwandfrei.

Es stellte sich heraus, dass auf den ehemaligen Printservern noch einige HP Dienste zurückgeblieben sind, obwohl die Druckertreiber deinstalliert wurden. Es handelt sich hierbei um den Dienst PML Driver HPZ12 und Net Driver HPZ12.

Wenn man statt des Print Spoolers diese zwei Dienste anhält, dann funktioniert das Baremetal Backup ebenfalls. Also deaktivierten wir die Dienste auf den ehemaligen Printservern.

Auf dem Server der nach wie vor als Printserver agiert, konnte wir diesen Workaround natürlich nicht durchführen. Stattdessen halten wir via PreBackup Skript den Print Spooler an und starten ihn wieder wenn Windows Server Backup fertig ist.

Error 0x800423f3 – VSS Event ID 8204 bei der Bare Metal Sicherung eines (DPM) Servers

Lange Zeit hatten wir unsere beiden DPM Server bei einem Kunden mit dem Windows Server Backup per Scheduled Task auf ein Netzwerkpfad täglich gesichert.

Später sind wir dann zur „Microsoft-Supporteten“ Variante übergegangen und haben einen dedizierten Secondary DPM Server für alle DPM Server im Unternehmen aufgebaut.

Doch auch hier verwendet ja DPM Selbst das Windows Server Backup zum Sichern des Servers.

Leider ist nun seit einiger Zeit der Error: Error 0x800423f3 -mit der VSS Event ID 8204 aufgetaucht bei dem Versuch den Server zu sichern. Weder per Scheduled Task noch per DPM oder per Kommandozeile ist eine Bare Metal Sicherung mehr möglich.

Der VSS Writer gibt den folgenden Fehler aus:
Volume Shadow Copy Service error: An invalid XML document was returned from writer {27d4ecb3-4359-4305-8e44-7d1b7bc83780}.

Nach langer Suche bin ich auf ein KB von Microsoft gestossen was den Fehler sehr gut beschreibt.
http://support.microsoft.com/kb/983425
Es geht darum, dass der VSS Reader/Writer ein Limit an Mountpoints verarbeiten kann. Da jedoch der DPM Server selbst für jede Protection Group bzw. Protected Server (und natürlich bei einer Disk Reallocation) einen neuen Mount Point erstellt, es sehr schnell zu vielen Mount Points kommt, tritt dieser Fehler früher oder Später bei „großen“ DPM Servern auf. In unserem Falle haben die beiden DPM Server jeweils 50 – 80 Client Server in der Sicherung mit einem Storage von jeweils 60TB.

Leider ist hier die Aussage von Microsoft sehr klar:
Eine Lösung für Windows Server 2008 gibt es im oben genannten KB doch leider keinen „direkten“ fix von MS für >2008R2 Servern. Ein DCR (Design Change Request) wurde von der Produktgruppe bei MS abgelehnt. Der einzige Workaround hier ist ein Scalae-Out –> Aufsetzen eines weitern DPM Server und Protected Clients/Server übertragen…

An dieser Stelle hinterlässt das Produkt leider keinen guten Eindruck für eine Enterprise Lösung. . .

 

 

DPM 2012 und ‚Replikat inkonsistent‘

Nach dem Rollout von DPM 2012 und der Einrichtung der ersten Windows Server 2008 R2 kam es in einer Umgebung immer wieder zum o.a. Problem:

  • Die Sicherung der Laufwerke und anderer Komponenten wie z.B. Datenbanken klappt wunderbar,
  • nicht jedoch die Sicherung von
    • Bare-Metal-Recovery und
    • Systemstatus

Nach längerem Suchen fanden sich mehre mögliche Lösungen für diese Behebung dieses Problems:

  1. Das Feature ‚Windows-Server-Sicherungsfeatures‘ war nicht installiert. Nur damit erfolgt die Sicherung des Systemstatus 😉
    Schade, dass das von Microsoft beim Rollout des DPM Remote Agent nicht gemacht wird …
  2. In der Datei „%PROGRAMFILES%\Microsoft Data Protection Manager\DPM\Datasources\PSDataSourceConfig.xml“ wird unter <FilesToProtect> vom Windows Sicherungsprogramm das größte gefundenen Laufwerk eingetragen, z.B. in der Form „R:\WindowsImageBackup“. Hier kann es helfen, den Laufwerksbuchstaben auf C: abzuändern.
  3. Unglaublich, aber wahr– einfach ‚mal den DPM-Speicherpooldatenträger überprüfen, ob der nicht voll ist … 😉 Für eine System State Sicherung wird vom DPM ‚mal eben ca. 30 GB reserviert …