System Protection Backup schlägt fehl und im Eventviewer findet sich ein CAPI2 Fehler – Eventid 513

Manchmal muss man tief in den Eingeweiden von Windows wühlen um einen Backupfehler zu finden und zu lösen. Ein physikalischer Server ließ sich plötzlich nicht mehr sichern nach diversen Windows Updates. In den DPM Logs ließ sich kein Fehler finden. Allerdings loggte der Server bei jedem Backupversuch das Event 513 für CAPI2:

event513_CAPI2

Damit ließ sich schon mehr anfangen. CAPI2 ist die Crypto API die vom Cryptographic Services Dienst benutzt wird. Offensichtlich ein Permission Problem, dass durch ein Windows Update verursacht wurde. Der NETWORK_SERVICE darf hier nicht zugreifen. Das ist der Account mit dem der VSS System Writer versucht ein Backup zu machen.

Um das gerade zu biegen benötigen schauen wir uns mit Hilfe von sc sdshow MSLLDP die Permissions des Microsoft Link-Layer Discovery Protocols an. Parallel schauen wir uns mit sc sdshow MUP die funktionierenden Permissions an. Daraus kopieren wir den String für den NETWORK_Service und setzen ihn dann mit Hilfe sc sdset. Dabei kopieren wir aus dem vorhergehenden sdshow von MSLLDP alle Security Informationen und fügen den Code für den NETWORK_SERVICE hinzu (A;;CCLCSWLOCRRC;;;SU) und setzen ihn vor S: in dem String von MSLLDP.

Zusammengefasst sieht das dann so aus:

sc_sdshow_mslldp

Jetzt noch den Dienst neustarten mit net stop cryptsvc und net start cryptsvc und schon ist der Fehler behoben und es gibt keine CAPI2 Error Events mehr im Eventlog.

Lässt man nun einen Recovery Point in DPM erstellen, dann läuft dieser ohne Probleme durch.

Ich gehe davon aus, dass das ein Bug in einem der Windows Updates für Server 2012R2 ist, denn ein ungepatchter 2012R2 läuft nicht in dieses Problem. Auf der anderen Seite laufen auch nicht alle gepatchten 2012R2 in dieses Problem hinein. Ist vermutlich eine magische Kombination aus mehreren Faktoren die hier die Permissions durcheinander bringt.

 

Error 0x800423f3 – VSS Event ID 8204 bei der Bare Metal Sicherung eines (DPM) Servers

Lange Zeit hatten wir unsere beiden DPM Server bei einem Kunden mit dem Windows Server Backup per Scheduled Task auf ein Netzwerkpfad täglich gesichert.

Später sind wir dann zur „Microsoft-Supporteten“ Variante übergegangen und haben einen dedizierten Secondary DPM Server für alle DPM Server im Unternehmen aufgebaut.

Doch auch hier verwendet ja DPM Selbst das Windows Server Backup zum Sichern des Servers.

Leider ist nun seit einiger Zeit der Error: Error 0x800423f3 -mit der VSS Event ID 8204 aufgetaucht bei dem Versuch den Server zu sichern. Weder per Scheduled Task noch per DPM oder per Kommandozeile ist eine Bare Metal Sicherung mehr möglich.

Der VSS Writer gibt den folgenden Fehler aus:
Volume Shadow Copy Service error: An invalid XML document was returned from writer {27d4ecb3-4359-4305-8e44-7d1b7bc83780}.

Nach langer Suche bin ich auf ein KB von Microsoft gestossen was den Fehler sehr gut beschreibt.
http://support.microsoft.com/kb/983425
Es geht darum, dass der VSS Reader/Writer ein Limit an Mountpoints verarbeiten kann. Da jedoch der DPM Server selbst für jede Protection Group bzw. Protected Server (und natürlich bei einer Disk Reallocation) einen neuen Mount Point erstellt, es sehr schnell zu vielen Mount Points kommt, tritt dieser Fehler früher oder Später bei „großen“ DPM Servern auf. In unserem Falle haben die beiden DPM Server jeweils 50 – 80 Client Server in der Sicherung mit einem Storage von jeweils 60TB.

Leider ist hier die Aussage von Microsoft sehr klar:
Eine Lösung für Windows Server 2008 gibt es im oben genannten KB doch leider keinen „direkten“ fix von MS für >2008R2 Servern. Ein DCR (Design Change Request) wurde von der Produktgruppe bei MS abgelehnt. Der einzige Workaround hier ist ein Scalae-Out –> Aufsetzen eines weitern DPM Server und Protected Clients/Server übertragen…

An dieser Stelle hinterlässt das Produkt leider keinen guten Eindruck für eine Enterprise Lösung. . .