5. Ergebnisse und Empfehlungen aus der Pilotierung des neuen Qualitätsprüfungsverfahrens für die ambulante Pflege

Mit der Pflegereform zur Einführung eines neuen Pflegebedürftigkeitsbegriffs (Pflegestärkungsgesetz II) wurde auch die Entwicklung und Einführung neuer Verfahren zur Prüfung und Darstellung der Qualität von Pflegeeinrichtungen beschlossen. Das neue Prüfverfahren für stationäre Pflegeeinrichtungen ist seit Herbst 2019 in Kraft, wogegen die Qualität ambulanter Pflegedienste bislang noch nach den in ihren Verfahrensgrundzügen seit 2016¹ geltenden Qualitätsprüfungsrichtlinien (QPR) geprüft wird.

Ein Grund für das zeitliche Auseinanderfallen der Einführung der neuen Verfahren in beiden Sektoren dürfte in der nur für den ambulanten Bereich gesetzlich vorgesehenen Pflicht zur Pilotierung der neu entwickelten Instrumente und Verfahren bestehen (§ 113b Abs. 4 Nr. 3 SGB XI). Die von den Vertragsparteien mit der Entwicklung der neuen Verfahren beauftragten wissenschaftlichen Einrichtungen haben ihren Abschlussbericht 2018 vorgelegt (Büscher et al. 2018). Im Anschluss daran wurde von Juli 2019 bis Mai 2020 eine umfangreiche Pilotierungsstudie durchgeführt, deren Ergebnisse seit Anfang 2021 auf der Website des Qualitätsausschusses Pflege publiziert sind (Haaß et al. 2021). Der Qualitätsausschuss nimmt eine gründliche Würdigung der Pilotierungsergebnisse sowie ggf. eine Überarbeitung der Verfahren und Instrumente vor, was u. U. die Einführung des neuen Verfahrens verzögert, aber im Sinne der gesetzlich vorgesehenen „Sicherstellung der Wissenschaftlichkeit“ (§ 113b Abs. 4 Satz 1 SGB XI) ist.

Im Rahmen der Pilotierung wurden in 76 Pflegediensten in sechs Bundesländern Pilot-Prüfungen durchgeführt, in die insgesamt 754 pflegebedürftige Menschen einbezogen wurden. Neben den Pilot-Prüfungen wurden in einer gesonderten Teilstudie potenzielle Nutzerinnen und Nutzer der Qualitätsdarstellung mit Blick auf deren Eignung für die Auswahl eines Pflegedienstes befragt. Ferner wurde die Eignung des neuen Verfahrens bzw. der daraus resultierenden Prüfberichte für das Verwaltungsverfahren der Landesverbände der Pflegekassen untersucht.

Durch die Pilotierung sollten vor allem die Praktikabilität der Verfahren und Instrumente, d. h. die Handhabbarkeit und Anwendbarkeit in der Prüfpraxis sowie der Aufwand für die Beteiligten, beurteilt und ggf. Vorschläge für Anpassungen geliefert werden. Darüber hinaus wurden – wie von der Verfahrensentwicklung angeregt (Büscher et al. 2018, S. 138) – auch messmethodische Fragen untersucht: Zum einen wurde die Reliabilität des Verfahrens geprüft, d. h. die Frage, inwieweit das anhand einer Stichprobe von pflegebedürftigen Personen gewonnene Ergebnis ein zuverlässiges Bild des Pflegedienstes in Bezug auf den betreffenden Qualitätsaspekt (QA) gibt oder ob ein anderes Bild resultierte, wenn andere pflegebedürftige Personen in die Stichprobe gelangt wären. Die Untersuchung der Reliabilität stand im Zusammenhang mit dem Auftrag an die Pilotierung, zur Angemessenheit des Stichprobenumfangs von neun Personen Stellung zu nehmen. Die Reliabilität wurde untersucht, indem in einem Teil der Pilotprüfungen der eigentlich vorgesehene Stichprobenumfang verdoppelt wurde (d. h. 18 Personen statt neun). Die Abhängigkeit des Ergebnisses von der Stichprobe wurde anschließend ermittelt, indem aus diesem Pool von 18 Personen alle möglichen Stichproben im Umfang von neun Personen gezogen und die Ergebnisse verglichen wurden.

Als zweites messmethodisches Gütekriterium wurde die Objektivität des Verfahrens untersucht, d. h. die Frage, inwieweit das Ergebnis der Prüfung von der prüfenden Person abhängig ist. In die Untersuchung wurden zwei Verfahrensschritte (vgl. Abschn. 5.2) einbezogen: Zum einen die Festlegung, welche QA bei einer in die Prüfung einbezogenen pflegebedürftigen Person überhaupt prüfungsrelevant sind, zum anderen die Beurteilung dieser QA. Das Kriterium der Objektivität wurde in einer Teilgruppe von 19 Pflegediensten untersucht. In diesen Diensten sollten bei bis zu fünf pflegebedürftigen Personen „Schattenprüfungen“ und bei bis zu vier Personen „Wiederholungsprüfungen“ durchgeführt werden. An den Schattenprüfungen nahmen zwei Prüfende teil, je in einer aktiven bzw. einer passiven Rolle. Die passiv Prüfenden beeinflussten in keiner Weise den Verlauf der Prüfung, nahmen aber anhand der von den aktiv Prüfenden generierten Informationen Festlegungen und Beurteilungen vor.

Bei den Wiederholungsprüfungen wurde die Prüfung bei einer pflegebedürftigen Person – am gleichen oder am folgenden Tag – durch eine oder einen zweiten Prüfenden erneut durchgeführt. In beiden Fällen wurde die Übereinstimmung zwischen den Prüfenden bzw. Prüfungen bzgl. der geprüften QA sowie deren Qualitätsbeurteilungen als Maß für die Verfahrensobjektivität gewertet.

Auf Basis der Ergebnisse der Pilotierung wurden insgesamt 26 Empfehlungen formuliert. Davon beziehen sich sechs auf die Prüfungen von spezialisierten Diensten (außerklinische Intensivpflege bzw. psychiatrische häusliche Krankenpflege) und eine auf die Eignung für das Verwaltungsverfahren. Die Qualitätsdarstellung wird in zwei Empfehlungen thematisiert, die beide in engem Zusammenhang mit dem grundlegenden Problem der unvollständigen und variierenden Abdeckung der 16 für die Darstellung vorgesehenen QA in den Prüfungen stehen (vgl. die Ausführungen in Abschn. 5.3). Die übrigen Empfehlungen sind darauf ausgerichtet, wie den im Rahmen der Pilotierung beobachteten Herausforderungen im Zusammenhang mit der Stichprobenziehung sowie der Anwendung des Prüf- und Bewertungsinstrumentariums begegnet werden könnte.

Der vorliegende Beitrag befasst sich mit zwei grundlegenden Problemfeldern, auf die die Pilotierung hingewiesen hat. Dazu wurden sowohl verfahrensimmanente Empfehlungen als auch ein Vorschlag für eine grundsätzliche Verfahrensänderung formuliert:Den Ausführungen zu diesen beiden Problemfeldern ist ein kurzer Abriss wesentlicher Elemente und konzeptioneller Grundlagen des pilotierten Verfahrens vorangestellt, soweit sie für die in diesem Beitrag diskutierten Fragestellungen relevant sind.

Das pilotierte Prüfinstrument umfasst fünf Prüfbereiche. Einer davon beschreibt die Qualität der Strukturen und Prozesse des Pflegedienstes als Einrichtung. Er wird hier nicht näher betrachtet.

Für die weiteren vier Prüfbereiche erfolgt eine Beurteilung der Qualität der Versorgung bei einzelnen pflegebedürftigen Personen. Hierzu werden bei einer Stichprobe von Kundinnen und Kunden des Pflegedienstes sog. personenbezogene Prüfungen durchgeführt. Die Stichprobenziehung erfordert, dass jeder Pflegedienst eine aktuelle Liste der von ihm nach SGB V oder SGB XI versorgten Kundinnen und Kunden vorhält. Für jede Person ist zu dokumentieren, ob Einschränkungen der Mobilität und/oder der Kognition vorliegen und ob aufwändige/risikobehaftete HKP-Leistungen (HKP = häusliche Krankenpflege) erbracht werden. In die personenbezogenen Prüfungen sollen neun pflegebedürftige Personen einbezogen werden, die von den Prüfenden auf Basis dieser Liste als geschichtete Stichprobe mit Hilfe von Zufallszahlen gezogen werden: Es werden jeweils zwei Personen mit Einschränkungen nur der Mobilität, nur der Kognition bzw. in beiden Bereichen sowie drei Personen mit aufwändigen HKP-Leistungen ausgewählt und nach Einwilligung in die Stichprobe aufgenommen. Falls auch nach Anwendung von Ersatzregeln für die Stichprobenziehung keine neun Personen eingeschlossen werden können, finden bei weniger als neun Personen personenbezogene Prüfungen statt.

Zu jedem Prüfbereich gehört eine unterschiedliche Anzahl von QA. Die QA sind die eigentlichen Prüfungsgegenstände, die jeweils mehr oder weniger komplexe Themen darstellen und inhaltlich an das Begutachtungsinstrument anknüpfen. Prüfbereich 1 umfasst drei QA, die unabhängig von den im Einzelfall vereinbarten Leistungen bei den in die Prüfung einbezogenen Personen prüfrelevant sein können. Prüfbereich 2 betrifft die „Versorgung im Rahmen der individuell vereinbarten Leistungen“, d. h. die Qualität der Versorgung im Sinne der von dem Pflegedienst erbrachten Sachleistungen gem. SGB XI, die gegliedert nach elf QA beurteilt wird. Zum Prüfbereich 3 gehören die ärztlich verordneten Leistungen der HKP. Er umfasst 35 QA, entsprechend dem seinerzeit geltenden Leistungsverzeichnis der HKP-Richtlinie. Prüfbereich 4 nimmt eine Sonderrolle ein, insofern die Prüfenden in Bezug auf die beiden zugehörigen QA (Zusammenarbeit mit Angehörigen; Erfassung von und Reaktion auf Anzeichen von Gewalt, Vernachlässigung, Unterversorgung) keine Qualitätsbewertung vornehmen, sondern bei Auffälligkeiten lediglich beraten sollen. Tab. 5.1 zeigt die QA der Prüfbereiche 1 und 2.

Im Rahmen einer personenbezogenen Prüfung müssen die Prüfenden im ersten Schritt klären, welche QA bei der jeweiligen Person prüfbar sind, d. h. in Bezug auf welche QA entweder vertraglich vereinbarte oder ärztlich verordnete Leistungen erbracht werden. Im zweiten Schritt erfolgt die Informationserfassung durch Inaugenscheinnahme und Gespräch mit der pflegebedürftigen Person, Fachgespräch mit Mitarbeitenden des Pflegedienstes, Gespräch mit den Angehörigen, Einsicht in die Pflegedokumentation sowie ggf. weitere Quellen. Die Prüfenden entscheiden jeweils, welche Informationsquellen sie nutzen. Die Verfahrensentwicklerinnen und -entwickler weisen jedoch darauf hin, dass „eine einseitig auf die Dokumentation ausgerichtete Prüfung zu vermeiden [ist]“ (Büscher et al. 2018, Anhang 1, S. 6). Im dritten Schritt beurteilen die Prüfenden mit Blick auf die prüfungsrelevanten QA die Versorgung, indem sie die Leitfragen bearbeiten, die in der zu dem Verfahren gehörenden Ausfüllanleitung für jeden QA formuliert sind (Büscher et al. 2018, Anhang 3). Auf dieser Grundlage wird im letzten Schritt die Bewertung jedes QA bei der betreffenden Person vorgenommen, d. h. die sog. „Einzelbewertung“ vergeben: Sofern die Bearbeitung der Leitfragen keine Hinweise auf Auffälligkeiten oder Defizite ergeben hat, wird die Bewertungskategorie A vergeben. Kategorie B (Auffälligkeiten, die keine Risiken oder negativen Folgen für den pflegebedürftigen Menschen erwarten lassen) soll gewählt werden, wenn fachliche Abweichungen oder Irregularitäten (z. B. fehlende Einträge in der Pflegedokumentation) beobachtet werden, die jedoch keine Auswirkungen auf die pflegebedürftige Person haben. Bei festgestellten Mängeln wird zwischen „Defiziten mit Risiko negativer Folgen“ (Kategorie C) und „Defiziten mit eingetretenen negativen Folgen für den pflegebedürftigen Menschen“ (Kategorie D) unterschieden. Alle C- und D-Bewertungen müssen durch die Prüfenden begründet werden, wobei sie sich an einem Katalog von Fragen orientieren sollen (Büscher et al. 2018, Anhang 1, S. 14).

Die stichprobenartig durchgeführten personenbezogenen Prüfungen dienen dem Zweck, die Versorgungsqualität des Pflegedienstes zu messen bzw. zu beschreiben. Die Einzelbewertungen der QA auf Ebene von Personen werden daher nach festen Regeln zu Gesamtbewertungen jedes QA zusammengefasst. Bspw. ergibt sich für einen QA die Gesamtbewertung „Keine oder geringe Qualitätsdefizite“, wenn als Einzelbewertungen maximal ein C und kein D vergeben wurde (ohne Berücksichtigung von Sonderregeln). Weitere Ausprägungen der Gesamtbewertungen sind „Moderate Qualitätsdefizite“, „Erhebliche Qualitätsdefizite“ und „Schwerwiegende Qualitätsdefizite“, die resultieren, je mehr C- oder D-Einzelbewertungen für einen QA vorliegen.

Ein einzelner Pflegedienst kann im Maximalfall 19 Gesamtbewertungen erhalten: Im Prüfbereich 1 können drei QA, im Prüfbereich 2 elf QA prüfungsrelevant sein. In Bezug auf die ärztlich verordneten Leistungen (Prüfbereich 3) resultieren für die 35 zu prüfenden QA nur maximal fünf Gesamtbewertungen. Zum einen entsprechen einige Positionen den QA im Prüfbereich 2 (z. B. Körperpflege) und werden daher nicht gesondert beurteilt. Zum anderen werden Zusammenfassungen von HKP-Leistungen vorgenommen (z. B. „Dekubitusbehandlung“, „Stomabehandlung“ und „Verbände“ zu „Wundversorgung“).

Für die Qualitätsdarstellung werden diese 19 QA auf 16 reduziert. Von den fünf aus dem Prüfbereich 3 stammenden QA gehen nur die QA „Medikamente“ und „Wundversorgung“ in die öffentliche Darstellung ein, die QA „Spezielle Krankenbeobachtung“, „Psychiatrische Krankenpflege“ sowie „Sonstige HKP“ entfallen. Für jeden dieser 16 QA wird die Gesamtbewertung zusätzlich mit Hilfe einer Symbolik kommuniziert: Vier ausgefüllte Kästchen entsprechen der besten Beurteilung („Keine oder geringe Qualitätsdefizite“), nur ein ausgefülltes und drei leere Kästchen der schlechtesten. Falls ein QA bei dem betreffenden Pflegedienst nicht geprüft wurde, wird ein X gezeigt.

Der erste Verfahrensschritt bei einer personenbezogenen Prüfung ist die Ermittlung der prüfungsrelevanten QA, d. h. die Prüfenden müssen anhand der im Einzelfall beauftragten (Prüfbereich 2) bzw. verordneten (Prüfbereich 3) Leistungen ermitteln, welche QA Gegenstand der Prüfung sein werden.

Die Pilotierung hat gezeigt, dass die Bestimmung des Prüfumfangs vor allem im Prüfbereich 2 mit Herausforderungen verbunden ist:

Bei den QA, die einen engen Bezug zu Unterstützungsleistungen bei Verrichtungen des täglichen Lebens aufweisen (QA 2.5 bis 2.7), lässt sich die Prüfungsrelevanz vergleichsweise einfach feststellen, da eine eindeutige Korrespondenz zu bestimmten Leistungskomplexen besteht. In Bezug auf die meisten anderen QA des Prüfbereichs 2 wurde festgestellt, dass sie häufig nicht prüfungsrelevant sind. Dies war teilweise darauf zurückzuführen, dass Personen in der Stichprobe nur Leistungen nach dem SGB V bezogen. Zum anderen waren zum Zeitpunkt der Pilotierung in den Landesrahmenverträgen bzw. Vergütungsvereinbarungen vielfach keine entsprechenden Leistungspositionen definiert und mithin auch keine Beauftragung des Pflegedienstes möglich. Weiterhin bestehen Interpretationsspielräume, wenn ein Leistungskomplex oder eine Zeitvergütung für „(pflegerische) Betreuungsmaßnahmen“ vereinbart ist. Hier wurde es häufiger als schwierig eingeschätzt zu entscheiden, ob nur der QA 2.8 („Unterstützung bei der Gestaltung des Alltagslebens sowie bei der Aufrechterhaltung und Förderung sozialer Kontakte“) oder ggf. auch die QA 2.2 und 2.4 („Unterstützung bei beeinträchtigter Kognition“ bzw. „bei Verhaltensauffälligkeiten und psychischen Problemlagen“) prüfungsrelevant sind. Die Prüfenden haben daher i. d. R. nicht nur die Pflegeverträge, sondern auch die Maßnahmen-/Pflegeplanung als Informationsquelle genutzt, die sich jedoch in diesen Fällen vielfach auch als zu wenig differenziert erwies.

Unterschiedliche Interpretationen in Bezug auf die Prüfungsrelevanz haben sich vor allem in Bezug auf die „Unterstützung im Bereich der Mobilität“ (QA 2.1) gezeigt. Das neue Qualitätsprüfungsverfahren knüpft ausdrücklich an den seit 2017 geltenden Pflegebedürftigkeitsbegriff und das daraus resultierende Verständnis pflegerischer Aufgaben an (Wingenfeld und Büscher 2017). Dort heben die Autoren hervor, dass es sich bei dem Grundgedanken der „Erhaltung und Förderung der Selbständigkeit“ nicht um quasi nebenher zu erledigende Aufgaben handelt, sondern um ein „zielgerichtetes, in der Pflegeplanung fixiertes Vorgehen, bei dem Art, Umfang, Rhythmus, Situationen und Zeitpunkte für ressourcenfördernde Maßnahmen klar definiert [sind]“ (Wingenfeld und Büscher 2017, S. 9). Aus dieser Perspektive ist somit auch in Bezug auf QA 2.1 eine vereinbarte spezifische Leistung Voraussetzung für die Prüfungsrelevanz, was auch in den Schulungen vermittelt wurde, an denen alle Prüfenden vor Start der Pilotierung teilgenommen haben.

In den Pilot-Prüfungen wurde in zahlreichen Fällen der QA 2.1 geprüft, obwohl keine entsprechenden Leistungen vereinbart waren. Zur Begründung führten die Prüfenden an, dass die Unterstützung bzw. Förderung der Mobilität nach ihrem Verständnis integraler Bestandteil, z. B. bei der Erbringung von Leistungen zur Körperpflege, sei und daher auch geprüft werden müsse. Es wurde auch darauf hingewiesen, dass der neue Pflegebedürftigkeitsbegriff ja eine ganzheitliche Sicht auf den Menschen und die pflegerischen Aufgaben verlange, weshalb die strikte Bindung der Prüfung eines QA an eine zugehörige spezifische Leistung für nicht sinnvoll erachtet wurde. Diese Argumentation wurde nicht nur für die Mobilität, sondern teilweise auch für „Unterstützung bei beeinträchtigter Kognition“ (QA 2.2) in Anspruch genommen, die ebenfalls im Zusammenhang mit Leistungskomplexen aus dem Bereich der Körperpflege geprüft wurde (vgl. Haaß et al. 2021, Abschn. 3.6.1).

Die Unsicherheit in Bezug auf die Feststellung der Prüfungsrelevanz bestimmter QA zeigte sich auch in den Analyseergebnissen zur Objektivität des Verfahrens (Tab. 5.2). In den 19 Pflegediensten, in denen Schatten- und Wiederholungsprüfungen durchgeführt wurden, konnten zwischen vier und neun Personen in die Prüfungen bezogen werden. Insgesamt nahmen 163 pflegebedürftige Personen an diesen Prüfungen teil, davon wurden bei 89 Personen Schattenprüfungen und bei 74 Personen Wiederholungsprüfungen vorgenommen. Eine Untersuchung der Übereinstimmung zwischen den Prüfenden wurde vorgenommen, wenn ein QA bei mindestens 25 Personen von wenigstens einem Prüfenden für relevant erachtet wurde. Dies war bei den sechs bzw. sieben in Tab. 5.2 dargestellten QA der Fall.

Eine hohe bis sehr hohe Übereinstimmung zwischen den Prüfenden im Hinblick auf die Prüfungsrelevanz zeigte sich erwartungsgemäß bei den beiden QA aus dem Prüfbereich 3, die sich auf ärztlich verordnete Leistungen beziehen, und bei den „klassischen“ QA „Unterstützung bei der Körperpflege“ bzw. „bei der Ausscheidung“. Bei den QA 1.1 und 2.1 zeigte sich eine geringere Übereinstimmung. Der QA 1.1 ist nur bei Personen zu prüfen, die in den vorangegangenen sechs Monaten entweder neu in die Versorgung genommen oder in diesem Zeitraum stationär behandelt wurden. Bei etwa einem Viertel der pflegebedürftigen Personen kamen die Prüfenden diesbezüglich nicht zum gleichen Ergebnis. Die niedrige Übereinstimmung bei der „Unterstützung im Bereich der Mobilität“ von nur 23 % bzw. 31 % zwischen den Prüfenden in den Schatten- bzw. Wiederholungsprüfungen bestätigt die angesprochene Problematik einer teilweise unbefriedigenden Objektivität des Verfahrens in Bezug auf die Festlegung der Prüfungsrelevanz von QA.

Als weiterer Aspekt wurde im Rahmen der Untersuchungen zur Objektivität des Verfahrens die Übereinstimmung der Prüfenden bei der Qualitätsbeurteilung der geprüften QA untersucht. Diese Untersuchung ist nur möglich, wenn die Prüfenden zunächst darin übereinstimmen, dass ein QA überhaupt zu prüfen ist. In Bezug auf den QA „Mobilität“ konnte diese Untersuchung nicht sinnvoll durchgeführt werden, da weniger als 25 Urteilspaare zur Verfügung standen. In Bezug auf die übrigen in Tab. 5.2 gezeigten QA konnten zehn Analysen der Interrater-Übereinstimmung anhand der Kennzahl „Krippendorff’s alpha“ durchgeführt werden (Krippendorff 2004). In neun Fällen ergab sich eine unbefriedigende Übereinstimmung von alpha < 0,66 (Haaß et al. 2021, S. 139).

Die Qualität eines ambulanten Pflegedienstes wird nach dem Verfahren von Büscher et al. (2018) durch die bis zu 19 Gesamtbewertungen der QA (sowie zusätzlich durch die Ergebnisse im einrichtungsbezogenen Prüfbereich 5) abgebildet. Die Operationalisierung von „Pflegequalität“ über eine Menge von QA knüpft an das im stationären Bereich bereits etablierte Verfahren an und lässt sich sowohl pflegefachlich als auch methodisch gut begründen. Im ambulanten Bereich besteht jedoch die besondere Herausforderung, dass der Prüfungsumfang (d. h. die prüfungsrelevanten QA) bei jeder personenbezogenen Prüfung in Abhängigkeit von den jeweils vereinbarten bzw. ärztlich verordneten Leistungen variiert. Bei einer aus Praktikabilitätsgründen notwendigerweise begrenzten Stichprobe von pflegebedürftigen Personen, die in die Prüfungen einbezogen werden können, besteht daher die Gefahr, dass die Qualität eines Pflegedienstes nur unvollständig bzw. auf einer wenig belastbaren Grundlage erfasst wird.

An den in Abb. 5.1 dargestellten Ergebnissen der Pilotierung lassen sich beide Probleme ablesen. Die dunkelblauen Balken zeigen den Anteil der Pflegedienste, bei denen für den jeweiligen QA eine Gesamtbewertung ermittelt werden konnte. Nur drei QA (1.1, 1.2, 2.5) erreichen annähernd 100 %, neun QA konnten bei mehr als der Hälfte der Pflegedienste beurteilt werden. Bei keinem Pflegedienst konnten alle QA beurteilt werden. Im Mittel wurden je Pflegedienst etwa zehn QA beurteilt, das Maximum waren 14 und das Minimum drei QA (Haaß et al. 2021, S. 114).

Die hellblauen Balken zeigen den Anteil der pflegebedürftigen Personen, bei denen der jeweilige QA geprüft wurde. Nur zwei QA konnten bei mehr als der Hälfte der in die Prüfungen einbezogenen pflegebedürftigen Menschen geprüft werden; die übrigen QA waren bei weniger als der Hälfte prüfungsrelevant. Der im Vergleich zum dunkelblauen Balken meist deutlich geringere Wert des hellblauen Balkens weist auf das zweite Problem hin: Die Gesamtbewertung eines QA beruht oftmals nur auf einer kleinen Zahl von Einzelbewertungen, weil entweder die Stichprobengröße von neun nicht erreicht wurde oder der QA nur in wenigen personenbezogenen Prüfungen prüfungsrelevant war. Betrachtet man die Anzahl Einzelbewertungen, die den Gesamtbewertungen zugrunde liegen, zeigt sich, dass bspw. der QA „Körperpflege“ bei 75 % der Pflegedienste auf Basis von sechs oder mehr Personen beurteilt wurde. Bereits bei den QA „Nahrungs- und Flüssigkeitsaufnahme“ bzw. „Ausscheidung“ lag nur bei einem Drittel bzw. einem Viertel der Pflegedienste eine Basis von sechs oder mehr Personen zugrunde. Bei den meisten QA beruhte die Gesamtbewertung nur auf einer bis drei Einzelbewertungen (vgl. Haaß et al. 2021, S. 119).

Selbst wenn man davon ausgeht, dass die Zahl prüfbarer QA steigen wird, wenn nach Anpassung der Landesrahmenverträge entsprechende Leistungen vereinbart werden können, bleibt das Grundproblem bestehen, dass manche QA mangels vereinbarter oder verordneter Leistungen nicht oder nur bei einer kleinen Zahl von pflegebedürftigen Personen prüfbar sind. Obwohl es keine wissenschaftlich vollkommen befriedigende Lösung für dieses Problem gibt, wurde im Rahmen der Pilotierung ein Anpassungsvorschlag entwickelt, der die messmethodischen Schwächen vermindert, ohne die Praktikabilität des Verfahrens nennenswert zu beeinträchtigen.Durch diese Modifikation wird die Basis der Gesamtbewertungen verdoppelt (von bis zu neun auf bis zu 18 Personen), ohne die Stichprobengröße der jährlichen Qualitätsprüfung zu erhöhen. Abb. 5.2 illustriert dieses erste Element des Anpassungsvorschlags.

Die zweite Modifikation würde für den Prüfbereich 2 eine analoge Eindeutigkeit in Bezug auf die Prüfungsrelevanz eines QA schaffen, wie sie im Prüfbereich 3 durch die Notwendigkeit einer ärztlichen Verordnung besteht:Diese zweite Modifikation würde zum einen die oben beschriebenen Objektivitätsmängel in Bezug auf die Festlegung der Prüfungsrelevanz von einzelnen QA beheben. Zum anderen würde damit die Voraussetzung für eine andere Vorgehensweise bei der Stichprobenziehung geschaffen, die das dritte Kernelement des Anpassungsvorschlags darstellt:Ziel der dritten Modifikation ist es, bezogen auf die Zwei-Jahres-Perspektive für jeden Pflegedienst möglichst viele QA erfassen zu können und bezogen auf den einzelnen QA jeweils eine Mindestanzahl (Quorum) von Einzelbewertungen zu erreichen. Nimmt man die Regeln zur Zusammenfassung der Einzelbewertungen für einen QA zur Gesamtbewertung dieses QA als Anker, so wäre eine Mindestanzahl von sechs Einzelbewertungen wünschenswert, da dann die „regulären“ Regeln angewendet werden können. Nach den Ergebnissen der Pilotierung dürfte jedoch auch unter den Bedingungen der durch die Zwei-Jahres-Perspektive verdoppelten Stichprobenbasis bei vielen QA dieses Quorum von sechs Einzelbewertungen gegenwärtig nicht erreichbar sein. Deshalb sollten zwei Gruppen von QA gebildet werden: eine Gruppe der häufigeren QA, bei denen ein Quorum von sechs Einzelbewertungen angestrebt wird, und eine Gruppe der selteneren QA, bei denen ein Quorum von vier Einzelbewertungen gilt (jeweils kumuliert über zwei Jahre bzw. Qualitätsprüfungen). Bei einer Veränderung der Häufigkeit der Vereinbarung der entsprechenden Leistungen im Zeitverlauf kann die Zuordnung zu diesen beiden Gruppen ggf. verändert werden.

Bei der Qualitätsprüfung in einem gegebenen Jahr würde den Prüfenden die Information vorliegen, wie viele Einzelbewertungen für jeden QA aus dem vorangegangenen Jahr vorliegen. Daraus ergibt sich für die aktuelle Prüfung für jeden QA ein Sollwert von Einzelbewertungen, der in den aktuell durchzuführenden personenbezogenen Prüfungen erreicht werden muss, um für den Pflegedienst das Zwei-Jahres-Quorum von sechs bzw. vier Einzelbewertungen je QA zu erreichen.

Ausgehend von den Sollwerten würden die Prüfenden gezielt pflegebedürftige Personen in die Stichprobe aufnehmen, bei denen bestimmte QA aus den Prüfbereichen 2 und 3 prüfbar sind. Um dies zu ermöglichen, müsste die Liste der von dem Pflegedienst versorgten Personen die jeweils vereinbarten bzw. verordneten Leistungen aufführen (anstelle der bislang vorgesehenen Angaben zu Beeinträchtigungen von Mobilität/Kognition). In Verbindung mit der o. g. Zuordnungsvorschrift von Leistungen zu QA wäre somit genau bestimmbar, bei welcher Person welche QA prüfbar sind. Die Prüfenden würden dann sukzessive Personen in die Stichprobe aufnehmen, mit denen die Sollwerte erreicht werden können. Als erstes würden Personen ausgewählt, bei denen besonders seltene QA prüfbar sind. Da bei jeder dieser Personen meist mehrere weitere QA (insbesondere die häufig prüfbaren) mitgeprüft werden können, würden durch diese Vorgehensweise mehrere Sollwerte gleichzeitig aufgefüllt. Die Bildung der Stichprobe lässt sich am effizientesten umsetzen, wenn die Liste der Personen elektronisch vorliegt und eine geeignete Software die Personen auswählt, mit denen die beiden Optimierungsziele (möglichst viele QA, möglichst viele Einzelbewertungen je QA) möglichst gut erreicht werden. Abb. 5.3 zeigt das veränderte Prinzip der Bildung der Stichprobe am Beispiel eines (selten prüfbaren) QA.

Um abzuschätzen, inwieweit mit diesem Vorschlag eine relevante Verbesserung des Verfahrens erzielt werden könnte, wurde basierend auf den Daten der Pilotierung eine Simulation durchgeführt (vgl. Haaß et al. 2021, S. 396 ff.). Dabei ist einschränkend zu berücksichtigen, dass diese Daten nur bedingt geeignet sind, weil u. a. die Festlegung von prüfbaren QA nicht gemäß der obigen Modifikation erfolgt ist. Trotz der Limitierungen lässt die Simulation Aussagen über die voraussichtliche Funktionsfähigkeit des angepassten Verfahrens zu. In die Untersuchung konnten elf QA einbezogen werden; nicht berücksichtigt wurden QA, die nur in 0,4 % bis 3,7 % der personenbezogenen Prüfungen in der Pilotierung prüfbar waren, so dass eine Simulation nicht möglich war. Für die acht QA, die in mindestens 15 % der personenbezogenen Prüfungen prüfbar waren, wurde ein Zwei-Jahres-Quorum von sechs Einzelbewertungen angesetzt (QA 1.1, 1.2, 2.1, 2.5, 2.6, 2.7, Medikamente und Wundversorgung), bei den übrigen drei QA (2.2, 2.8, 2.11) sollten vier Einzelbewertungen erreicht werden. Die Simulation wurde getrennt für Pflegedienste mit 50, 75 und 100 versorgten Personen durchgeführt. Im Ergebnis zeigte sich, dass für die „kleinen“ Pflegedienste in etwa 96 % der Fälle das jeweilige Quorum für alle elf QA erreicht werden konnte. Bei den größeren Diensten wird das Ziel zu praktisch 100 % erreicht.

Von den umfangreichen Ergebnissen der Pilotierung (Haaß et al. 2021) konnte hier nur ein Ausschnitt dargestellt werden. Mit den beiden erörterten Themen wird jedoch der zentrale Befund der Pilotierung aufgegriffen: Das überzeugende Grundkonzept des neuen Prüfungsverfahrens, nämlich die stärkere Orientierung an der Ergebnisqualität, die über die Beurteilung von 19 QA operationalisiert wird, litte unter einer suboptimalen messmethodischen Umsetzung, wenn das pilotierte Verfahren beibehalten wird.

Grundproblem des Konzepts ist die – von wenigen Ausnahmen abgesehen – nur selten gegebene Prüfbarkeit der QA in den personenbezogenen Prüfungen. Das vorgeschlagene Verfahren einer nach den Kriterien „Beeinträchtigung von Mobilität und/oder Kognition“ geschichteten Stichprobenziehung führt nach den Ergebnissen der Pilotierung nicht zu einer nennenswerten Verbreiterung des Spektrums von prüfbaren QA. Daran dürfte sich auch nichts Wesentliches ändern, wenn die rahmenvertraglichen Grundlagen so weit angepasst sind, dass zu allen QA auch entsprechende Leistungen vereinbar sind. Denn auch ganz „traditionelle“ QA bzw. Leistungen, wie die „Unterstützung bei der Nahrungs- und Flüssigkeitsaufnahme“, konnten in der Pilotierung nur bei ca. 40 % der Pflegedienste geprüft werden und bei 60 % dieser Dienste beruhten die Gesamtbewertungen nur auf ein bis drei personenbezogenen Prüfungen.

Folge dieses unzureichend gelösten Problems sind Prüfberichte, die je nach Pflegedienst und Jahr Aussagen zu unterschiedlichen, aber nie zu allen QA treffen. Dies beeinträchtigt vor allem die Verständlichkeit und Nutzbarkeit der Qualitätsdarstellung, wie die – hier nicht dargestellten – Ergebnisse der entsprechenden Teilstudie gezeigt haben. Ein Vergleich von Pflegediensten anhand von 16 QA ist ohnehin eine Herausforderung, die nicht leichter wird, wenn bei jedem Dienst über andere QA berichtet wird.

Der Abschlussbericht der Pilotierung macht eine Reihe von Vorschlägen, mit welchen Anpassungen den angesprochenen Schwächen begegnet werden könnte, ohne das Verfahren grundlegend zu verändern. Diese Vorschläge bleiben jedoch unbefriedigend, weil sie mit einer Reduktion der Aussagekraft der Qualitätsprüfungen – z. B. durch Fokussierung auf die (wenigen) besser prüfbaren QA – einhergingen. Aus diesem Grund wurde der oben skizzierte Vorschlag einer grundsätzlichen Modifikation der messmethodischen Vorgehensweise entwickelt und im Anhang des Abschlussberichts ausführlich dargestellt.

Erstes Kernelement dieses Vorschlags ist die Umstellung zwar nicht des Prüfrhythmus, aber des Algorithmus zur Ableitung der Qualitätsbeurteilungen auf einen gleitenden Zwei-Jahres-Zeitraum. Gegen diesen Vorschlag kann eingewendet werden, dass eine Beurteilung dann nicht mehr den Stand des aktuellsten Jahres, sondern ein Aggregat aus der aktuellen Situation und der des Vorjahres darstellt. Dieser vermeintliche Nachteil wird u. E. mehr als aufgewogen durch den Gewinn an Zuverlässigkeit (größere Stichprobenbasis) bzw. die Tatsache, dass über mehr QA überhaupt regelmäßig eine Aussage getroffen werden könnte. Das von Büscher et al. (2018) vorgeschlagene Verfahren führt bei den meisten QA zu erratischen Ergebnissen: In einem Jahr kann über den QA berichtet werden, im nächsten wieder nicht, und das mit jeweils geringer Datenbasis. Die über zwei Jahre aggregierte Beurteilung führt dagegen zu einem stabileren und zuverlässigeren Bild der Einrichtungsqualität.

Mit der Umstellung auf eine Zwei-Jahres-Perspektive bzw. auf das oben dargestellte modifizierte Verfahren insgesamt ergäbe sich auch für das Qualitätsmanagement der Pflegedienste eine neue Situation, die dem übergeordneten Ziel einer kontinuierlichen Qualitätsverbesserung eher förderlich wäre. Zum einen muss sich der Dienst darauf einstellen, dass für nahezu alle QA auch in jedem Jahr eine Qualitätsbeurteilung erfolgt. Zum anderen hätte der Dienst die Möglichkeit, gezielter an seinen Ergebnissen zu arbeiten: Wenn im aktuellen Jahr Defizite bei einem QA festgestellt wurden, kann der Dienst zumindest für das Folgejahr eine schlechte Qualitätsbeurteilung u. U. noch abwenden, wenn durch gezielte Maßnahmen verhindert wird, dass im Folgejahr wieder Defizite festgestellt werden.

Zweites Kernelement des Vorschlags ist die gezielte Auswahl von Personen für die personenbezogenen Prüfungen nach Maßgabe der bei ihnen jeweils prüfbaren QA. Dagegen kann eingewandt werden, dass es sich hier nicht mehr um eine Zufallsauswahl von pflegebedürftigen Personen handelt. Dieser Einwand ignoriert jedoch den konzeptionellen Kern des neuen Qualitätsprüfungsinstrumentariums: Die Qualität wird über die QA operationalisiert, deshalb muss die Gewinnung von Personen Priorität haben, bei denen die Leistungsfähigkeit des Pflegedienstes in Bezug auf einen QA tatsächlich prüfbar ist. Zufällig gezogene Personen, die keine oder wenige Informationen über die QA liefern, sind angesichts des begrenzten Stichprobenumfangs nicht sinnvoll.

Voraussetzung für die Umsetzbarkeit des Vorschlags ist das dritte Element, nämlich die Formalisierung der Zuordnung von QA zu Leistungen, bei denen sie geprüft werden sollen (sofern auch die Zusatzbedingung der konkreten Beeinflussbarkeit durch den Pflegedienst im Einzelfall gegeben ist). Zum Thema der Feststellung der Prüfrelevanz der QA wurden u. a. Ergebnisse aus den Untersuchungen zu dem messmethodischen Gütekriterium der „Objektivität“ berichtet, die gezeigt haben, dass zumindest die an der Pilotierung beteiligten Prüfenden vielfach nicht zu übereinstimmenden Entscheidungen gekommen sind. Die geschilderten Probleme können u. U. durch eine noch intensivere Schulung bzw. mit wachsender Anwendungserfahrung der Prüfenden abnehmen oder verschwinden. Der geeignetere Weg wäre jedoch auch hier, das Verfahren technisch so zu gestalten, dass an dieser entscheidenden Stelle keine Spielräume für unterschiedliche Interpretationen bestehen. Da ein QA nur geprüft werden soll, wenn korrespondierende Leistungen vereinbart oder verordnet sind, sollte es möglich sein, auf Landesebene entsprechende Zuordnungsvorschriften aufzustellen.

Der gesetzliche Auftrag zur Entwicklung der Instrumente für die Qualitätsprüfungen und die Qualitätsdarstellung in der ambulanten Pflege (§ 113b Abs. 4 SGB XI) umfasst auch die Durchführung einer Pilotierung. Dadurch wurde es möglich, die komplexen Vorgehensweisen im Kontext der Prüfungsvorbereitung und -durchführung, die Verteilung der untersuchten QA und der Qualitätsbeurteilungen sowie Aspekte der Nutzbarkeit der Ergebnisse durch die Zielgruppen (Landesverbände der Pflegekassen, Verbraucherinnen und Verbraucher) zu untersuchen und ggf. Anpassungen vorzunehmen, bevor die neuen Verfahren in die Routine überführt werden. Welche Anregungen aus der Pilotierung letztlich in die Ausgestaltung der neuen Qualitätsprüfungsinstrumente einfließen, ist gegenwärtig noch nicht bekannt.