Intensivkrankenschwestern beurteilen die SAPS II-Werte sehr kranker Patienten im wirklichen Leben unzureichend

Zusammenfassung

Hintergrund. Zuverlässige ICU-Schweregrad-Scores wurden von verschiedenen Mitarbeitern des Gesundheitswesens erreicht, aber es ist nichts über die Genauigkeit im wirklichen Leben der Schweregrad-Scores bekannt, die von ungeschulten Krankenschwestern registriert wurden. Methoden. In diesem retrospektiven multizentrischen Audit bewerteten drei Gutachter unabhängig voneinander 120 SAPS II-Scores. Korrelation und Übereinstimmung der Summe-Scores / Variablen unter den Gutachtern und zwischen Krankenschwestern und den Gutachtern Goldstandard wurden global und für Tertile bewertet. Bland und Altman (Goldstandard—Krankenschwestern) von Summenwerten und Regression der Differenz wurden bestimmt. Es wurde ein logistisches Regressionsmodell berechnet, das Risikofaktoren für fehlerhafte Bewertungen identifiziert. Suchergebnisse. Die Korrelation für die Summenwerte unter den Rezensenten war nahezu perfekt (mittlerer ICC = 0.985). Der mittlere (± SD) Krankenschwester-registrierte SAPS II Summenscore war im Vergleich zum Goldstandard ( für Differenz) mit einem niedrigeren ICC (0,81). Der Bland- und Altman-Assay wurde mit einer signifikanten Regression zwischen der Differenz und dem Goldstandard verglichen, was insgesamt auf eine Überschätzung (Unterschätzung); >32 Punkte) erzielt. Die niedrigste Übereinstimmung wurde in hohen SAPS II-Tertilen für die Hämodynamik gefunden (k = 0,45–0,51). Rückschlüsse. Im wirklichen Leben sind die von Krankenschwestern registrierten SAPS II-Werte sehr kranker Patienten ungenau. Die Genauigkeit der Ergebnisse war nicht mit den Merkmalen der Krankenschwestern verbunden.

1. Einleitung

Der Simplified Acute Physiology Score II (SAPS II) ist wahrscheinlich immer noch der am häufigsten verwendete Score in Europa, um den Schweregrad eines kritisch kranken Patienten zu vergleichen und — durch seine erweiterte Form — den klinischen Verlauf und das Ergebnis zu bewerten . Darüber hinaus ist SAPS II zu einer Schlüsselkomponente für die Festlegung des Grades der Krankenhausrückerstattung in Deutschland geworden , und ein analoges Verfahren ist in der Schweiz für Anfang 2012 geplant . In Anbetracht der verschiedenen Implikationen ist die Genauigkeit bei der Bewertung der SAPS II-Scores von größter Bedeutung.In wenigen Studien wurde über eine ausreichende Interrater-Reliabilität von SAPS II berichtet, und kleine Unterschiede in den Werten einiger SAPS II-Variablen zwischen Beobachtern haben wichtige Unterschiede in den Scores festgestellt . Das Bewertungssystem für akute Physiologie und chronische Gesundheit (APACHE II) wurde ausführlicher untersucht, und zuverlässige APACHE II-Gesamtwerte wurden von verschiedenen Mitarbeitern des Gesundheitswesens erzielt (ausgebildete Krankenhausabstraktoren, Krankenschwestern, niedergelassene Ärzte und Intensivmediziner) . Es wurde gezeigt, dass die Zuverlässigkeit durch Schulungen sowie durch eine facettenreiche, multidisziplinäre Qualitätsverbesserungsintervention weiter erhöht wird . Diese Ergebnisse beziehen sich jedoch alle auf gut definierte Studieneinstellungen mit speziell geschulten Beobachtern, und nur eine Studie hat bisher die Genauigkeit der vom Arzt registrierten Schweregrade im wirklichen Leben gemessen.

Auf unseren Intensivstationen (ICU) wird der SAPS II-Score manuell von spezialisierten Intensivpflegern bewertet. Dieses Verfahren ist genau 24 Stunden nach der Aufnahme erforderlich, da sonst unser elektronisches Patientenaktensystem die weitere Verwendung für den betreffenden Patienten verhindert. Die Beurteilung durch Krankenschwestern wurde gewählt, um medizinischen und organisatorischen Mängeln (kleine Intensivstationen mit unerfahrenen Nachwuchsmedizinern in kurzfristiger Rotation und zeitgleichen zusätzlichen Aufgaben während der Nachtschichten, kein ständiger Intensivspezialist) gerecht zu werden und weil spezialisierte Krankenschwestern auf Intensivstationen zu allen Stunden und Tagen anwesend sind und es gewohnt sind, die meisten SAPS-II-Variablen persönlich zu behandeln (Abrufen physiologischer Daten und Labortests mit Aufzeichnung in den Patientenkarten).Ziel unserer Studie war es, (1) die Zuverlässigkeit der registrierten SAPS II-Scores im wirklichen Leben zu bewerten, (2) fehleranfällige Variablen zu erkennen und (3) eine geeignete Verbesserungsintervention zu konzipieren.

2. Methoden

2.1. Patienten und Umfeld

Dies ist eine retrospektive multizentrische Studie, die in der Abteilung für Intensivmedizin des Ente Ospedaliero Cantonale, Tessin, Schweiz, durchgeführt wurde. Unsere Abteilung gruppiert die gemischten Intensivstationen aus 4 regionalen Lehrspitälern (Bellinzona, Locarno, Lugano und Mendrisio), verfügt über insgesamt 34 Betten und betreut jährlich rund 3’200 erwachsene Patienten. Von den 159 Krankenschwestern (mit unterschiedlichem Berufsgrad) sind 70% auf der Intensivstation registriert, während die übrigen Krankenschwestern mit fortlaufender spezifischer Ausbildung sind. Krankenschwester / Patient-Verhältnis ist in der Regel 1 : 1,5. Den Krankenschwestern wird kein strukturiertes Schulungsprogramm in Bezug auf SAPS II angeboten.

Scoring SAPS II wird halbautomatisch durchgeführt: (1) manuelle Datenerfassung: für die diagnostischen Informationen (Art der Aufnahme, zugrunde liegende Krankheitsvariablen) haben die Krankenschwestern vollständigen Zugriff auf die medizinischen Karten. Physiologische Daten (Herzfrequenz, systolischer arterieller Druck, Harnfrequenz, Körpertemperatur, Sauerstoffzufuhr Status und Glasgow Coma Scale) und Laborbefunde (vollständiger Zugriff auf alle Variablen im elektronischen Patientenaktensystem) werden von Krankenschwestern fortlaufend dokumentiert auf den täglichen Patientenbefragungsdiagrammen, aus denen sie letztendlich zur Registrierung des SAPS II-Scores abgerufen werden. (2) Für jede Variable muss die Krankenschwester die am meisten überlegte Option (unter dem niedrigsten und höchsten Wert) auswählen, die schließlich in das elektronische Patientenaktensystem eingegeben wird. Nacheinander berechnet dieses System automatisch das Endergebnis. Die Identifizierung des Nurse-Recorders wird durch einen persönlichen Code sichergestellt.

Patienten ≥ 18 Jahre, die zwischen Januar 2010 und Oktober 2010 auf unseren Intensivstationen aufgenommen wurden, waren förderfähig. In Anbetracht des retrospektiven, nicht-interventionellen Designs dieser Qualitätssicherungsstudie war keine Einverständniserklärung der Kantonalen Ethikkommission erforderlich.

2.2. Studienprotokoll

Unter 2386 in Frage kommenden Patienten Der primäre Prüfer zufällig ausgewählt 30 Patienten pro Intensivstation mit der folgenden Hauptentladungsdiagnostik (Anzahl der Patienten): septischer Schock (5), akuter ischämischer Schlaganfall (3), akuter Myokardinfarkt (3), Herzstillstand (3), akutes Herzversagen (3), akutes Atemversagen aufgrund einer Lungenentzündung (3), chronisch obstruktive Lungenerkrankung (2), akute Pankreatitis (2), Polytrauma (2), Arrhythmien (2) und Patienten mit einem Intensivaufenthalt weniger als 24 Stunden (2). Patientenkarten wurden dann von Mitarbeitern der entsprechenden lokalen Qualitätskontrolldienste eingeholt und für die Überprüfung „in loco.“ Zwei erfahrene, vom Board registrierte Intensivmediziner und eine speziell für die Verwendung von SAPS II ausgebildete Krankenschwester für die Intensivmedizin erstellten ein strukturiertes Formular zur Überprüfung, das hauptsächlich auf den ursprünglichen Definitionen der für SAPS II erforderlichen Variablen basierte . Die folgenden Probleme wurden genauer spezifiziert, um die Organfunktionsstörung korrekt widerzuspiegeln: (1) im Falle einer ununterbrochenen Vasopressortherapie bei hämodynamischer Instabilität während des ersten Tages wurden die Definitionen gemäß den im SOFA-Score vorgeschlagenen Elementen angepasst , (2) Herzstillstand, der zur Aufnahme auf die Intensivstation führte, wurde als gleich angesehen Herzstillstand auf der Intensivstation, um über die erhöhte Mortalität nachzudenken; (3) Die Verwendung von Labortests, die unmittelbar vor der Aufnahme auf die Intensivstation durchgeführt wurden, war zulässig, da Folgetests auf unseren Intensivstationen; (4) sensorische und motorische Aphasie aufgrund eines akuten ischämischen Schlaganfalls bei einem Patienten mit ansonsten ausreichender Mentation wurden für die Berechnung der Glasgow-Koma-Skala außer Acht gelassen.

2.3. Datenerfassung und -auswertung

Die Analyse wurde von den drei Forschern anhand der oben genannten Vorlage durchgeführt. Der Überprüfungsprozess wurde in zwei Schritten durchgeführt. Während der ersten Phase untersuchten die Ermittler unabhängig die Diagramme aller 30 Patienten und bewerteten die SAPS II-Scores. Die Ergebnisse wurden ausgewertet, Differenzen zwischen den Beurteilungen der Gutachter wurden schließlich durch Diskussion gelöst und ein endgültiger Konsens (Goldstandard) erreicht. Der zweite Schritt diente zur Beurteilung der Übereinstimmung zwischen den von der Krankenschwester registrierten SAPS II-Scores (vom primären Ermittler aus dem elektronischen Patientenaktensystem abgerufen) und dem Goldstandard.

Dieses Verfahren wurde auf allen vier Intensivstationen für insgesamt 120 Patienten wiederholt. Für jeden Patienten wurden folgende Daten registriert: (1) SAPS II Summenpunktzahl, (2) jeder Punkt des SAPS II-Scores, (3) Unterschiede in den Beurteilungen der Gutachter und (4) Unterschiede zwischen dem von der Krankenschwester registrierten SAPS II-Score und dem Goldstandard. Die folgenden Variablen wurden für die Krankenschwestern abgerufen, die das SAPS II-Scoring durchgeführt haben: Zentrum, Geschlecht, Zertifizierung und Dauer der spezifischen Berufserfahrung.

2.4. Statistische Analyse

Variablen werden als Mittelwert ± Standardabweichung (SD) ausgedrückt, wenn nicht anders angegeben. A wurde als statistisch signifikant angesehen. Alle Analysen wurden mit Stata statistical Software, Release 11.0 (Stata Corporation, College Station, TX, USA) und Statview (SAS institute Inc., Cary, NC, USA).

2.4.1. Die Validierung des Goldstandards

Die Übereinstimmung zwischen den Gutachtern wurde anhand des Interclass Correlation Coefficient (ICC) (Spearman-Brown-Korrektur) für kontinuierliche Variablen (Summenscores) und mit gewichteten Kappa-Statistiken (und 95% -Konfidenzintervall) für die Analyse der verschiedenen SAPS II-Items bewertet. Kappas wurden nur für Items berechnet, bei denen mehr als 20% der Werte vom Ausgangswert abweichten . Die mittlere Übereinstimmung für die Summenwerte und für Items zwischen den Gutachtern wurde durch Berechnung ihres mittleren Prozentsatzes identischer Klassifikationen unter einem Paar von Gutachtern bewertet. Perfekte Übereinstimmung wurde als identische Kategorisierung von Summenwerten und Elementen definiert. Unterschiede zwischen den Gutachtern wurden nach dem SAPS II Tertile (niedrig, mittel und hoch) und nach ihrem Mechanismus analysiert.

2.4.2. Vergleich der von der Krankenschwester bewerteten SAPS II-Scores und des Goldstandards

Unterschiede in den Sum-Scores wurden durch einen gepaarten t-Test bewertet. Die mittlere Differenz (mit 95% KI) und die mittlere absolute Differenz (d. H. Der Mittelwert des Differenzwerts) zwischen den SAPS II-Summenscores (Goldstandard minus KI) wurden berechnet.

Die Übereinstimmung zwischen Krankenschwestern und dem Goldstandard wurde wie zwischen den Gutachtern bewertet. Vereinbarung wurde als identische Kategorisierung von Summenwerten und Elementen definiert. Kappas und die Vereinbarung wurden nach dem SAPS II Tertile (niedrig, mittel und hoch) analysiert und die ICC der Summenscores wurden nach dem SAPS II Tertile und zum Zentrum analysiert. Bezüglich des SAPS II-Summenscores wurde eine modifizierte Bland- und Altman-Analyse mit auf der -Achse dem Goldstandard und auf der -Achse der Differenz zwischen den beiden Summenscores (Goldstandard minus Nurse Value) durchgeführt, vervollständigt durch eine Regressionsanalyse zwischen dem SAPS II-Goldstandard und dem SAPS II-Goldstandard minus dem Nurse Value Sum Score. Ein Streudiagramm zwischen der Differenz der vorhergesagten Mortalität, berechnet mit dem SAPS II Goldstandard-Summenscore abzüglich der Mortalität, die mit dem SAPS II Krankenschwester-registrierten Summenscore (auf der -Achse) und dem SAPS II Goldstandard-Summenscore (auf der -Achse) vorhergesagt wurde, wurde durchgeführt. Die Differenz zwischen den vorhergesagten Mortalitäten (abgeleitet aus SAPS II Sum-Scores: Goldstandards minus Krankenschwester-bewertete Werte) wurde unter Verwendung der in der oben beschriebenen Regressionsanalyse identifizierten Formel modelliert.

Es wurde eine univariate Analyse durchgeführt, um Risikofaktoren für das Auftreten eines Fehlers in Items oder Summenwerten zu definieren, einschließlich Zentren und Krankenschwestermerkmalen (Geschlecht, Berufserfahrung und Zertifizierung). Die Ergebnisse werden als Odds Ratios (OR; 95% CI) angezeigt, um die Effektgröße von Risikofaktoren abzuschätzen, die mit einer fehlerhaften Schätzung verbunden sind. Eine multivariate logistische Regression wurde durchgeführt, um angepasste Schätzungen des ORs zu erhalten und Faktoren zu identifizieren, die unabhängig mit Fehlern verbunden sind, einschließlich für das Modell immer die 3 Schwesternvariablen und die 4 Zentren. Die multivariate Analyse wurde nur für die Items mit ausreichenden Fehlern durchgeführt, die die Analyse ermöglichten: Unter der Annahme, dass für jede der 6 betrachteten Prädiktorvariablen (Zentren und Schwesternmerkmale) etwa 5-10 Ereignisse verfügbar sein sollten, benötigten wir mindestens 30 und maximal 90 Fehler.

3. Ergebnisse

3.1. Von Gutachtern erstellter Goldstandard

Insgesamt wurden 120 verschiedene SAPS II-Scores (1800 Variablen) bewertet und für 171 Divergenzfälle (9% aller Variablen) musste ein Goldstandard im Konsens definiert werden. Der minimal-maximale (mediane) Goldstandard-SAPS-II-Score von niedrigen, mittleren und hohen SAPS-II-Tertilen betrug insgesamt 6-111 (38), 6-31 (22), 32-47 (38), und 48-111 (70). Die Übereinstimmung für die Summenwerte unter den Gutachtern war nahezu perfekt (mittlerer ICC = 0,985; signifikante Korrelation; für signifikante Unterschiede > 0,05). Tabelle 1 zeigt die Zuverlässigkeit der Gutachter hinsichtlich der einzelnen beurteilten Variablen; Die Genauigkeit war bei Temperatur und Bilirubin am höchsten (perfekte Übereinstimmung = 1,0 bzw. 0,99).) und am niedrigsten für den systolischen Blutdruck (perfekte Übereinstimmung = 0,75). Fehler in der Beurteilung durch die Gutachter (Tabelle 2) wurden am häufigsten im hohen SAPS-II-Tertil (79 Fehler) beobachtet, gefolgt vom mittleren (52) und niedrigen Tertil (40). Das Auftreten von Fehlern war im Wesentlichen auf Fahrlässigkeit zurückzuführen (49% der Fälle), gefolgt von einem Problem im Zusammenhang mit der Definition der Variablen (22%), einer falschen Berechnung (16%) und anderen (13%). Tabelle 2 listet die Unterschiede zwischen den Beurteilungen der Gutachter nach der Art des Fehlers auf.

Variable Kappaa (95% CI) Mean agreementb Perfect agreementc
Heart rate 0.84 (0.79–0.89) 0.88 0.83
Systolic blood pressure 0.76 (0.68–0.84) 0.83 0.75
Temperature NA 1.0
Oxygenation 0.84 (0.80–0.88) 0.91 0.87
Urinary output 0.76 (0.72–0.80) 0.90 0.86
Urea 0.94 (0.91–0.97) 0.97 0.95
Leucocytes NA 0.96
Potassium NA 0.88
Sodium NA 0.98
Bicarbonate 0.84 (0.81–0.87) 0.93 0.89
Bilirubin NA 0.99
Glasgow Coma Scale 0.74 (0.69–0.79) 0,88 0,82
Alter 0,94 (0,92–0,96) 0,95 0,93
Chronische Krankheiten NA 0.94
Art der Zulassung NA 0.94
aMean gewichtete Kappa (95% Konfidenzintervall) die 3 Rezensenten.
bMean Anteile der Zustimmung unter den 3 Gutachtern versus Gold Standard.
CPROZENT der Gesamtübereinstimmung zwischen den 3 Gutachtern versus Goldstandard.
NA: nicht zutreffend; keine zuverlässigen Kappa-Statistiken (≤20% der Ergebnisse weichen von der Norm ab).
Tabelle 1
Zuverlässigkeit über Gutachter für die einzelnen Variablen des SAPS II Score.

Variables Cases Mechanism of error
Overall Low SAPS (6–31 points) Medium SAPS (32–47 points) High SAPS (48–111 points) Overall
Differences=171/Scores=120
, % of differences, % of scores , (%/%) (%,%) (%,%) (%,%) Definitiona () Calculationb () Negligencec () Othersd ()
Heart rate 21 (12/17.5) 8 (20/20) 6 (12/15) 7 (9/17.5) 5 0 14 2
Systolic blood pressure 30 (18/20) 9 (22.5/22.5) 13 (25/32.5) 8 (10/20) 9 0 19 2
Temperature 0 0 0 0 0 0 0 0
Oxygenation 16 (9/13) 2 (5/5) 4 (8/10) 10 (13/25) 1 8 3 4
Urinary output 17 (10/14) 4 (10/10) 7 (13.5/17.5) 6 (7.5/15) 1 12 2 2
Urea 6 (4/5) 1 (2.5/2.5) 3 (6/7.5) 2 (2.5/5) 0 0 5 1
Leucocytes 5 (3/4) 0 1 (2/2.5) 4 (5/10) 0 0 5 0
Potassium 14 (8/12) 2 (5/5) 4 (10) 8 (10/20) 0 0 11 3
Sodium 3 (2/2.5) 0 0 3 (4/7.5) 0 0 3 0
Bicarbonate 13 (8/11) 2 (5/5) 4(8/10) 7 (9/17.5) 1 0 8 4
Bilirubin 1 (0.5/1) 1 (2.5/2.5) 0 0 0 0 1 0
Glasgow Coma Scale 22 (13/18) 7 (17.5/17.5) 3 (6/7.5) 12 (15/30) 8 0 11 3
Age 9 (5/7.5) 2 (5/5) 3 (6/7.5) 4 (5/10) 0 8 1 0
Chronic diseases 7 (4/6) 1 (2.5/2.5) 2 (4/5) 4 (5/10) 5 0 2 0
Type of admission 7 (4/6) 1 (2.5/2.5) 2 (4/5) 4 (5/10) 7 0 0 0
(%)
Total of differences 171 (100) 40 (100) 52 (100) 79 (100) 37 (22) 28 (16) 85 (49) 21 (13)
Total of scores with differences 94 (78) 29 (72.5) 30 (75) 35 (87.5)
EINPROBLEM im Zusammenhang mit der Definition von Variablen und ihrer Anwendung (z. B. chronische Krankheiten, Art der Aufnahme, anhaltende Hämodynamik , GCS bei aphasischem Schlaganfall).
Bmathematisches Problem (z. B. Sauerstoffgehalt, Alter, tägliche Harnausscheidung).
cInsufficient Prüfung der Diagramme (z. B. fehlerhafter Ausschluss von Laborergebnissen).
dOther Mechanismus (z. B. unzureichende verfügbaren Daten in der Tabelle).
Tabelle 2
Unterschiede zwischen den Beurteilungen der Gutachter für die verschiedenen Punkte gemäß dem SAPS II-Tertil und dem Fehlermechanismus.

3.2. Genauigkeit der Krankenschwester-registrierten SAPS II Scores

Der Mittelwert (± SD) Krankenschwester registrierte SAPS II Summe-Score war Punkte im Vergleich zu Punkten des Goldstandards (). Etwa 90% der SAPS II-Summenwerte (112/120) waren in mindestens einer Variablen fehlerhaft (87,5% (35/40) in den niedrigen, 97,5% (39/40) in den mittleren und 95% (38/40) in den hohen SAPS II-Tertilen). Tabelle 3 zeigt die Genauigkeit der Bewertung der einzelnen Variablen im Vergleich zum Goldstandard. Insgesamt gab es eine gute Übereinstimmung in den Variablen Natrium, Temperatur, Alter, chronische Krankheiten, Leukozyten, Kalium und Bilirubin (0,83–0,97); Die niedrigste Übereinstimmung wurde in Herzfrequenz und systolischem Druck (0,45–0,51) gefunden. Berechnete Kappas waren am besten für das Alter und am niedrigsten für Herzfrequenz und systolischen Druck (0,32–0,37). Im Allgemeinen waren Übereinstimmung und Kappas in den hohen SAPS II Tertilen am schlechtesten.

Variable Kappaa (95% CI) Agreementb
Overall Low SAPS II (6–31 points) Medium SAPS II (32–47 points) High SAPS II (48–111 points) Overall Low SAPS II (6–31 points) Medium SAPS II (32–47 points) High SAPS II (48–111 points)
Heart rate 0.32 (0.16–0.48) 0.28 (0.12–0.44) 0.32 (0.15–0.49) 0.22 (0.08–0.36) 0.45 0.55 0.47 0.35
Systolic blood 0.37 (0.24–0.50) NA 0.22 (0.06–0.38) 0.20 (0.08–0.32) 0.51 0.63 0.50 0.40
pressure
Temperature NA NA NA NA 0.95 1.00 0.97 0.87
Oxygenation 0.66 (0.56–0.76) 0.33 (0.16–0.50) 0.72 (0.60–0.84) 0.54 (0.40–0.68) 0.71 0.87 0.70 0.55
Urinary output 0.77 (0.70–0.84) 0.73 (0.63–0.83) 0.80 (0.70–0.90) 0.73 (0.64–0.82) 0.58 0.52 0.67 0.55
Urea 0.71 (0.64–0.78) 0.70 (0.62–0.78) 0.71 (0.62–0.80) 0.71 (0.63–0.79) 0.67 0.57 0.75 0.67
Leucocytes NA NA NA 0.40 (0.29–0.51) 0.83 0.92 0.85 0.72
Potassium NA NA 0.39 (0.24–0.54) 0.32 (0.19–0.45) 0.83 0.95 0.82 0.72
Sodium NA NA NA NA 0.97 0.97 0.97 0.95
Bicarbonate 0.81 (0.76–0.86) 0.77 (0.70–0.84) 0.77 (0.69–0.85) 0.76 (0.65–0.87) 0.68 0.62 0.85 0.55
Bilirubin NA NA NA NA 0.83 0.75 0.87 0.85
Glasgow Coma Scale 0.80 (0.71–0.89) 0.48 (0.19–0.77) 0.68 (0.43–0.92) 0.89 (0.80–0.98) 0.78 0.85 0.77 0.72
Age 0.98 (0.97–0.99) 0.98 (0.96–1.00) 0.99 (0.97–1.00) 0.97 (0.94–1.00) 0.93 0.92 0.95 0.92
Chronic diseases NA NA NA NA 0.93 0.97 0.92 0.87
Type of admission NA NA NA NA 0.78 0.85 0.77 0.70
aMean weighted Kappa of the 120 nurse-registered SAPS II scores versus the gold standard.
bMean proportions of agreement of the nurses versus the gold standard.
NA: not applicable; keine zuverlässigen Kappa-Statistiken (≤20% der Ergebnisse weichen von der Norm ab).
Tabelle 3
Zuverlässigkeit von Krankenschwestern im Vergleich zu Goldstandard-SAPS-II-Elementen in den Tertilen SAPS II und SAPS II insgesamt.

Obwohl die SAPS-II-Summenwerte über den gesamten Bereich unterstrichen wurden, gab es erhebliche Unterschiede zwischen den SAPS-II-Tertilen in Bezug auf Bias und Bias-Dispersion der Differenz (SD der Differenz) sowie minimale und maximale Unterschiede (Tabelle 4). Differenzen (absolute Differenzen) änderten sich auch in Abhängigkeit vom SAPS II Tertil. Tabelle 5 zeigt den Ursprung der Über- und Unterschätzung der niedrigen und hohen SAPS II-Summenscore-Tertile. Abbildung 1 bestätigt einen allgemeinen Trend, niedrige (≤ 32 Punkte) zu überschätzen und höhere Summenwerte zu unterschätzen, indem eine signifikante Regression zwischen der Differenz und dem Goldstandard-SAPS-II-Summenwert (Regression der Bland- und Altman-Analyse) hervorgehoben wird: = -10.183 + 0.317*; = 0.34, ). Der Cut-off-Punkt zwischen Über- und Unterschätzung lag bei 32 SAPS II Gold Standard Punkten.

ICC SAPS II (GS—nurses) Absolute SAPS II (GS—nurses)
Mean SD Minimum Maximum Mean SD Minimum Maximum
Overall 0.81 3.8 13.5 −33 43 10.4 9.3 0 43
Low SAPS II ( 6–31) 0.60 −5.9 10.1 −33 9 8.4 8.0 0 33
Medium SAPS II (32–47) 0.54 3.3 9.1 −24 18 8.0 5.4 0 24
High SAPS II (48–111) 0.77 14.0 13.0 −9 43 15.0 11.7 0 43
Center A 0.81 1.2 12.3 −28 31 8.5 8.9 0 31
Center B 0.77 5.3 16.9 −28 43 14.4 9.9 3 43
Center C 0.76 2.6 15.5 −33 41 11.4 10.6 0 41
Center D 0.89 6.0 8.9 −13 31 8.1 7.0 0 31
ICC: Korrelationskoeffizient zwischen Goldstandard und Krankenschwestern.
SAPS II: Unterschied in SAPS II Scores zwischen Gold Standard und Krankenschwestern.
SD: Standardabweichung.
Tabelle 4
Vereinbarung der von der Krankenschwester bewerteten SAPS II-Summenwerte gemäß SAPS II Tertiles und zur Intensivstation.

Variable Mean difference (gold standard − nurse value)
Overall Low SAPS II (6–31 points) Medium SAPS II (32–47 points) High SAPS II (48–111 points)
Heart rate 2.0 0.6 1.5 4
Systolic blood pressure 2.8 0.6 2 5.8
Temperature 0.1 0 −0.1 0.2
Oxygenation −0.2 −0.7 −0.3 0.45
Urinary output −1.3 −1.5 −0.9 −1.5
Urea −0.1 −2.6 1.2 1.2
Leucocytes 0.1 0.1 −0.2 0.4
Potassium 0.4 0.0 0.5 0.5
Sodium 0.0 0.0 0.0 0
Bicarbonate 0 −0.8 0.2 0.5
Bilirubin −0.6 −1 −0.5 −0.3
Glasgow Coma Scale 1.2 0.0 0.2 3.6
Age 0.0 0.0 −0.1 0
Chronic diseases −0.1 −0.2 0.3 −0.4
Type of admission −0.4 −0.4 −0.4 −0.4
SAPS II Summenwerte 3,8 -5,9 3,3 14,0
Tabelle 5
Mittlere Unterschiede zwischen den Goldstandards und den von Krankenschwestern bewerteten SAPS II-Scores in Bezug auf die Werte der verschiedenen Elemente, aus denen sich der SAPS II-Score zusammensetzt, insgesamt und nach Tertilen.

Abbildung 1

Lineare Regression zwischen der Differenz (Goldstandard-Wert) des SAPS II-Summenscores und des Goldstandard-SAPS II-Summenscores. SAPS II Tertile sind dargestellt.

Die mittlere von der Krankenschwester vorhergesagte Sterblichkeitsrate betrug % gegenüber% des Goldstandards (). Die mittlere Differenz zwischen der vorhergesagten Mortalität nach dem Goldstandard und der vorhergesagten Mortalität durch Krankenschwestern betrug 6,28% (KI -32,9 bis 45,5%, Bereich -50,7 bis 56,9%) und eine mittlere absolute Differenz von 13.8% (KI 0,0 bis 30,6%, Bereich 0 bis 56,9%). Die Abbildungen 2 (a) (Streudiagramm) und 2 (b) (vorläufige Modellierung) veranschaulichen die Über- und Unterschätzung der vorhergesagten Mortalität in Abhängigkeit von den SAPS II-Summenwerten (goldener Standard). Erhebliche Unterschiede wurden in Bias und Bias-Dispersion der Differenz (SD der Differenz) und minimalen und maximalen Unterschieden zwischen den verschiedenen Zentren gefunden (Tabelle 4).

(ein)
(ein)
(ein)
(ein)

(ein)
(ein)(b)
(b)

Abbildung 2

(a) : Streudiagramm mit dem Unterschied in der vorhergesagten Mortalität, (b) : Modellierung des Unterschieds in der vorhergesagten Mortalitätin beiden Abbildungen sind die SAPS II-Tertile dargestellt.

Tabelle 5 veranschaulicht die Variablen, die die Überschätzung niedrigerer SAPS-Werte (Sauerstoffversorgung, Harnausscheidung, Harnstoff, Bicarbonat und Bilirubin) und die Unterschätzung der höchsten SAPS II-Werte (Herzfrequenz, systolischer Blutdruck, Harnstoff und Glasgow-Koma-Skala) induzieren.

Insgesamt 78 Krankenschwestern registrierten die 120 SAPS II-Scores. Eine univariate und multivariate Analyse ergab keinen Zusammenhang zwischen den Merkmalen der Pflegekräfte (Erfahrung, Zertifizierung, Geschlecht und Alter) und einer fehlerhaften Bewertung des gesamten SAPS II-Scores oder seiner Variablen.

4. Diskussion

Unsere Studie zeigt, dass SAPS-II-Summenwerte, die von Krankenschwestern registriert wurden, ziemlich ungenau sind. Insgesamt gab es eine deutliche Überschätzung der niedrigeren SAPS II-Scores und eine Unterschätzung der höheren SAPS II-Scores mit einem Center-Tendency-Trend (One fits All-Tendenz). Größere absolute Fehler wurden in den höheren Scores durchgeführt. Die Gesamthämodynamik war die fehleranfälligste Variable, und die Beurteilung war unabhängig von den Merkmalen des Pflegepersonals. In den höheren SAPS-II-Tertilen trugen jedoch die Hämodynamik sowie Harnstoff und die Glasgow-Koma-Skala zur Unterschätzung bei, während in den niedrigeren SAPS-II-Tertilen Fehler im Oxygenierungsstatus, Harnausscheidung, Harnstoff, Bicarbonate und Die Bilirubinkonzentration trugen zur Überschätzung der SAPS-II-Summenscores bei.Erstaunlicherweise war die Übereinstimmung der hämodynamischen Variablen — obwohl scheinbar einfach — unzureichend. Unsere Ergebnisse sind vergleichbar mit denen von Strand et al. , die ähnliche Schwierigkeiten für junge Ärzte in Norwegen bei der Beurteilung der Herzfrequenz und des systolischen Blutdrucks berichteten. Eine mathematische Erklärung für dieses Problem könnte sein, dass fünf (vier) Entscheidungen für die Bewertung des systolischen Blutdrucks (Herzfrequenz) getroffen werden, während die Bewertung der anderen physiologischen Variablen im Allgemeinen weniger anspruchsvoll ist. Eine andere Erklärung kann sein, dass es nicht nur darum geht, die Größe der Abweichung (vom Normalwert) zu wählen, sondern auch die Richtung der höchsten Ponderation (niedrigster versus höchster Wert).

Mit diesem retrospektiven Audit konnten wir nicht offenlegen, durch welche Mechanismen Krankenschwestern Fehler bei der Bewertung der SAPS II-Scores verursacht haben. Wir konnten jedoch zeigen, dass Berufserfahrung und Zertifizierung keinen Einfluss auf das Auftreten von Fehlern hatten, ebenso wenig wie ein genereller negativer Effekt. Die Analyse der häufigsten Problemquellen der drei Gutachter bei der Definition des Goldstandards könnte einen Einblick geben (Tabelle 2). In diesem Sinne war Fahrlässigkeit die häufigste Ursache für fehlerhafte Bewertungen. Probleme im Zusammenhang mit der Definition der Variablen und der falschen Berechnung der Daten (Oxygenierungsverhältnis, Harnleistung, Alter) sowie mangelndes Interesse an der Bewertung sollten ebenfalls berücksichtigt werden. Es ist wichtig zu betonen, dass unsere von Krankenschwestern registrierten SAPS II-Scores auf manueller Datenerfassung basieren. Die Krankenschwestern stützen sich auf zuvor registrierte physiologische Daten aus den täglichen Patientenbefragungsdiagrammen und administrative Daten aus den Arztdiagrammen. Sie fügen die Variablen schließlich manuell in das elektronische Patientenaktensystem ein, das automatisch das Endergebnis berechnet. SAPS II ist ein Schweregrad in Bezug auf die ersten 24 Stunden nach der Aufnahme auf die Intensivstation Mehrere Pflegekräfte sind an der Erfassung der verschiedenen Variablen beteiligt und jede von ihnen ist fehleranfällig.

Sowohl Gutachter als auch Krankenschwestern haben die SAPS II-Werte weltweit unterschätzt. Interessanterweise fanden wir eine negative Beziehung zwischen der Höhe der von der Krankenschwester registrierten Summenwerte und ihrer Zuverlässigkeit im Vergleich zum Goldstandard: Je höher die Summenwerte, desto mehr wurden sie unterschätzt. Ausschluss kritischer Daten vor der Intensivstation (z. b. Herzstillstand) können die SAPS-II-Werte und die vorhergesagte Mortalität ernsthaft beeinflussen, solange einige pathologische Daten unberücksichtigt bleiben (11 Punkte für die Herzfrequenz; 13 und 26 Punkte für den systolischen Blutdruck und die Glasgow Coma Scale bzw.). Gleiches könnte, wenn auch in geringerem Maße, für das Auslassen pathologischer Laborbefunde gelten, die unmittelbar vor der Aufnahme auf die Intensivstation (z. B. in der Notaufnahme, auf der Station) erhalten wurden.

Die Analyse der Korrelation und der Übereinstimmungen zwischen den von der Krankenschwester bewerteten SAPS II-Scores und den Goldstandards, berechnet ohne Berücksichtigung der Daten vor der Intensivstation, zeigte nur geringfügig bessere Ergebnisse (nicht gezeigt). Die Auswirkungen der Unterschiede in der Bewertung (Über- und Unterschätzung) können wichtig sein. In der Tat können wir mindestens 3 Problembereiche identifizieren. Erstens könnte die Stratifizierung oder Anpassung für Forschungszwecke auf der Grundlage routinemäßig (selbst-) bewerteter SAPS II-Scores (insbesondere in multizentrischen Studien mit Unterstützung verschiedener Systeme) irreführend sein. Zweitens kann das Benchmarking auf Intensivstationen stark voreingenommen sein. Schließlich können Erstattungen, die wie in Deutschland oder der Schweiz primär oder sekundär auf dem SAPS-II-Score basieren, ernsthaft unter der Ungenauigkeit der SAPS-Bewertung leiden, insbesondere durch die Unterschätzung höherer SAPS-II-Scores. In einer europäischen Studie gaben 10% (12%) der Befragten an, dass ihre Erstattung in erster Linie (sekundär) von den Schweregraden abhängt .

Es hat sich gezeigt, dass das automatische Abrufen von Variablen die Punktzahlen durch eine höhere Abtastrate erhöhen kann . Ein solcher Ansatz würde wahrscheinlich auch die Anzahl der fehlenden Komponenten verringern, die andernfalls zu einer Unterschätzung der Summenwerte und der vorhergesagten Mortalität führen könnten . Eine korrekte Übertragung relevanter Daten, wenn sie ordnungsgemäß validiert wird, könnte auch die Zuverlässigkeit erhöhen. In diesem Sinne passen wir unser elektronisches Patientenaktensystem an, um die SAPS II-Scores automatisch mit Laborergebnissen und Alter vorauszufüllen. Darüber hinaus konnte mittels eines Datenmanagementsystems die Erfassung hämodynamischer und respiratorischer Variablen automatisiert werden. Dieses System ist jedoch auch anfällig für verschiedene Probleme. Erstens kann der Import inkohärenter Daten erfolgen, wenn die Informationen nicht manuell überprüft werden. Zweitens, da Schweregrade mit manuell erfassten Daten entwickelt und kalibriert wurden, Computergestützte Extraktion von Daten kann die Ergebnisvorhersage verändern . Eine genaue Erfassung und korrekte Übertragung der zugehörigen Daten ist auf jeden Fall unerlässlich, aber ohne ausreichende Kenntnisse der Definitionen und ihrer genauen Anwendung werden SAPS II-Scores kaum sehr zuverlässig. Daher wird in unserer Abteilung ein strukturiertes Trainingsprogramm implementiert, um das Verständnis und die Motivation zu erhöhen. Darüber hinaus kann die Einführung eines interaktiven Programms, das im Detail den höchsten und niedrigsten Wert einer Variablen abfragt (möglicherweise auch die genauen Daten erfordert), die SAPS II-Bewertung optimieren und einige der als „Fahrlässigkeit“ bezeichneten Fehler reduzieren.“

Unsere Studie weist einige Stärken und / oder Einschränkungen auf: (1) Das Scoring ist selbst für speziell geschulte Gutachter eine schwierige Aufgabe. Daher könnte man unseren Goldstandard in Frage stellen. Eigentlich glauben wir, dass dieser Punkt eine Stärke darstellt. Die Art und Weise, wie wir dieses Audit durchgeführt haben (siehe Abschnitt 2), schloss tatsächlich Verzerrungen in Bezug auf den beruflichen Hintergrund, die spezifische Ausbildung für SAPS II und die Bewertungspraxis aus. Letztendlich gab es unter den Gutachtern eine hervorragende Übereinstimmung in Bezug auf die Summenwerte. Die Analyse der verschiedenen Subscores ergab eine nahezu perfekte Übereinstimmung für die meisten Variablen und immer noch eine erhebliche Übereinstimmung für den systolischen Blutdruck, den Harnausstoß und die Glasgow Coma Scale. Darüber hinaus erlaubt das multizentrische Design dieser Studie eine gewisse Verallgemeinerung der Ergebnisse. (2) Die Einführung angepasster Definitionen zur hämodynamischen Instabilität (siehe Abschnitt 2) könnte unsere Ergebnisse beeinflusst haben. Eine genaue Analyse des variablen systolischen Blutdrucks ergab jedoch, dass nur in etwa 30% der Fälle eine Unterstrichung aufgrund der Missachtung einer kontinuierlichen Vasopressortherapie auftrat. Darüber hinaus glauben wir, dass die Definition dieser Variablen geändert werden sollte. Um ein erhöhtes Mortalitätsrisiko zu erkennen, scheint es nicht ausreichend zu sein, Patienten mit normalem systolischem Blutdruck unter großen Mengen von Vasopressoren als „regelmäßig“ zu bewerten.“ (3) Man könnte auch unsere reale Situation kritisieren, in der Krankenschwestern die Bewertung von SAPS II-Scores durchführen. Es gibt jedoch keine eindeutigen Daten in der Literatur, die unsere Methode widerlegen könnten. In der einzigartigen Studie, in der Bewohner direkt mit Krankenschwestern verglichen wurden, gab es keinen signifikanten Unterschied zwischen den mittleren APACHE-II-Werten oder den mittleren vorhergesagten Mortalitätsraten . Andererseits wurde berichtet, dass die Genauigkeit der Bewertung unter Ärzten eher von der Anweisung als von der Berufserfahrung abhängt . (4) Schließlich könnte die Verallgemeinerung unserer Ergebnisse insofern weiter eingeschränkt sein, als sie sich auf SAPS II beziehen, während der weltweit am häufigsten verwendete ICU-Schweregradwert der APACHE II-Score (Acute Physiology and Chronic Health Evaluation) ist . Wir möchten jedoch betonen, dass die beiden Schweregrade hauptsächlich in der Zuordnung von Punkten für unterschiedliche Grade der Organfunktionsstörung und viel weniger in der Auswahl der angeforderten Elemente (z. B. Alter und die meisten physiologischen Variablen sind überlagerbar).Zusammenfassend lässt sich sagen, dass unsere Studie darauf hindeutet, dass ungeschulte Intensivpfleger die SAPS-II-Werte im wirklichen Leben unzureichend bewerten und dass die Zuverlässigkeit nicht durch unterschiedliche Hintergründe, Ausbildungsniveaus und Geschlecht beeinflusst wurde. Höhere SAPS II-Summenwerte werden unterschätzt und niedrigere Werte überschätzt. Diese Unterschiede können sich stark auf das Benchmarking, die Forschungsergebnisse und die Kostenerstattung auf der Intensivstation auswirken. Eine facettenreiche Verbesserungsintervention , die auf dem automatischen (computergestützten) Abrufen der meisten physiologischen Daten und der Implementierung eines strukturierten Trainingsprogramms basiert, ist gerechtfertigt. Ob diese Beobachtungen auch auf andere Schweregrade oder andere Angehörige der Gesundheitsberufe zutreffen, bleibt eine interessante Frage, die beantwortet werden muss.

Offenlegung

Diese Arbeit wurde an den vier regionalen Lehrspitälern der Südschweiz durchgeführt: Bellinzona, Locarno, Lugano und Mendrisio.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.