Kliniske kvalitetsdatabaser præsenterer de observerede indikatorværdier for givne afdelinger i tabeller og grafer. Indikatorværdierne sættes oftest i relation til ”andre” (fx landsgennemsnit, national standard og rangstilling). Tolkning af indikatorværdier fra ”egen” afdeling forudsætter, at data præsenteres i tidsserier. På denne side finder du typiske eksempler på hvordan indikatorværdier præsenteres i rapporter.

Data om kvalitet bruges til at vurdere om den patientoplevede, sundhedsfaglige og/eller organisatoriske kvalitet har det ønskede niveau og om en eventuel indsats forbedrer kvaliteten. Vurderingen af kvaliteten indebærer at identificere egen afdelings indikatorværdi og sammenholde den med egne tidligere præstationer, andres præstation (rangstilling, landsgennemsnit) og/eller med internt eller eksternt fastlagte målsætninger (tærskelværdier, grænseværdier, kvalitetsmål, standarder).

Vurdering af en indikatorrapport skal give iagttageren svar på enkle spørgsmål som:

- Hvordan præsterer vi nu i forhold til tidligere perioder i egen afdeling: Er kvaliteten blevet bedre, dårligere eller er den uændret?

- Hvordan præsterer vi i forhold til andre lignende afdelinger og i forhold til fastsatte målsætninger fx lokale og nationale standarder?

Vurdering af indikatorrapporterne skal bidrage til at identificere de indikatorer, der statistisk og sikkert afviger fra givne målsætninger med henblik på prioritering af forbedringstiltag.

Godkendte landsdækkende og regionale kliniske kvalitetsdatabaser skal i henhold til de givne basiskrav levere to typer rapporter:

  • Løbende afrapportering (oftest måneds- eller kvartalsvist) give feedback til de dataindberettende afdelinger med angivelse af de observerede indikatorværdier i de givne perioder.
  • Årsrapport der publicerer afdelingsidentificerbare indikatorværdier der gør det muligt at placere egen afdeling i forhold til alle andre afdelinger.

Løbende rapportering: Sammenlign med egne tidligere præstationer
RKKP-styregruppen har besluttet, at løbende afrapportering skal ske til de regionale ledelsesinformationssystemer, hvor såvel de kliniske afdelinger som ledelsen har adgang.

Det betyder at den løbende afrapportering kan have noget forskelligt udseende, men den indeholder samme principielle information: Rapporterne gør det muligt at placere egen afdeling i forhold til landsgennemsnittet og egne tidligere præstationer. For at få handlingsrettet oplysning ud af den løbende afrapportering er det nødvendigt at opstille indikatorværdierne i tidsserie, i form af seriediagram eller kontroldiagram. Hvis ledelsesinformationssystemerne ikke indeholder mulighed for at se sådanne diagrammer, må afdelingen selv konstruere diagrammer ud fra de leverede data.

Diagrammerne er nødvendige i arbejdet med at reducere variationen og i forbedringen af processen, idet de gør det muligt - baseret på statistiske metoder - at afgøre hvornår den observerede variation mellem perioderne kan tilskrives den i alle (kliniske) processer indbyggede tilfældige variation (naturlig, almindelig, normal variation, ”støj”) og hvornår den kan tilskrives en uforudsigelig, ikke-tilfældig variation som udtryk for en ændring i processen. Reglerne for fortolkning af serie- og kontroldiagrammer gør det muligt at give svar på spørgsmålet: Er kvaliteten i afdelingen blevet bedre, dårligere eller er den uændret?

Tidsserie: Seriediagram og kontroldiagram
Diagrammerne er nyttige redskaber til at studere udviklingen af kvalitet over tid. En statistisk analyse af diagrammerne kan med stor sikkerhed afgøre, om den proces, man studerer, indeholder andet end blot tilfældig variation. Ikke-tilfældig variation kan være resultatet af bevidste forbedringstiltag eller utilsigtede, måske uønskede, forandringer i processen.

Seriediagrammet er et kurvediagram med indikatorværdien på y-aksen og tiden eller rækkefølgen på x-aksen. Midt i diagrammets datapunkter er en horisontal linje, der markerer medianen, som deler datapunkterne, så halvdelen ligger over medianen og halvdelen ligger under.

Seriediagrammet har den store fordel at det er enkelt at konstruere og fortolke. Seriediagrammet er at foretrække når man

  • ved planlægning af en forbedringsindsats ønsker at opnå kendskab til, på hvilket niveau en proces fungerer, og om der findes ikke-tilfældig variation
  • ved en forbedringsindsats ønsker at dokumentere, at indsatsen medfører de målsatte forbedringer.

 

Kontroldiagrammet har samme principielle udseende som seriediagrammet, men centerlinjen markerer gennemsnitsværdien af samtlige observationer og diagrammet er forsynet med beregnede øvre og nedre kontrolgrænser for tilfældig variation. Grænsernes afstand fra centerlinjen afhænger af antal patienter, der indgår i det givne kontrolpunkt. Når antal patienter er forskelligt i perioderne får derfor grænserne et savtakket udseende.

Kontroldiagrammer har den ulempe, at formlerne til beregning af centerlinje og kontrolgrænser afhænger af typen af data og at beregningerne kræver egnet programmel. Kontroldiagrammer er særligt egnet til brug når man ønsker at monitorere vigtige processer, som allerede fungerer på et tilfredsstillende niveau med henblik på så tidligt som muligt at kunne opdage og handle på eventuelle forværringer.

Årsrapport: Sammenligning med nationale standarder, landsgennemsnit mv.
Godkendte landsdækkende og regionale kliniske kvalitetsdatabaser skal i henhold til de givne basiskrav én gang årligt publicere afdelingsidentificerbare indikatorværdier. Disse gør det muligt at placere egen afdeling i forhold til målsætninger, fx placering i forhold til andre afdelinger (rangstillinger), i forhold til gennemsnittet på landsplan og i forhold til nationalt fastsatte tærskelværdier (standarder), der markerer grænsen mellem tilfredsstillende og ikke-tilfredsstillende kvalitet.

Tolkning af tidsseriediagrammer er en forudsætning for at foretage meningsfulde sammenligninger. Tidsseriediagrammet afgør om den proces, som indikatoren afspejler, er en stabil proces (dvs. kun viser tilfældig variation) eller en ustabil proces (dvs. viser ikke-tilfældig variation) proces. Hvis processen er ustabil, er forudsætningen for meningsfuld sammenligning med fastsatte mål ikke til stede, idet man ikke ved om man sammenligner ”æbler og pærer”, se mere i afsnittet ”Foretag ikke sammenligning uden kendskab til processtabiliteten over tid”.

Visningsformatet i de forskellige databasers årsrapporter er fastlagt i en RKKP’s skabelon for årsrapporter. Tabeller og grafer i årsrapporter fra 2013 og tidligere kan have andre formater end anbefalet i skabelonen, men indeholder oftest tilsvarende sammenligninger.

Sammenligningstabel: Tabel over lands-, regions- og afdelingsresultater
Læsning af tabellen: En given afdeling (se fx Holbæk) kan se sin observerede indikatorværdi for det aktuelle år (2013), og sammenholde værdien med egne præstationer de forrige to år, med indikatorværdier for Danmark, de enkelte regioner og med enhver afdeling i landet samt se om afdelingen præsterer tilfredsstillende i forhold til den nationale standard (Std. opfyldt: Mindst 90 %). Bemærk i kolonnen ”Aktuelle år”, at der efter den observerede indikatorværdi (med fed skrift) er tal i parentes. De angiver sikkerhedsinterval (konfidensintervallet) for observationen, dvs. det interval inden for hvilket den sande værdi med 95 % sandsynlighed ligger.

Sammenligningsgraf: Figur over lands-, regions- og afdelingsresultater
Sammenligningsgrafen viser de observerede indikatorværdier i kolonnen ”Aktuelle år” (se tabellen ovenfor) med angivelse af sikkerhedsinterval, og den nationale standard markeret med en stiplet linje.

Læsning af grafen: Hvis sikkerhedsintervallet når ind over linjen der markerer standarden, så adskiller givne afdelings kvalitetsniveau sig ikke betydende (statistisk signifikant) fra standarden. På tilsvarende måde kan en given afdeling sammenligne sig med landsgennemsnittet (”Danmark”), en given region eller med andre afdelinger. I den viste figur er der således kun en afdeling (Haderslev) der opfylder standarden. 

Udviklingsretning (trend):
Årsrapporten skal vise udviklingsretningen i trenddiagrammer for regioner (eksemplet vist nedenfor) og afdelinger. Hvis der sker løbende afrapportering af databasens observerede indikatorværdier, opfylder disse rapporter kravet til fremstilling af trends i årsrapporten og der kan i årsrapporten henvises til online fremstillinger af diagrammerne.

Læsning af diagrammet: De enkelte kurveforløb kan tolkes som et seriediagram.

Sammenligninger skal foretages med omtanke
I det følgende gives nogle tips til, hvordan indikatorværdier skal forstås og tolkes:

Anvend sikkerhedsinterval, når indikatorværdier sammenholdes med målsætninger
Enhver observation, tælling eller måling er behæftet med usikkerhed. Derfor anføres ofte sikkerhedsinterval (konfidensinterval, sikkerhedsgrænser). Sikkerhedsintervallet omkring de observerede værdier beregnes statistisk og markerer de grænser inden for hvilke den sande (men altså ukendte) værdi med stor (fx 95 %) sandsynlighed ligger.

I tabeller noteres observation og sikkerhedsinterval ofte på følgende måde: 65 (49;81) hvilket betyder at den observerede værdi er 65, og at den sande værdi med stor sandsynlighed ligger mellem 49 og 81.

I grafer noteres sikkerhedsintervallet ofte med et interval omkring markeringen af den observerede værdi fx:

Det betyder, at den observerede værdi er 33, og at den sande værdi med stor sandsynlighed ligger mellem 25 og 42.

Måleusikkerheden får betydning for tolkningen, når en observeret værdi skal sammenholdes med en fastsat målsætning (standard, tærskelværdi): Hvis sikkerhedsintervallet lapper ind over målsætningen (Afdeling G, Figur 5), kan man tolke målsætningen som opfyldt, idet der ikke er statistisk sikker (signifikant) forskel. I Figur 5 er afdeling D statistisk signifikant dårligere end målsætningen, medens afdeling G ikke er det, selv om de observerede værdier i de to afdelinger er ens. 

 

Når patientantal er lille, er risikoen for at overse et kvalitetsproblem stor
Usikkerheden på de observerede værdier hænger nøje sammen med antal patienter, der indgår i indikatorværdien: Hvis antal patienter, der indgår i beregningen af værdien er lille, er usikkerheden stor – dvs. der er et bredt sikkerhedsinterval. Hvis antal patienter, der indgår i indikatorværdien er stort, er usikkerheden lille – dvs. der er et smalt sikkerhedsinterval. 

Denne sammenhæng kan illustreres med en tænkt situation (Figur 6), hvor den sande (men altså normalt ukendte) indikatorværdi er ens i to afdelinger og ligger under målsætningen. Den ene afdeling har i den givne rapporteringsperiode haft få patienter (Afdeling Lille) og den anden har haft mange patienter (Afdeling Stor). Hvis man tager den statistiske usikkerhed med i skønnet over den sande indikatorværdi (sikkerhedsintervallet) ser det ud til, at Afdeling Lille ikke adskiller sig statistisk betydningsfuldt fra målsætningen (sikkerhedsintervallet ligger ind over målsætningen), mens det ser ud til, at Afdeling Stor ikke opfylder målsætningen (sikkerhedsinterval ligger uden for målsætningen).

Altså: Jo færre patienter, der indgår i en indikatormåling, desto større er risikoen for, at man fejlagtigt finder ”ingen statistisk betydningsfuld forskel”. Indikatorværdier, der bygger på et lille antal patienter i rapporteringsperioderne giver falsk tryghed. For at undgå dette ændrede man praksis i de kliniske kvalitetsdatabaser i 2015, så der nu tages stilling til om standarden er opfyldt (Ja/Nej) uanset om patientantallet er lille og sikkerhedsintervallet dermed er stort.

Foretag ikke sammenligning uden kendskab til processtabilitet
De følgende cases illustrerer, at sammenligninger baseret alene på gennemsnitsværdier kan være misvisende og give anledning til falske alarmer. 

Case 1 (Figur 7): Direktionen henvender sig til afdelingen, fordi andel korrekt førte journaler i andet halvår er betydeligt lavere end i første halvår:

Afdelingsledelsen analyserer tallene ved at indtegne en tidsserie: Andel korrekte journaler i hver 14-dages periode i hvert halvår (Figur 8).

 Denne analyse viser, at nok ligger gennemsnittet i 2. halvår lavere end i første halvår, men de bagvedliggende arbejdsgange, der fører frem til korrekt journalføring er i klar forbedring i 2. halvår. Hvis man griber ind i disse hensigtsmæssige arbejdsgange risikeres, at den positive udviklingsretning ændres i uheldig retning.

Case 2 (Figur 9 og 10): Direktionen henvender sig til afdelingen, fordi ventetiden i to kvartaler (røde diamanter med sikkerhedsinterval) er signifikant længere end landsgennemsnittet (sort udfyldte cirkler, Figur 9):

Afdelingsledelsen analyserer tallene ved at indtegne tidsserien for ventetiderne (seriediagram, Figur 10).

I sammenligningsdiagrammet (nederst) ses de to kvartaler (markeret med røde diamanter), hvor ventetiden er signifikant længere end landsgennemsnittet (sort udfyldt cirkel). Betragtes de tilsvarende kontrolpunkter i seriediagrammet (markeret med pile) ses, at de er en del af en stabil proces, der ikke varierer mere end det forventes som resultat af den tilfældige variation. Hvis forbedringstiltag forceres gennemført baseret på en enkeltmåling af gennemsnit, kan man risikere at forstyrre en stabil proces.

Pointen er, at man i kvalitetsstyringen ikke har brug for tal i sig selv, men for tal, der afspejler kvaliteten i de bag-tallene-liggende processer. Der er ikke brug for statiske øjebliksbilleder (gennemsnit) men for tal, der er udtryk for den dynamik og variation (tidsserier), der er indbygget i det kliniske arbejde.

Hvis udsagn om dårlig kvalitet alene baseres på gennemsnit, er der risiko for, at man kommer til at ændre i processer der i forvejen er stabile, altså en ”overreaktion”, der i bedste fald er resursespild i værste fald ødelægger en god proces.

Udnyt statistisk processtyring og undgå falsk alarm
Tidsserier beskriver processernes variation. Metoderne er statistisk raffineret under betegnelsen ”Statistisk processtyring”.

Hovedlæren i denne forbindelse er:

- Alle biologiske og sociologiske processer udviser tilfældig (almindelig, normal, naturlig) variation. Det gælder således også de kliniske arbejdsgange og andre processer, der fører frem til patientresultaterne.

- Det giver kun mening at sammenligne gennemsnit, såfremt de to bagvedliggende processer alene udviser tilfældig variation – dvs. at de hver for sig er stabile.

- Hvis en proces indeholder ikke-tilfældig variation (dvs. viser variation ud over den tilfældige) - hvilket betyder at den er ustabil - er man i den absurde situation at risikere at sammenligne ukendte blandinger af ”æbler & bananer”.

Udnyt statistisk processtyring til relevant forbedringsstrategi
Vurderingen af om de fundne indikatorværdier afspejler stabile eller ustabile processer er afgørende for hvilke forbedringsaktiviteter der skal sættes i værk. 

I tilfælde hvor processen er stabil men kvalitetsniveauet ikke lever op til målsætningen, bør forandringsstrategien være målrettet aktiviteter der kan flytte processen/kvalitetsniveauet i den ønskede retning. Dette kræver bl.a. indførelse af successive ændringer efterfulgt af effektevaluering, fx ved hjælp af Forbedringsmodellen.  

I tilfælde hvor processen er ustabil består den primære forbedringsstrategi i at bringe den ustabile proces i kontrol og gøre den stabil, som forudsætning for at vurdere målopfyldelse. Udgangspunktet herfor er en undersøgelse af mulige årsager til den ikke-tilfældige variation. Forbedringstilgangen til at stabilisere en ustabil klinisk proces er ofte standardisering ved indførelse af brug af fælles, evidensbaserede kliniske retningslinjer.

Det er ikke alle databaser, der som løbende afrapportering til afdelingerne udarbejder tidsserier, der gør at brugeren direkte kan se om indikatorværdierne udtrykker en stabil eller ustabil proces. Der kan derfor være behov for, at man i afdelingerne selv konstruerer tidsserier fx i den enkle form som seriediagram.