Skip to content

Løgn, forbannet løgn og diagnosekoder

27.06.11

Suspekt overtabloidisering av overlevelsestall for norske sykehus kan få stikk motsatt effekt av det vi ønsker

Sjefredaktør i nettavisen, Gunnar Stavrum, kommenterte her om dagen den foreløpige rapporten om overlevelsestall for norske sykehus. Det gjorde han i form av følgende twittermelding:

«Ikke få slag i Skien – og unngå innleggelse i Volda hvis du har livet kjært.»

Dette følger han opp med en bloggpost som åpner med følgende:

«Helseminister Anne-Grete Strøm-Erichsen fortjener ros for å ha offentliggjort en liste som viser forskjellen mellom liv og død ved norske sykehus.»

Helseministeren får også skryt for å ha «lagt kortene på bordet«. Stavrum snakker som om dette er en konkluderende pokerhånd. I realiteten er det mer snakk om tarotkort.

Usikre tall

Selv med begrenset innsikt i det norske helsevesen, er det lett å komme opp med en god del grunner til å ta overlevelsestallene med en klype salt. Hva med pasienter behandlet på flere sykehus, hva med de som har flere sykdommer samtidig, hva med sjeldne situasjoner som svineinfluensaen, hva med funksjonsfordeling, og så videre.

At tallene er usikre er imidlertid ikke bare løs filosofering fra min side. Hovedpoenget med den aktuelle rapporten er ifølge forfatterne «å studere hvilke feilkilder som kan oppstå når vi bruker data fra sykehusenes administrative databaser som grunnlag.»  De nåværende metodene for å måle overlevelse er med andre ord ikke ferdig utviklet.  Stavrum har funnet seg en tilfeldig pinne og later som om det er en meterstokk. Jeg tviler ikke på at det er forskjeller mellom sykehusene, men de foreliggende tallene sier ikke nødvendigvis så mye om behandlingskvalitet. Det er nok å lese videre i rapporten.

Motsier forfatterne

Under den store, tydelige overskriften «Hva kan vi ikke  bruke dataene til» er dette første setning:

«Overlevelsesindikatorene som presenteres her egner seg  ikke  for rangering av sykehusene.» (Rapportforfatterne har selv hevet ut ikke). Dette presiseres også klart og tydelig i sammendraget, i tilfelle stressede journalister i Nettavisen ikke har tid til å lese hele rapporten (ca 10 sider tekst pluss noen tabeller) innimellom alt det andre de rydder fremsiden for.

Stavrum er opptatt av at små sykehus generelt har dårlige resultater. I rapporten står det: «Det er verd å merke seg at de minste sykehusene rent tilfeldig lett kan havne høyt opp eller langt nede på listen.» Sykehusene må ha hatt minst tjue pasienter pr år med en gitt sykdom for å bli inkludert i statistikken, ellers ville tallene ha vært for små. Tjue er likevel ikke mye. To dødsfall fra eller til pr år gir et utslag på ti prosent, og dermed forskjellen på topp- eller bunn-plassering i Stavrums sykehusliga. To per år.

Hvis du har et par feite tyskere på bobil-tur  som har gaflet i seg for mye bratwürst opp gjennom livet, tettet årene sine til med kolesterol, og får et hjerteinfarkt på overambisiøs fjelltur i Norge, så ryker altså sykehuset ditt til bånns. I rapporten brukes selvsagt mer raffinerte statistiske prinsipper enn enkel prosentregning, men prinsippet består. Små pasienttall gir store prosentutslag per pasient.

Liksom saklig

Også hvilke diagnosekoder man legger inn i sykehusets datasystem spiller inn. I denne saken fra Dagens Næringsliv fra 2009 vises det hvordan ulik kodepraksis kan slå ut:

”Landets mest kostnadseffektive sykehus, Sykehuset Telemark i Skien, har for eksempel en registrert komplikasjonsrate ved fødsler og keisersnitt som ligger 50 prosent over resten av landet. Det reflekterer trolig ikke realiteter, men er et utslag av en kodingspraksis”, ifølge professor Terje P. Hagen, tidligere leder i Forskningsprogram om ledelse og organisering i helsetjenesten (HORN). Hvis koding har så store utslag for kostnadseffektivitet, må vi anta at det også har målbare utslag for overlevelsestall.

I rapporten nevnes en rekke forbehold, men det hele oppsummeres best med denne setningen:  «Det er heller ingen enkeltindikator som gir uttrykk for den generelle kvaliteten i komplekse organisasjoner som sykehus».

Stavrum kommer innpå dette i selve teksten, som er noe mer balansert. På et punkt nevner han «fallgruber» i tallene, og at de «har noen feilkilder». Men han kan ikke kjøpe seg saklig nøytralitet så billig. Twittermelding, overskrift, ingress, åpningssetning og uthevet sitat peker alle i én retning. Som journalist vet Stavrum utmerket godt hvilke tekstelementer som i hovedsak bestemmer hva leseren sitter igjen med etter å ha lest en artikkel. Det hjelper ikke å komme med forsiktige forbehold i fjerde avsnitt.

Nettavisen som journalistisk lettvekter

I skrivende stund handler fire av de seks toppsakene på Nettavisen om fotball. Den femte er en anmeldelse av en PC, og den sjette handler om politivold. Dette synes med andre ord ikke å være avisen for deg som ønsker å holde deg oppdatert på nyhetsbildet og få med deg hva som skjer ute i verden.

Blar vi litt nedover på forsiden av Nettavisen finner vi følgende gullkorn:
«Hva synes hun om porno? Mange menn ser porno. Hva synes egentlig jentene om det?»
«En ekte prinsesseklem: Sjekk hva verdens kongelige har gjort den siste uken.»
«Få Vi Menn til rekordpris i 18 uker!»

I rubrikken for mest leste saker ligger disse:
Hva synes hun om porno?
Verdens farligste veiarbeid
Se hva vi fant på internett!

Alle undersøkelser har feilkilder, og denne vurderingen av  Nettavisen kan ha vært noe unyansert. Nettsider oppdateres hyppig, og kanskje var det en viktig fotballkamp som pågikk akkurat da jeg var innom og leste.  Den ene overskriften jeg refererte viste seg å være en annonse, dog den lignet veldig på en artikkel. Hvis jeg faktisk ønsket å lese nyheter kunne jeg gått inn på menyvalget ”Nyheter” og dermed trolig sluppet alt kjendis- og pornofjaset.

Uønsket effekt

Nasjonalt kunnskapssenter for helsetjenesten har laget en grundig rapport som tar kompleksiteten på feltet på alvor.  Med videre forskning og analyse kan slike tall potensielt bli et godt verktøy for sykehusene.  Det er synd, men trolig uunngåelig, at den brukes slik den gjør.

Det er kanskje lett å la seg rive med når selv Helsedirektøren bruker språk som kan taes til inntekt for fotballserie-tolkningen av tallene, og Stavrum er langt fra den eneste som har misbrukt rapporten. Artikkelen til NRK er likevel  langt unna den provoserende og fordummende fremstillingen til Stavrum. Slik han selv etter innfallsmetoden velger å hetse de mange hardtarbeidende ansatte ved Volda sykehus, får han selv finne seg i å bli brukt som syndebukk for den mer desperat tabloidiserende delen av pressen.

Man får ikke mer åpenhet eller bedre behandling av å misbruke forskning på denne måten. Det man oppnår er å sørge for at stadig flere helsearbeidere bruker stadig mer av arbeidstiden sin på å bekymre seg for hva de skal taste inn i datasystemet. Da blir statistikken fin, og de slipper kanskje trusler om å bli nedlagt, funksjonsvekkfordelt eller synergieffektivisert bort. Men det hjelper ikke pasientene.

Advertisements
8 kommentarer
  1. Det er greit at det kan finnes feilkilder i rapporten, men her går du over stokk og stein.

    På Kunnskapssenterets presentasjon av tallene står det: «Det er benyttet en robust statistisk metode for å definere de sykehusene som har en signifikant høyere eller lavere overlevelse i forhold til resten av sykehusene». Dessuten er tallene som er brukt fra perioden 2005 – 2009.

    På forsiden til Kunnskapssenteret står følgende:

    Resultatene kan oppsummeres slik:

    Hjerteinfarkt
    Seks sykehus har signifikant høyere overlevelse enn andre, disse er Feiring, Haukeland, Haugesund, Rikshospitalet, St. Olav, Tromsø
    Ett sykehus har signifikant lavere overlevelse, det er Skien

    Hjerneslag
    Ingen sykehus har signifikant høyere overlevelse enn de andre sykehusene,

    Fem sykehus har signifikant lavere overlevelse. Disse er Fredrikstad, Haugesund, Kongsvinger, Rikshospitalet, Skien

    Hoftebrudd
    Ingen sykehus har signifikant høyere overlevelse enn de andre sykehusene
    To sykehus ligger signifikant lavere. Disse er Buskerud, Gjøvik

    Total overlevelse
    Sju sykehus har signifikant høyere overlevelse enn de andre sykehusene, disse er Aker, Bodø, Bærum, Haraldsplass, Haukeland, Radiumhospitalet, Ålesund

    Seks sykehus har signifikant lavere overlevelse, disse er Fredrikstad, Gjøvik, Kongsvinger, Kristiansand, Odda, Volda.

    For oss som er pasienter i et norsk helsevesen som er preget av enorm kostnadsvekst og stadige påståtte ressursproblemer er selvsagt slike funn oppsiktsvekkende. Jeg kan forstå at kortsynte medisinere ønsker å legge tallene i skuffen, men av og til må man tåle å bli sett i kortene – enten det er en pokerhånd eller tarrotkort.

  2. Her er det vel minst to diskusjoner:

    1. Om tallene bør offentliggjøres eller ei er en diskusjon. De fleste, inkl. meg, mener det er greit. Selv om det nok er naivt å håpe at innholdet formidles på edruelig vis.

    2. Om tallene er et faktisk uttrykk for kvalitet. Det er en langt mer spennende diskusjon. Det er et stort paradoks at en vellykket samhandlingsreform (færre innleggelser) vil gi dårligere kvalitet målt etter ett av kvalitetsmålene som blir brukt her; «total overlevelse uansett årsak». Sykehus som praktiserer svingdørspolitikk (hyppige kortvarige innleggelser) vil også få bedre resultat i kvalitetsmålingen enn sykehus som anvender færre, men lengre opphold, og som evt. gir en bedre poliklinisk oppfølging av pasientene.

    At tallen er robust statistisk analysert, betyr ikke at grunnlaget for tallene er et robust uttrykk for kvalitet.

  3. Klarer ikke la være å gjenta den siste setningen til Kippersund:

    At tallene er robust statistisk analysert, betyr ikke at grunnlaget for tallene er et robust uttrykk for kvalitet.

    • ibiubu permalink

      Nettopp. Den største enkeltfaren i framstillinga av rapporten er kanskje at enkelte blandar den statistikkfaglege bruken av «signifikant» (dvs «ikkje tilfeldig»), med bruken av ordet i vanleg språk (dvs avgjerande, framtredande, ekstra stor).

      Eg og er heilt einig i at slike tall bør offentleggjerast og forskast på. Det kan gje oss viktig kunnskap om korleis helsevesenet fungerar. Dette fråtek meg likevel ikkje retten til å bli oppgitt når journalistar nærmaste etter innfallsmetoden mobbar lokalsjukehusa til tusenvis av menneske, og det på eit ganske tynt grunnlag.

  4. Det er påfallende hvor angstbitersk helsepersonell er på egne vegne i denne saken, og hvor lite forståelse de har for at allmennheten også har interesse av tallene.

    Det er greit at tallmaterialet kan ha skjevheter, men det er absolutt ingen holdepunkter for at skjevhetene forklarer hele forskjellen mellom sykehusene. Foreløpig er det en ganske god hypotese at det også er forklaringer internt på sykehusene når det er signifikante forskjeller i dødelighet mellom relativt like sykehus og relativt like diagnoser.

    Min garantist for at det skjer noe med disse signifikante forskjellene er offentlige allmenn debatt om tallene og forklaringene.

    Helsesektorens reaksjon på tallene ligner til forvekskling på skolens motstand mot å få tall på bordet. Også der ble det lansert en rekke hypoteser om at slike tall ikke kunne la seg bruke. Men så etterhvert begynner det å sige inn at slike måltall faktisk kan være nyttige, og at nettopp fokus på dem fører til forandringer.

    Min hypotese er at det samme vil skje i helsesektoren.

  5. Torstein Valset permalink

    Begrepet signifikante forskjeller mellom sykehus, i dette sakskomplekset er og blir meningsløst.
    Skal man sammenligne grupper av pasienter eller pasientforløp må disse være sammenlignbare.
    Det sier seg selv, og fremkommer svært tydelig av innleggene her (unntatt Stavrum da) at gruppene – sykehusene – IKKE er sammenliknbare.
    Kfr Feiring vs Skien. Eller Haukeland vs Gjøvik.
    Det er bare å konstatere at Kunnskapssenteret (?) har prestert en rapport uten statistisk signifikans eller evidens. De skriver jo også egentlig dette selv i innledningen.
    Rapporten burde ikke vært publisert i denne form. Den kan ikke engang ses på som orienterende eller veiledende. Kun VILLEDENDE.
    Slikt forstår ikke journalister å ta hensyn til, heller ikke Stavrum.
    Det finnes en velkjent historie om liknende for ca et 10-år siden, fra NYT :
    Rangering av hjertekirurger i NY, nevnt ved navn! fra nr 1 til ca 100. Etter komplikasjoner og dødelighet. Neste år var listen praktisk talt snudd på hodet. Hvorfor ? De enkelte kirurger med dårlig rangering vegret seg for å operere pasienter med større komplikasjonsrisiko. Ja – ingen ville operere dem! De måtte sendes ut av staten NY, til områder uten rangering. Pasientgruppene hos de forskjellige kirurger var ikke sammenliknbare !

  6. tror vi er veldig mange helsepersonell som gjerne vil ha mange tall her. Se punkt 1 hos Jørn.

    Et spørsmål er om måltall fører til forandringer på det som er viktig eller om det fører til forandringer av det som måles med dårligere resultater for pasientene, som i eksempelet fra New York under. Vi må håpe at tall fører til forandringer på noe som er viktig.

    Gleder meg til diskusjonen videre om dette, og er glad for muligheten internett gjør til å diskutere dette mellom grupper som kanskje diskuterer for sjelden ellers.

    La oss prøve å la være å falle for fristelsen til å angripe karikaturen av mannen i stedet for ballen.

  7. Anonym permalink

    Det kan ikke være tvil om hva som er BALLEN her ! TALLENE !
    Vi ønsker vel ikke «mange tall» ? Vi må ha korrekte og signifikante tall, for sammenliknbare grupper. Altså : Evidens !
    Har man ikke det får man la være å publisere saken, selv med advarsler om at dette ikke er uttrykk for evidens, eller sannhet.
    «Folk» eller journalister forstår ikke slikt, vil ikke forstå.
    De tror på ramme alvor at når KUNNSKAPSSENTERET publiserer noe,
    da er det sannheten.
    Kunnskapssenteret burde derfor oppføre seg spesielt forbilledlig i så måte.
    Det de nå har prestert er etter mitt skjønn svært kritikkverdig !
    Det de nå har publisert for egen kostnad, ville det ikke være mulig å få inntatt i et eneste seriøst fagtidsskrift, ikke engang det enkle Tdnlf ville tatt et produkt som dette !
    «Tall» skal ikke og kan ikke føre til forandringer før det foreliger statistisk signifikans, og dette er reproduserbart / reprodusert.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

%d bloggers like this: