Kommentarer till fakultetsgruppens delrapport 99 08 23, Doc. Lars Holmbergs skrivelse 1999-08-31 och pressmeddelandet 990910.

I ovan nämnda skrivelser riktas kritik mot Amalgamenhetens utvärderingsplan. Vidare anklagas Amalgamenheten för bristande samarbete rörande utvärderingen. Eftersom kritiken inbegriper undertecknads bidrag till utvärderingen och skrivelserna dessutom innehåller flera grava felaktigheter, finner jag det angeläget att inkomma med några kommentarer och tillrättalägganden.

Under följande tre punkter sammanfattas fakultetsgruppens viktigaste argument. Vidare redogöres för de felaktigheter som enligt min mening vidlåder argumenten ifråga. Dessutom ges hänvisningar till utförligare diskussioner kring respektive fråga under rubriken Kommentarer.

Argument 1. Fakultetsgruppen hävdar att Amalgamenheten inte visar den vilja till öppenhet och rationell kritisk diskussion som är nödvändig för en saklig utvärdering av verksamheten. Fakultetsgruppen gör dessutom gällande att den skulle ha verkat för en öppen diskussion av metodfrågorna samt att den tagit våra argument ad notam.

Tyvärr måste jag konstatera att fakultetsgruppens argument rörande samarbetet är minst sagt vilseledande. Vid flera tillfällen har jag påpekat behovet av objektiva kategoriseringar av symtomvariabler och individer med hjälp av multivariat statistik stället för de subjektiva och tämligen godtyckliga kategoriseringar som fakultetsgruppen föreslagit. Beklagligtvis har invändningarna i denna grundläggande och utomordentligt viktiga metodfråga helt negligerats av fakultetsgruppen och i stället för öppenhet och rationell diskussion ställdes Amalgamenheten inför ett ur vetenskaplig synpunkt oacceptabelt metod-diktat. Detta metod-diktat i förening med fakultetsgruppens ovilja att acceptera befogad metodkritik har lett fram till dagens situation. Detaljerna kan studeras under kommentar 1.

Argument 2. Fakultetsgruppen hävdar att det inte funnits några bärande skäl för att de begärda tabellerna inte skulle ha levererats i tid.

I detta fall är fakultetsgruppens argument grovt inkorrekt och osakligt, eftersom det hela tiden funnits starka vetenskapliga skäl för att inte utföra beräkningarna på det metodstridiga sätt som fakultetsgruppen föreslagit. Redan på ett tidigt stadium påpekade jag att de begärda uppgifterna (skalorna över specifika och ospecifika symtom samt tabellerna grundade på olika stratifieringar) stred mot vedertagna statistiska metoder och erhållna fakta rörande stratifieringar, varför tabellerna inte kunde levereras. Amalgamenheten presenterade därför i stället en analysplan som baserades på accepterade statistiska metoder och som undvek de fel som kännetecknade fakultetsgruppens plan.

Detaljerna i denna fråga framgår under kommentarer 2 och 3.

Argument 3. Fakultetsgruppen menar att Amalgamenheten har motsatt sig att analysera data i bl.a. kategorierna osanerade patienter, patienter som avbrutit sanering och patienter som fullföljt sanering. Fakultetsgruppens skrivning är här tyvärr av det slaget att läsaren ges ett felaktigt intryck av problematiken i detta avseende. Det är utomordentligt viktigt att skilja mellan två slag av analyser i sammanhanget, nämligen dels analyser som avser patienternas subjektiva bedömningar, dels analyser som avser objektiva mätvärden baserade på röntgendata. Det är helt korrekt att Amalgamenheten motsatt sig analyser av de subjektiva bedömningar som baseras på ett äldre frågeformulär med oklart definierade kategorier, där bortfallet dessutom blir oacceptabelt stort. Skulle fakultetsgruppens förslag följas, blir konsekvensen att slutsatser beträffande sanering (d.v.s. patienternas subjektiva bedömningar avseende sanering) i många kritiska fall kommer att baseras på grupper som endast innehåller enstaka individer. Vetenskapligt grundade statistiska analyser får inte gå till på detta sätt! Denna fråga diskuteras i detalj under Kommentar 3.

En helt annan typ av analys utgöres av de objektiva data (röntgenbilder) som nu håller på att inhämtas och som kommer att ligga till grund för objektiva kategoriseringar av graden av sanering. Utifrån dessa data kommer vi att analysera sambanden mellan symtomförändringar , livskvalitetsförändringar och grad av sanering. Det bör betonas att det hela tiden rått full enighet mellan fakultetsgruppen och Amalgamenheten beträffande vikten av dessa analyser. Eftersom de rör själva grundfrågan i utvärderingen är det utomordentligt viktigt att analyserna genomföres på ett vetenskapligt korrekt sätt. Se kommentarerna 6 och 7.

1. Samarbetet.

Beträffande samarbetet mellan Amalgamenheten och fakultetsgruppen anges i delrapporten 99 08 23 att fakultetsgruppen sökte "finna bredast möjliga gemensamma plattform med Amalgamenheten" (Delrapport s.3) och eftersträvade den "fullständigt öppna metoddiskussionen"(Delrapport s.7). Holmberg anklagar vidare Amalgamenheten för att förhindra en "rationell och öppen diskussion" i sammanhanget.

Det är med viss förvåning jag noterar dessa påståenden. Amalgamenheten hade kallats till sammanträde med fakultetsgruppen på Arlanda, men efter ett kort möte där några allmänna frågor för utvärderingen diskuterades, sändes Amalgamenhetens ledamöter hem med beskedet att fakultetsgruppen skulle ha ett enskilt sammanträde för att fastställa utvärderingsplanen. Amalgamenhetens forskare fick således inte deltaga i denna slutliga och synnerligen viktiga diskussion. Några dagar senare erhöll Amalgamenheten fakultetsgruppens färdigställda utvärderingsplan. Vi kunde då konstatera att den innehöll oacceptabla brister och att fakultetsgruppen på intet sätt beaktat våra tidigare framförda invändningar. Om vi hade fått deltaga i mötet, kunde felen ha tillrättalagts på ett tidigt stadium. Nu har dessa metodfel kvarstått och vår metodkritik har helt negligerats. Detta är anledningen till den nuvarande situationen. Se kommentarer 4, 5 och 6.

Homogenitetsfrågan avser två olika aspekter av grundläggande betydelse för all databehandling, nämligen frågan om variablers homogenitet och frågan om individers homogenitet.

Beträffande den undersökta patientgruppen har vi funnit att den som totalitet inte är homogen utan heterogen. Amalgamenheten har i sina analyser visat att totalgruppen (513 patienter) kan delas upp i tre relativt homogena undergrupper. En klar majoritet uppvisar en systematisk förbättring av såväl livskvalitet som symtom efter sanering. En andra grupp (ett sjuttiotal patienter) uppvisar knappast någon förändring och en tredje grupp (ett sextiotal patienter) uppvisar systematiska försämringar i livskvalitet och symtom efter sanering. Med andra ord är totalgruppen heterogen, vilket medför att man inte okritiskt kan slå samman data för exempelvis den grupp som uppvisar förbättringar med den grupp som uppvisar försämringar. Effekterna tar då ut varandra och man riskerar att få en nolleffekt (i synnerhet om grupperna är lika stora). Analyserna bör således i fortsättningen utföras parallellt på de tre undergrupperna och inte i första hand på den sammanslagna totalgruppen.

Motsvarande diskussion kan föras beträffande symtomvariablernas homogenitet. Man kan således inte okritiskt slå samman olika variabler, om de är korrelerade på sådant sätt att effekterna tar ut varandra. Men just detta fel begås av fakultetsgruppen. Enligt gruppen bör man upprätta två skalor som fått benämningen specifika symtom och ospecifika symtom. De specifika symtomen (en sammanslagning av 15 symtomvariabler enligt en viss formel) betecknar fakultetsgruppen som verkliga, amalgamrelaterade symtom, medan de ospecifika symtomen (en sammanslagning av 15 symtomvariabler) väsentligen anses vara inbillade symtom. När man granskar de 30 symtomen är det emellertid i många fall ytterst oklart varför de förs till den ena och inte till den andra gruppen. Någon hållbar, objektiv metod för kategoriseringen har fakultetsgruppen inte heller presenterat.

Vid ett av sammanträdena påpekade jag att en dylik sammanslagning av data inte var acceptabel, eftersom data inte var homogena. Vid ett möte vid Amalgamenheten förevisades Holmberg ett histogram över interkorrelationer mellan de 30 symtomen, framtagna enligt fakultetsgruppens beräkningsmetod. Eftersom många korrelationer var högt positiva, ett flertal korrelationer var nära noll och många var negativa, framgick att data inte var homogena och att man därför inte kan slå samman variablerna till de två skalorna över specifika och inbillade symtom på det sätt som fakultetsgruppen föreslagit. Vid ett senare möte meddelade Holmberg att han kontaktat en framstående statistiker i USA och att denne hade bekräftat det berättigade i min kritik. Holmberg menade uppenbarligen då att min invändning måste beaktas vid den fortsatta analysen. Mot denna bakgrund är det utomordentligt märkligt att fakultetsgruppen i de senaste protokollen över huvud taget inte låtsats om homogenitetsfrågan utan fortsätter att hålla fast vid sin ursprungliga metod och menar att utvärderingen trots de uppenbara felaktigheterna skall ske enligt densamma. Att slå samman en grupp av variabler som visar förbättringar med en grupp av variabler som visar försämringar trollar effektivt bort två signifikanta effekter och resultatet blir en nolleffekt. Trots att detta metodfel påpekats flera gånger för fakultetsgruppen, väljer den att medvetet begå felet. Inte nog med det – den kräver dessutom i upprepade sammanhang att Amalgamenheten skall leverera data som baseras på metodfelet ifråga! Självfallet kan ingen seriös forskare stillatigande ställa upp på dylika aktiviteter.

I syfte att empiriskt kontrollera giltigheten hos fakultetsgruppens kategorisering i specifika kontra ospecifika symtom har ett flertal analyser med multivariata metoder (icke-metrisk flerdimensionell skalning, faktoranalys och principal komponentanalys) utförts vid Amalgamenheten. Dessa analyser visar entydigt att de trettio symtomen inte alls faller ut i de två symtomgrupper som fakultetsgruppen antagit. Symtomen bildar i stället flera kluster som är möjliga att återföra på tre grunddimensioner (faktorer). Därmed föreligger objektiva fakta som otvetydigt visar att fakultetsgruppens tämligen godtyckliga, subjektiva indelning i två symtomgrupper saknar vetenskaplig grund. Därför kan fakultetsgruppens indelning och skalkonstruktion inte accepteras. Det finns därför inga skäl att konstruera de skalor som fakultetsgruppen föreslagit.

Sammanfattningsvis är det utomordentligt anmärkningsvärt att fakultetsgruppen betecknat homogenitetsfrågan som irrelevant! Med en dylik metodologiskt primitiv inställning blir det knappast möjligt att genomföra en utvärdering som lever upp till de krav som ställs av moderna statistiska metoder.

3. Stratifieringsfrågan.

Ett annat metodfel som fakultetsgruppen begår uppstår i samband med stratifiering av utvärderingsvariablerna. Man avser bl.a. att åldersstratifiera patienterna i de begärda tabellerna. Detta är naturligtvis endast en av många tänkbara indelningar och a priori fullt rimlig.

Det gängse förfarandet är emellertid att man innan dataanalysen äger rum kontrollerar stratifieringens giltighet i ett förtest. Om det därvid visar sig att två eller flera kategorier (exempelvis ålder) ger signifikant olika utfall i de övergripande variablerna, är stratifieringen befogad. Följaktligen måste man då i den fortsatta analysen analysera åldersgrupperna separat. Om det däremot visar sig att inga signifikanta åldersrelaterade skillnader existerar, är det befogat att slå samman data till en enda grupp för att därigenom erhålla stabilare gruppvärden. Fakultetsgruppen är uppenbarligen inte medveten om förtestets betydelse, eftersom den tidigare ovillkorligt slagit fast att åldersstratifiering skall användas. De signifikansanalyser som Amalgamenheten därefter utfört visar emellertid klart att olika åldersgrupper (och för övrigt även kön) inte uppvisar några signifikanta skillnader med avseende på de övergripande variablerna (bl.a. livskvalitet efter sanering och bemötandet av patienterna vid Amalgamenheten).

Fakultetsgruppen har upplysts om att stratifiering efter ålder (och kön) inte ger några signifikanta skillnader och att det därför inte finns anledning att i fortsättningen splittra upp data på dessa kategorier. Trots denna vetskap vidhåller fakultetsgruppen märkligt nog sin ursprungliga uppfattning.

Ytterligare ett metodfel riskerar att bli följden, om fakultetsgruppens plan skulle följas i fråga om stratifiering efter saneringsgrad. Självfallet är det i och för sig inget som hindrar att man utför dylika stratifieringar. Dock bör man notera att analyserna utgår från data som patienterna markerat i ett av de äldre frågeformulären. Det är således fråga om en subjektiv bedömning av saneringen från patienternas sida. I detta sammanhang bör en viktig distinktion noteras. Det är helt i sin ordning att be patienter om deras med nödvändighet subjektiva bedömning av exempelvis symtom och livskvalitet. Det är en helt annan sak att be dem att ge en subjektiv bedömning av saneringen. I nämnda formulär, som konstruerades långt innan utvärderingen planlades och vars svarskategorier inte är helt adekvata, framgår också att patienterna har haft stora svårigheter att svara. Många av svarskategorierna är markerade på orimliga sätt. Att lägga dessa data till grund för analyser är knappast tillrådligt av två skäl. Det ena skälet är att bortfallet i enkäten är oacceptabelt stort (omkring 50%). Det andra skälet som är minst lika viktigt är att fakultetsgruppens förslag till kategoriseringar leder till orimliga förutsättningar för signifikanstesterna. Redan vid en stratifiering i tre grupper efter livskvalitet blir jämförelsegrupperna oacceptabelt små i alla tre grupper. Som exempel kan anföras en presumtiv signifikansprövning avseende den negativa gruppen i syfte att undersöka om de som påbörjat och avslutat sanering skiljer sig från de patienter som inte sanerats. I detta fall kommer den ena gruppen att bestå av 24 individer, medan jämförelsegruppen endast omfattar 2 individer. Självfallet är det inte meningsfullt att utföra signifikansprövningar under dessa förhållanden. Flertalet signifikansprövningar skulle enligt fakultetsgruppens krav komma att utföras på orimligt små jämförelsegrupper (grupper inkluderande respektive 2, 5, 9, 4, 7, 9 individer). Det hjälper då inte att den andra gruppen i jämförelsen betår av ett relativt stort antal individer.

Dessutom har fakultetsgruppen krävt att grupperna skall delas upp i fem ålderskategorier med följden att flertalet jämförelsegrupper kommer att bestå av enstaka individer eller delar av en individ! Det är ytterligt förvånande att fakultetsgruppen fortsätter att kräva att tabellerna skall tas fram i stället för att acceptera vårt argument att jämförelser och signifikansprövningar mellan dylika jämförelsegrupper självklart blir meningslösa ur vetenskaplig synpunkt.

Den enda rimliga strategin i detta fall är att fokusera arbetet på att inhämta objektiva data rörande graden av sanering (mätt via inscannade röntgenbilder) och lägga denna variabel till grund för stratifieringar och analyser för att testa utvärderingens huvudfråga, nämligen huruvida graden av sanering är relaterad till förändringar i livskvalitet och symtom.

Det bör påpekas att det för närvarande inte är möjligt att på objektiva grunder hävda något om saneringens kausala effekter beträffande den nu aktuella undersökningsgruppen. Vi vet således ännu inte om exempelvis de upplevda livskvalitetsförändringarna är relaterade till den objektivt mätta graden av sanering. Den första fasen i Amalgamenhetens utvärdering har helt enligt utvärderingsplanen varit inriktad på en detaljerad beskrivning av symtom och livskvalitetsförändringar. Data som presenterats i Amalgamenhetens första rapport uppvisar en intressant och konsistent bild av symtomgrupperingar och individkluster.

Nästa steg bör bli att relatera symtomvariabler och livskvalitetsvariabler till objektivt mätta aspekter av saneringen (röntgendata). Det är därvidlag fullt möjligt att sanering verkligen ger en positiv effekt på exempelvis livskvalitet och symtom. Men det är också fullt möjligt att saneringen inte ger dylika effekter. Det är naturligtvis också möjligt att saneringen åtminstone hos vissa individer leder till en försämring av symtom och livskvalitet. Utvärderingens uppgift måste självklart vara att på bästa möjliga sätt ge ett objektivt svar på frågan om saneringens effekter.

Detta kräver emellertid att man vid den fortsatta utvärderingen använder moderna statistiska metoder och inte de subjektiva, godtyckliga metoder som fakultetsgruppen förordat. Att i likhet med Holmberg hävda att dessa godtyckliga metoder används allmänt inom medicinen är inget försvar. En felaktig metod blir ju inte bättre enbart av skälet att många använder den! Snarare bekräftas min tidigare framförda kritik, som indikerat att medicinska fakultetens undervisning i modern statistik, i synnerhet multivariata metoder, fortfarande lämnar mycket i övrigt att önska. I en nyligen publicerad undersökning har det också framkommit att medicinska undersökningar lider av stora statistiska och metodologiska brister och att nära hälften av studierna kännetecknades av bristfälliga metoder.

5. Fortsatt utvärdering - flerdimensionell analys av symtomvariabler och objektiv mätning av graden av sanering.

Den fortsatta utvärderingen bör enligt min mening baseras på multivariata metoder (flerdimensionell skalning, principal komponentanalys och faktoranalys). Huvudsyftet bör enkelt uttryckt vara att relatera symtomvariablerna till grad av sanering (objektivt fastställd). I föreliggande sammanhang bör de multivariata metoderna naturligtvis användas i datareducerande syfte och inte i teoritestande syfte.

Hittills utförda analyser vid Amalgamenheten visar som nämnts att symtomen bildar olika kluster. Symtom inom ett kluster indikerar symtom som i hög grad liknar varandra (och förmodligen har en eller flera gemensamma underliggande mekanismer) medan symtom i olika kluster är olika varandra (saknar samband med varandra). Patienternas symtom kan således inte grupperas hur som helst och adderas till godtyckliga skalor (på det sätt som fakultetsgruppen föreslagit). I stället bör skalorna konstrueras så att symtomen inom ett kluster lägges till grund för en homogen delskala, som sedan kan användas för att undersöka sambanden med saneringsgraden. De symtomvariabler som inte ingår i något kluster bör analyseras som separata variabler. De tre patientgrupperna bör därvid analyseras var för sig, eftersom det kan förmodas att sambanden med saneringsgraden kan vara olika i de tre grupperna.

Sammanfattningsvis kan det konstateras att fakultetsgruppens ursprungliga utvärderingsplan i viktiga avseenden är metodiskt oacceptabel och riskerar att dölja eventuella samband genom otillåtna sammanslagningar av data. Det finns därför inga vetenskapliga skäl att följa planen.

Fakultetsgruppens ovilja att föra en rationell och öppen diskussion beträffande metodfrågorna och de påtalade metodfelen är synnerligen förvånande. Det huvudsakliga syftet med utvärderingen måste självfallet vara att vetenskapligt undersöka de faktiska förhållandena oavsett vilket utfallet blir för Amalgamenhetens fortsatta verksamhet, inte att riskera en nedläggning av Amalgamenheten utifrån studier som baseras på föråldrade och godtyckliga metoder.

Amalgamets eventuella farlighet och saneringens effekter är för många människor alltför viktiga frågor för att man skall låta dem avgöras av maktspråk och prestige. Det bästa för alla parter vore därför att fakultetsgruppen accepterar de erhållna undersökningsresultaten (presenterade i Amalgamenhetens rapport nr. 1) och Amalgamenhetens därpå grundade förslag till en reviderad plan för den fortsatta utvärderingen.

Som betonades i början av skrivelsen är en central fråga för utvärderingen huruvida det föreligger något samband mellan grad av sanering och förändringar i symtom och livskvalitet eller inte. Objektiva data med avseende på graden av sanering (baserade på röntgenbilder) håller nu på att insamlas. Det är utomordentligt angeläget att analyserna av dessa data utföres med hjälp av moderna multivariata statistiska metoder och med kategoriseringar som utföres på objektiva grunder. Detta krav på vetenskaplighet i utvärderingen har även betonats av Socialstyrelsen som ansåg det vara viktigt att snarast genomföra en vetenskapligt grundad uppföljning och utvärdering.

Innan utredningen om Amalgamenheten vid Akademiska sjukhuset kan betecknas som klar är det självfallet nödvändigt att slutföra denna pågående utvärdering.

Veda den 13/9 1999.

Sture Eriksson
Docent

Adress: Veda 1113,   870 15 Utansjö.     e-post: sture.eriksson.uu@swipnet.se.