Aby zrozumieć, czy nowe leczenie choroby jest naprawdę lepsze niż starsze, lekarze i badacze opierają się na najlepszych dostępnych dowodach. Pracownicy służby zdrowia chcą „ostatniego słowa” w dowodach, aby rozstrzygnąć pytania dotyczące najlepszych sposobów leczenia.

Ale nie wszystkie dowody medyczne są sobie równe. I istnieje wyraźna hierarchia dowodów: opinie ekspertów i opisy przypadków dotyczące poszczególnych zdarzeń znajdują się na najniższym poziomie, a dobrze przeprowadzone randomizowane badania z grupą kontrolną znajdują się na szczycie. Na samym szczycie tej hierarchii znajdują się metaanalizy – badania, które łączą wyniki z wielu badań, w których zadano to samo pytanie. I bardzo, początku. na szczycie tej hierarchii znajdują się metaanalizy wykonywane przez grupę o nazwie Współpraca Cochrane.

Aby zostać członkiem Cochrane Collaboration, poszczególni badacze lub grupy badawcze muszą przestrzegać bardzo ścisłych wytycznych dotyczących sposobu raportowania i przeprowadzania metaanaliz. Dlatego przeglądy Cochrane są powszechnie uważane za najlepsze metaanalizy.

Jednak nikt nigdy nie zapytał, czy wyniki metaanaliz przeprowadzonych przez Cochrane Collaboration różnią się od metaanaliz z innych źródeł. Teoretycznie, porównując metaanalizę Cochrane'a i nie Cochrane'a, obie opublikowane w podobnych ramach czasowych, można by oczekiwać, że do analizy wybraliby te same badania, a ich wyniki i interpretacja byłyby lepsze. lub mniej pasują.

Nasz zespół w Szkole Zdrowia Publicznego Uniwersytetu Bostońskiego postanowił to sprawdzić. I o dziwo, tak nie jest co znaleźliśmy.

Czym właściwie jest metaanaliza?

Wyobraź sobie, że masz pięć małych badań klinicznych, z których wszystkie wykazały ogólnie pozytywne korzyści, powiedzmy, zażywania aspiryny w celu zapobiegania zawałom serca. Ale ponieważ każde z badań obejmowało tylko niewielką liczbę badanych, żaden nie mógł z całą pewnością stwierdzić, że korzystne efekty nie były po prostu przypadkowe. W statystyce takie badania zostałyby uznane za „słabe”.

Istnieje dobry sposób na zwiększenie mocy statystycznej tych badań: połączenie tych pięciu mniejszych badań w jedno. To właśnie robi metaanaliza. Połączenie kilku mniejszych badań w jedną analizę i wzięcie średniej z tych badań może czasami przechylić szalę i dać społeczności medycznej pewność, że dana interwencja działa, czy nie.

Metaanalizy są wydajne i tanie, ponieważ nie wymagają przeprowadzania nowych prób. Jest to raczej kwestia znalezienia wszystkich odpowiednich badań, które zostały już opublikowane, a to może być zaskakująco trudne. Badacze muszą być wytrwali i metodyczni w swoich poszukiwaniach. Znalezienie studiów i decydowanie, czy są wystarczająco dobre, aby ufać, jest tym, gdzie sztuka – i błąd – tej nauki staje się kwestią krytyczną.

To jest właściwie główny powód, dla którego powstała Cochrane Collaboration. Archie Cochrane, badacz usług zdrowotnych, dostrzegł siłę metaanaliz, ale także ogromne znaczenie ich prawidłowego wykonania. Metaanalizy Cochrane Collaboration muszą spełniać bardzo wysokie standardy przejrzystości, rygoru metodologicznego i odtwarzalności.

Niestety, niewielu może poświęcić czas i wysiłek, aby dołączyć do Cochrane Collaboration, a to oznacza, że ​​zdecydowana większość metaanaliz nie jest przeprowadzana przez Collaboration i nie jest zobowiązana do przestrzegania ich standardów. Ale czy to naprawdę ma znaczenie?

Jak różne mogą być dwie metaanalizy?

Aby się tego dowiedzieć, zaczęliśmy od zidentyfikowania 40 par metaanaliz, jednej z Cochrane i jednej nie, które obejmowały tę samą interwencję (np. aspiryna) i wynik (np. zawał serca), a następnie porównaliśmy je i skontrastowaliśmy.

Po pierwsze, stwierdziliśmy, że prawie 40 procent metaanaliz Cochrane i spoza Cochrane nie zgadzało się w swoich podstawowych odpowiedziach statystycznych. Oznacza to, że na przykład typowi czytelnicy, lekarze lub politycy zdrowotni, w zależności od tego, które metaanalizy zdarzyło im się przeczytać, wymyśliliby zasadniczo odmienną interpretację tego, czy interwencja była skuteczna, czy nie.

Po drugie, różnice te wydawały się być systematyczne. Przeglądy inne niż Cochrane sugerowały średnio, że interwencje, które testowali, były silniejsze, bardziej prawdopodobne w leczeniu schorzenia lub zapobieganiu niektórym komplikacjom medycznym niż sugerowały przeglądy Cochrane. Jednocześnie przeglądy inne niż Cochrane były mniej precyzyjne pod względem dokładności, co oznacza, że ​​istnieje większe prawdopodobieństwo, że wyniki są przypadkowe.

Metaanaliza to nic innego jak wymyślna średnia ważona z badań składowych. Z zaskoczeniem stwierdziliśmy, że około 63% włączonych badań było unikalnych dla jednej lub drugiej grupy metaanaliz. Innymi słowy, pomimo faktu, że oba zestawy metaanaliz prawdopodobnie szukałyby tych samych artykułów, przy użyciu podobnych kryteriów wyszukiwania, w podobnym okresie i z podobnych baz danych, tylko około jedna trzecia artykułów z obu zestawów zawarte były takie same.

Wydaje się prawdopodobne, że większość lub wszystkie z tych różnic sprowadzają się do faktu, że Cochrane obstaje przy ostrzejszych kryteriach. Metaanaliza jest tak dobra, jak badania, które zawiera, a branie średniej słabych badań może prowadzić do słabych wyników. Jak mówi przysłowie: „śmieci wchodzą, śmieci wychodzą”.

Co ciekawe, analizy, które wskazywały na znacznie większe rozmiary efektu, były często ponownie cytowane w innych artykułach ze znacznie większą częstotliwością niż analizy wykazujące mniejszą siłę efektu. To statystyczne ucieleśnienie starego dziennikarskiego powiedzenia „Kiedy krwawi, prowadzi”. Duże i odważne efekty przyciągają większą uwagę niż wyniki pokazujące marginalne lub niejednoznaczne wyniki. Społeczność medyczna jest przecież po prostu ludzka.

Dlaczego to ma znaczenie?

Na najbardziej podstawowym poziomie pokazuje to, że Archie Cochrane miał całkowitą rację. Niezbędna jest spójność metodologiczna, rygoryzm i przejrzystość. Bez tego istnieje ryzyko stwierdzenia, że ​​coś działa, gdy nie działa, lub nawet przeceniania korzyści.

Ale na wyższym poziomie pokazuje nam to po raz kolejny, jak bardzo trudno jest stworzyć ujednoliconą interpretację literatury medycznej. Metaanalizy są często używane jako ostatnie słowo na dany temat, jako arbitrzy niejednoznaczności.

Wyraźnie podważa tę rolę fakt, że dwie metaanalizy, rzekomo na ten sam temat, mogą prowadzić do różnych wniosków. Jeśli postrzegamy metaanalizę jako „złoty standard” w naszej obecnej erze „medycyny opartej na dowodach”, to jak przeciętny lekarz, decydent, a nawet pacjent ma zareagować, gdy dwa złote standardy są ze sobą sprzeczne? Zastrzeżenie zleceniodawcy.

O autorze

Christopher J. Gill, profesor nadzwyczajny, Departament Zdrowia na Świecie; Specjalista Chorób Zakaźnych, Boston University.

Ten artykuł został pierwotnie opublikowany w Konwersacje. Przeczytać oryginalny artykuł.

Powiązana książka:

at Rynek wewnętrzny i Amazon