Metaanaliza. Stąd pochodzi wiedza medyczna

10 marca 2023
Blog szalonych naukowców

Może po poświęceniu dwóch tekstów niedawnej internetowej awanturze dotyczącej leków przeciwdepresyjnych powinienem już dać sobie z tym spokój, ale wobec licznych komentarzy pozwolę sobie poruszyć jeszcze jeden jej aspekt. Może on stanowić pretekst do zajęcia się pewną ważną kwestią metodologiczną. Oto pod (nie)sławnym filmem pani Pawlikowska powoływała się na znajomość angielskiego umożliwiającą jej lekturę badań naukowych. Istotnie listę publikacji zamieściła. Dlaczego więc wyszło, jak wyszło?

Powiedziałbym: pech, na którego naraża się każdy wypowiadający się o nauce bez doświadczenia. I niektórzy z doświadczeniem również.

Pisząc ostatnio tekst poświęcony nowemu rodzajowi pterozaura (podobnie Piotr Panek o „grzybie”), powoływałem się na pojedynczą publikację. Tę, w której opisano nowy rodzaj, a więc stanowiącą na razie jedyne źródło wiedzy na ten temat. W medycynie tak się nie da.

Mówi się, że od przybytku głowa nie boli. Niekoniecznie. Strategia znajdę coś tam zazwyczaj się nie sprawdza. Spróbujmy.

Pomińmy dość podstawowe problemy ze znalezieniem prac naukowych. Oczywiście wyszukiwanie przeprowadzimy w Pubmedzie, bazie streszczeń artykułów o tematyce medycznej. Na początku jest prosto. Załóżmy, że szukamy informacji o, powiedzmy, niedoczynności nadnerczy. Wpisujemy adrenal insufficiency (zakładam, że mamy znajomość angielskiego; dla porządku: wyszukuję z włączoną domyślnie opcją wyników po angielsku). Zanim klikniemy, ilu pozycji się państwo spodziewacie? Temat nie jest jakiś szczególnie popularny…

Klik, surprise, 14 057. Tak, ponad 14 tys. To teraz zastanówmy się chwilę nad statystyką. Jeśli rzucamy monetą kilka razy z rzędu i za każdym razem wypada reszka, możemy podejrzewać, że z monetą jest coś nie tak, że prawdopodobieństwa wyrzucenia orła i reszki nie są takie same. A teraz wyobraźmy sobie, że powtarzamy doświadczenie kilka tysięcy razy. Czy zdarzą się serie powtarzających się reszek? Oczywiście. Co z tego wynika w związku z trefnością monety? Nic.

Podobnie jest z badaniami naukowymi. Wśród tysięcy prac znajdą się prezentujące rzekomo rewolucyjne wyniki i podważające wcześniejsze ustalenia. Tak działa statystyka. Jeżeli chcemy znaleźć coś w Pubmedzie, najczęściej to znajdziemy (no dobrze, nie zawsze, kiedyś próbowałem znaleźć dowody działania naprotechnologii – i poległem).

W metodologii zajęcie polegające na autorskim dobieraniu sobie cytowanych prac nazywa się narrative review. Ma przedstawiać zdanie autora i, jeśli autor jest wybitny, często wiele wnosi i świetnie się ją czyta. W przypadku przeciętnego autora niekoniecznie i duża część czasopism naukowych w ogóle takich prac nie przyjmuje.

Wiarygodna wiedza pochodzi z przeglądów systematycznych bądź metaanaliz.

Wróćmy do naszych wyników wyszukiwania. Zawęźmy kryteria. Poszukujemy aktualnej wiedzy. Po lewej obok wyników wyszukiwania mamy pokrętło lat wydania. Ustawmy 2020-23. 1943 wyniki. Trochę lepiej.

Niżej możemy sobie wybrać dodatkowe opcje. Pierwsza dotyczy dostępności tekstu – streszczenia (abstract), całości i całości za darmo. Nie chce mi się odpalać biblioteki uczelnianej, która wykupuje dostęp, a większość czytelników zapewne w ogóle nie ma takiej możliwości – zaznaczmy free full text. 1204 wyniki.

Poniżej mamy jeszcze typ artykułu. Kliknijmy metaanalizę. To najbardziej wartościowy typ badania, zbierający i opracowujący wyniki innych badań. Siedem wyników. Wreszcie coś, co możemy ogarnąć umysłem. Przeanalizujmy jeden z nich.

Weźmy pierwszą z brzegu, Glucocorticoid replacement regimens for treating congenital adrenal hyperplasia (Schematy zastępowania glukokortykoidów w leczeniu wrodzonego przerostu nadnerczy – brzmi nudno, ale naprawdę wybrałem pierwszą z brzegu). Klikamy i wchodzimy w streszczenie. Po prawej stronie mamy link do pełnej wersji.

Najpierw podają nam niezbędny kontekst. Wrodzony przerost nadnerczy wynika zwykle z braku enzymu 21-hydroksylazy, przez co hormony steroidowe kory nadnerczy (jak przedstawiony na obu grafikach kortyzol) nie są syntezowane. Leczenie ma polegać na ich podawaniu. Dalej mamy cel badania: porównać bezpieczeństwo i skuteczność różnych schematów zastąpienia naturalnych steroidów podawanymi sztucznie u dzieci i dorosłych.

Czytamy dalej: podają nam strategię wyszukiwania. Badań szukali w Cochrane Inborn Errors of Metabolism Trials Register. Najczęściej szuka się głównie w Pubmedzie, często w kilku bazach danych. Lektura pełnej wersji zdradza, że i tu wyszukiwane artykuły pochodziły właściwie z ośmiu baz. Co więcej, autorzy przejrzeli artykuły cytowane przez znalezione teksty w poszukiwaniu dalszych prac. Szukanie zakończyli 24 czerwca 2019 r. W następnej sekcji podają kryteria selekcji: randomizowane zaślepione próby (RCT) bądź quasi-RCT porównujące różne schematy zastępowania steroidów. W pełnej wersji znajdziemy rozwinięcie w punktach. Widzimy także słowa kluczowe (wpisywane w wyszukiwarkę): congenital adrenal hyperplasia. Jak widać, najdrobniejszy szczegół wyszukiwania musi zostać podany – tak by każdy czytelnik mógł je powtórzyć. Nie ma mowy o dowolnym wyszukiwaniu tekstów, gdyż może to prowadzić do wybiórczego traktowania pewnych publikacji, np. pominięcia tych niezgodnych z osobistym poglądem autora.

To teraz zwróćmy uwagę na rycinę 1 w pełnej wersji. Na początku znaleziono 1729 prac (przerabialiśmy to samo przed chwilą). 143 się powtarzało, rzeczywista liczba odrębnych prac wyniosła więc 1586. 1543 wykluczono, do kolejnego etapu analizy przeszło 31 RCT i 12 zarejestrowanych badań. Tutaj opis mamy wbrew pozorom dość skromny, bo często badacze podają na każdym etapie, jak szczegółowo analizowali publikację, ile osób czytało każde streszczenie czy całą pracę i ile prac z jakiego powodu wywalili.

W każdym razie pięć badań nadawało się do uwzględnienia w analizie ilościowej, czyli do wydobycia badań i ponownego policzenia statystyki. Bliższy opis dla zachowania spokoju ducha mojego i czytelników pominę.

Po tak drobiazgowej analizie autorzy przechodzą do konkluzji: generalnie badań jest mało i nie analizują istotnych czynników oraz że trudno obecnie stwierdzić, który schemat jest lepszy.

Tak słaby wniosek wymagał analizy ponad 1700 prac naukowych. Tak wiele wysiłku wymaga powstawanie wiarygodnej wiedzy.

Marcin Nowak

Bibliografia:

  • Ng SM, Stepien KM, Krishan A. Glucocorticoid replacement regimens for treating congenital adrenal hyperplasia. Cochrane Database Syst Rev. 2020 Mar 19;3(3):CD012517. doi: 10.1002/14651858.CD012517.pub2. PMID: 32190901; PMCID: PMC7081382

Ilustracje: