Jedna jaskółka nie czyni paradygmatu

17 marca 2020
Blog szalonych naukowców

Miesiąc temu Marcin Nowak napisał, że zespół poaborcyjny udaje się wykazać tylko w niektórych badaniach o niekoniecznie wyśrubowanych metodologiach. Zbiegło się to z moim udziałem w spotkaniu roboczym pewnego projektu – tematyka inna, ale również rozważano kwestie dostępności danych i ich jakości.

Kwestie wykorzystywania danych zebranych przy okazji innych badań poruszałem parę lat temu. Już wtedy wspomniałem, że dane z różnych zbiorów często ciężko porównywać. Problem polega nie tylko na tym, że ktoś zmierzył utlenialność metodą nadmanganianową, a ktoś inny dwuchromianową (wyniki naprawdę są inne), czy chlorofil na chromatografię rozpuszczał w alkoholu, czy acetonie (wyniki powinny być podobne, ale nie zawsze są). Nawet uzyskane tą samą metodą dane mogą być pozyskane z różną rzetelnością, wynikającą choćby ze staranności.

Staranności nie da się w żaden sposób sprawdzić, ale metodologia powinna być umieszczona w publikacji w sposób pozwalający na ocenę przynajmniej jej. Każda metoda ma swoje ograniczenia i pozwala na wyciąganie pewnego zakresu wniosków. Pewne metody pozwalają na pobieżne wyniki, inne na dogłębne. Dotyczy to zarówno wyników pomiarowych, jak i płynących z nich tez w stylu: substancja X szkodzi bardziej niż Y.

Nauki opisują światy prostsze (jak znaczna część fizyki czy chemii) i bardziej złożone (jak biologia). Rośnie liczba wyjątków. W naukach społecznych wyjątków jest dużo i czasem ciężko uwierzyć, że w ogóle są reguły, co wynika z niedoskonałości samego warsztatu naukowego, ale i ze zbyt dużej do ogarnięcia liczby zmiennych (choć oczywiście nie usprawiedliwia to np. tych szkół ekonomii, które wprost twierdzą, że ich zasady falsyfikowalności nie obejmują).

Pozostając przy biologii czy ekologii – są pewne zasady i prawa, ale większość reguł to tylko reguły, od których mogą być wyjątki. Organizmy potrzebują tlenu do oddychania – cała masa wyjątków. Eukarionty mają jądra, mitochondria, aparaty Golgiego, rybosomy itd. Ale jak pisałem, bez mitochondriów da się żyć itd. Nie przypadkiem rozwój metod statystycznych posunął się głównie na potrzeby opisu zjawisk ekologicznych czy socjologicznych. Trzeba ocenić, kiedy można jeszcze mówić o regule, a kiedy wyjątków jest za dużo.

Wcale nietrudno o sytuację, gdy w jednym badaniu biologicznym (ekologicznym, medycznym) wychodzi jedno, a w drugim – drugie. Stąd konieczność porównywania badań – metodologii, jakości itd. Podręczniki i książki popularnonaukowe są pełne opisów przełomowych doświadczeń czy publikacji badań będących kamieniami milowymi danej dziedziny. Eratostenes mierzył długość cienia. Galileusz puszczał kule z wieży. Flemingowi zapleśniała szalka z bakteriami. W CERN-ie zarejestrowano bozon Higgsa. Eureka – i mamy nowy paradygmat.

Ale żeby coś stało się paradygmatem, nie może opierać się na jednej obserwacji. Powinno być powtarzalne (no, obserwacja supernowej może nie być łatwa do powtórzenia). Pomiar rozmiaru Ziemi czy przyspieszenia ziemskiego rzeczywiście zwykle daje te same wartości. Próba zabijania bakterii penicyliną do pewnego momentu też dawała ten sam skutek, ale wiemy dziś, że nie zawsze. Da się znaleźć obserwacje, gdy po podaniu dużej dawki witaminy C ktoś wyzdrowiał z ciężkiej choroby. Czy to dowód jej terapeutycznego działania? Nie wiadomo, dopóki nie zbada się więcej.

Gdy na całym świecie ludzie badają podobne zjawiska, można analizować ich wyniki. Analiza analiz to metaanaliza. Dziś w medycynie opis jednego pacjenta nie ma za dużej wartości. Opis jednych badań klinicznych, w których biorą udział liczni pacjenci, może wystarczyć do dopuszczenia leku do użytku, ale żeby jakaś terapia trafiła do zaleceń towarzystwa medycznego, to lepiej, żeby wnioski wynikały z metaanalizy.

Pojęciem pokrewnym jest przegląd systematyczny literatury naukowej. W takim przeglądzie zbiera się publikacje na dany temat i biorąc pod uwagę różne kryteria ich adekwatności, wyciąga ostateczne wnioski.

Jak pisałem, niedawno byłem na spotkaniu projektu badającego m.in. wpływ ekstremalnych zjawisk hydrologicznych na faunę rzek. Projekt będzie zawierał część własnych badań terenowych, ale w dużej mierze ma się opierać na analizie danych zgromadzonych wcześniej, np. w ramach monitoringu jakości wód czy badań rybackich. Jeden z uczestników spotkania przygotował prezentację właśnie o przeglądzie systematycznym, który wykonywał niedawno w ramach badania wpływu poboru wód z rzek na żyjące w nich zwierzęta.

Jak to wygląda w praktyce? Dziś już nikt nie siedzi w bibliotekach, tylko przegląda Web of Science, Scopusa itp. bazy, które prawie się nie różnią zawartością (przynajmniej w zakresie biologii), i szuka po słowach kluczowych. W tym konkretnym przeglądzie wystartowano od ponad miliona artykułów dotyczących rzek, miał sześć etapów. W pierwszym odsiano artykuły jakkolwiek związane z poborem wód – zostało ponad pół miliona. W drugim etapie wybrano te, które dotyczyły ekologii – zostało ponad 65 tys. (swoją drogą oznacza to, że prawie wszystkie artykuły dotyczące poboru wód nie zajmują się jego ekologicznym wymiarem – dla mnie to zaskakujące). Ok. 3800 wydało się obiecujących do przejrzenia na podstawie tytułu. Spośród nich do przejrzenia abstraktów wybrano 372. Z nich zaś obiecujących – tak żeby przejrzeć tekst – wydało się 76. 17 odrzucono ze względu na nieodpowiednią lokalizację geograficzną (badaczy interesowała głównie niżowa część Wielkiej Brytanii), 27 ze względu na brak użytecznych danych, a 22 ze względu na ogólne nieprzystawanie. Czyli ostatecznie do analizy wybrano 10 publikacji.

Liczby z pierwszych etapów pokazują inflację słowa pisanego. Samych artykułów o rzekach jest ponad milion. Nie sposób ich wszystkich przeczytać, żeby poczuć się potamologiem mającym ogląd współczesnej wiedzy o rzekach. Nawet liczba artykułów łączących ekologię z poborem wód jest za duża do ogarnięcia. Powiedzmy, że artykułów interesujących jest kilkadziesiąt.

I nagle ukazuje się druga strona medalu. Spośród nich większość okazuje się w gruncie rzeczy nieprzydatna do analizy. W razie różnic we wnioskach może okazać się, że jest ich za mało, by porównać je statystycznie.

Wynika to nie tylko z tego, że nie wszystkie publikacje zawierają dane użyteczne, których metodyka pozyskania jest dobrze opisana. Prawa publikacji naukowych sprawiają, że raz opisany temat staje się niejako zaklepany i wydawcy nie chcą publikować rzeczy podobnych. Gdyby to dotyczyło spraw w stylu „odkrycie nowego pierwiastka”, opis nowego gatunku czy dowodu jakiegoś twierdzenia matematycznego, to byłoby jakoś uzasadnione. Ale jak pisałem, zdarza się, że dwa podobne badania dają odmienne wyniki i nie ma w tym nic niezwykłego. Jeżeli opublikuje się tylko jedno, w świat idzie przekaz – jest tak. Tymczasem może być tak tylko w niektórych przypadkach.

Mimo inflacji publikacji wszyscy w zasadzie chcą przedstawiać je jako wyjątkowe, co tylko wzmacnia powyższe zjawisko. Całkiem dużo pisałem o nadymaniu publikacji parę lat temu. Także dla mnie jako popularyzatora lepiej przedstawiać publikacje jako interesujące i odpowiadające na ważne pytania, a nie jako jedne z wielu, czasem sprzecznych. Tym bardziej dla osób chcących podeprzeć swoje pomysły odpowiednimi badaniami. Wybieranie wisienek publikacyjnych jest ganione, ale czasem może być tak, że nie trzeba ich wybierać z ciasta, bo dostępne są same wisienki, podczas gdy badania, które mogłyby być ciastem, zostają w najlepszym razie szarą literaturą.

Jeżeli 10 badań wskazuje, że obecność danej substancji nie ma żadnego wpływu, a jedno wskazuje, że wpływ jest – niestety, całkiem prawdopodobne, że opublikowane zostanie to ostatnie. Wtedy nawet nie będzie czego metaanalizować.

Wspomniany na początku projekt zakłada przeanalizowanie nie tylko literatury naukowej indeksowanej w Web of Science. O ile nikt nie napisze oryginalnego artykułu z fizyki cząstek elementarnych czy genomiki po polsku, węgiersku, niemiecku czy rosyjsku (to, że dwa ostatnie są językami kongresowymi, a w jednym z nich publikował kiedyś Einstein, ma się do współczesnej rzeczywistości nijak), o tyle dane interesujące z punktu widzenia tego projektu można znaleźć w pismach typu „Komunikaty Rybackie”, których nie ma nawet w obecnym wykazie ministerialnym, a co dopiero w międzynarodowych bazach. Co więcej, są w raportach oddziaływania na środowisko inwestycji, planach zadań ochronnych obszarów Natura 2000, operatach rybackich czy w końcu raportach z monitoringu jakości wód. Te dane rzadko trafiają do publikacji, a prawie nigdy do publikacji prestiżowych. Niekoniecznie też są spójne metodologicznie z innymi (chociażby dane monitoringowe powinny być pozyskiwane w warunkach typowych, a nie ekstremalnych, bardziej interesujących z punktu widzenia tego projektu).

W ten sposób badacze chcący dogłębnie przeanalizować dane zagadnienie stoją przed paradoksem: jest masa danych, które nigdzie nie są publikowane, i masa publikacji, ale danych, które można poddać rzetelnej analizie, już znacznie mniej.

Piotr Panek
fot. Piotr Panek, licencja CC-BY-SA 4.o