Jak zniszczyć naukę?

20 marca 2021
Blog szalonych naukowców

Są burze, które wstrząsają prawie wszystkim, i takie, które wstrząsają tylko niektórych. Te drugie mogą mieć niestety dalekosiężne skutki. Weźmy nową listę punktów przyznawanych czasopismom naukowym. Ze środowiska lecą gromy, ale w zasadzie nikt z zewnątrz sprawy nie zauważa i się nią nie przejmuje. Jest się czym martwić?

Przede wszystkim: po co komu ta lista? Służy ocenie naukowców. Jak? Żeby to wytłumaczyć, zastanówmy się najpierw, na czym właściwie polega ta praca.

Niby proste: naukowiec tworzy naukę. Idem per idem. Czyli co robi? Mówiąc górnolotnie, powiększa dostępną sumę wiedzy. Trzeba dodać uwagę bardziej techniczną, lecz kluczową: stosując przy tym metodę naukową (czyli w sposób opisany w tekście o szczepionce na covid-19). Przeprowadza badanie, otrzymuje wyniki. A potem je ogłasza.

Wbrew powszechnej opinii robi to nie w telewizji czy innym medium i niekoniecznie na konferencji (to raczej dodatek do nauki). Pisze pracę (poza humanistyką dość krótką, długie miesiące wysiłków zamyka zwykle na kilku-kilkunastu stronach), którą wysyła do czasopisma. Redaktor tegoż albo odsyła pracę od razu, bo nie spełnia wymagań lub nie pasuje do tematyki pisma, albo wysyła ją do recenzji – zwykle do jednego-trzech specjalistów w danej dziedzinie. Ci piszą anonimowo (i zwykle za darmo) recenzję pracy, której autor zazwyczaj też nie jest im znany. Mogą rekomendować przyjęcie jej bez zastrzeżeń (w teorii), z niewielkimi zastrzeżeniami (do czegoś trzeba się przyczepić, żeby było widać, że się artykuł czytało), zalecić gruntowne zmiany i kolejną recenzję (niestety będzie trzeba jeszcze raz to czytać i pisać opinię za darmo) lub zmieszać tekst z błotem, więc w efekcie się nie ukaże.

Zatem to publikacje (nie enigmatyczne odkrycia, nie wystąpienia na konferencjach i w mediach) są efektem pracy naukowca i przesądzają o jej jakości. Tylko że publikacja publikacji nierówna. Wspomniany tekst o szczepionce w „Lancecie” to jednak inna klasa niż (oby się Piotr Panek za to na mnie nie obraził) we „Fragmenta Floristica et Geobotanica”. Jak je porównać?

W taki sam sposób, który kiedyś przyniósł dwóm młodym ludziom miliardowe dochody. Sukces Google polegał początkowo na tym, że wydobywał najlepsze treści w internecie. Najlepsze według kogo? Internautów. Panowie doznali olśnienia: do dobrych treści ludzie linkują częściej niż do słabych. To liczba linkowań stanowi miarę jakości. Nie do końca dobrą, ale najlepszą, jaka istnieje.

W nauce jest podobnie. Każda praca dodaje cegiełkę do budowli wznoszonej przez poprzednie pokolenia badaczy, obficie korzystających ze swoich dokonań. Osiągnięcia poprzedników, na których autor opiera własne wywody, wskazuje się w cytowaniach. Idea jest taka: lepsze prace są cytowane częściej niż gorsze.

A więc miarą jakości pojedynczej pracy będzie liczba cytowań. Przykładowo: praca o szczepionce ze stycznia 2021 r. do tej pory zebrała 55 cytowań. Moja praca sprzed kilku lat – 0. Cóż zrobić. Chyba istotnie nie była najlepsza.

Moglibyśmy zliczyć wszystkie cytowania danego badacza. Załóżmy, że pan X wymyśla ulepszenie metody sekwencjonowania DNA, procedury wykonywanej rutynowo w tysiącach badań. Każda praca zawiera opis działań. Zamiast jednak przez dwie strony powtarzać szczegóły powszechnie znanej procedury, można napisać, że zastosowano metodę X. I zacytować. Nikt nie ma czasu czytać długich tekstów (poza humanistyką). Cytowania pracy pana X pójdą więc w tysiące. Czy to oznacza, że jest lepszym naukowcem od kardiologa, który dzięki swojej metodzie (i pięćdziesięciu innym pracom) wykryje nowy gen odpowiedzialny za arytmię? I zaproponuje nowatorską terapię? Albo paleontologa, który znajdzie i opisze szkielet nowego rodzaju dinozaura?

Trudno ocenić, czy lepszy jest naukowiec, który ma pięć prac po dziesięć cytowań, czy taki, który ma dziesięć prac po pięć cytowań. Z pewnością jednak ten, który ma dziesięć prac po dziesięć cytowań, jest lepszy od tego, który ma pięć prac po pięć cytowań. Na tym polega indeks Hirscha (h). Świetnie nadaje się do porównań w ramach tej samej dziedziny (przy czym musimy jeszcze ustalić bazę danych, w której szukamy cytowań). W przypadku różnych dziedzin to się nie uda. Przykładowo: jeden z najwybitniejszych polskich socjologów, zapraszany do mediów średnio raz na tydzień prof. Dariusz Jemielniak, ma h = 10. A weźmy jednego z najlepszych polskich psychogeriatrów (dziedzina, wydawałoby się, znacznie bardziej niszowa): prof. Tomasz Sobów, poza środowiskiem niezbyt znany i niezapraszany do mediów (nad czym z uwagi na jego wielką wiedzę ubolewam), ma h = 27.

Podobnie z czasopismami. Bierzemy wszystkie artykuły w danym piśmie, liczymy wszystkie ich cytowania w ciągu dwóch lat (uprośćmy to sobie) – i otrzymujemy średnią liczbę cytowań. Znowu musimy ustalić bazę danych (wybiera się bazę bardziej restrykcyjną niż w Hirschu, ale to tylko kwestia techniczna). Powstaje Impact Factor. Znowu świetnie porównuje czasopisma w obrębie dziedziny. Dla „Journal of Affective Disorders” wynosi on 3,9, „Psychiatria Polska” ma 1,19. Najlepsze czasopisma medyczne mają IF bardzo wysokie, np. „Lancet” 60,4. Natomiast najlepsze czasopisma paleontologiczne mają IF znacznie niższe, np. „Cretaceous Research” dorównuje wynikiem… „Psychiatrii Polskiej”. Prócz tego mamy całą masę czasopism w ogóle nieuwzględnionych w tej klasyfikacji (nieimpaktowanych). Mają znaczenie w krajowej czy regionalnej nauce, natomiast w świecie kompletnie się nie liczą.

Jak to się przekłada na działania ministerstwa? Poprzednie, aktualizowane co jakiś czas listy przypisywały czasopismom punkty mniej więcej zgodnie z tym, jak IF danego tytułu ma się do największych IF w danej dziedzinie. Jeśli „Lancet” ma więcej punktów niż „Journal of Affective Disorders”, ta zaś więcej niż „Psychiatria Polska”, ta z kolei jeszcze więcej niż nieimpaktowana „Psychiatria i Psychologia Kliniczna”, to można sumować punkty za publikacje i w ten sposób oceniać naukowców. „Cretaceous Research” powinno dostać o wiele więcej punktów niż „Psychiatria Polska”. Obecna lista dużo punktów przypisuje jednak pismom nieimpaktowanym, na obrzeżach nauki, za to blisko związanych z alma mater ministra.

Polska nauka nie cieszy się uznaniem w świecie. W oficjalnych statystykach sytuuje się nisko. Wprowadzanie i nagradzanie pieniędzmi osiągnięć w alternatywnych, opierających się na innych kryteriach, jeszcze sprawę pogorszy. Możemy stwierdzić, że w sporcie od dziś liczy się głównie football, sumo czy krykiet, możemy przeznaczyć na nie pieniądze. Ale świat i polscy niezależni od władzy komentatorzy w dalszym ciągu będą oceniać wyniki w olimpiadach czy mistrzostwach. Świat oceni polską naukę według IF, h, liczby cytowań. Nikogo nasza lista nie obchodzi. Prócz polskich naukowców, którzy będą oceniani przez środowisko za publikacje w obiektywnie dobrych pismach, a opłacani za prace w obiektywnie słabych, ale lubianych przez ministerstwo. Doba ma 24 godziny. Stawianie ich przed wyborem: albo pracujecie porządnie, albo dostajecie pieniądze, źle się skończy.

Marcin Nowak

Ilustracja: Ślimak nagi. Nie dość, że powolny, to jeszcze nie ma się gdzie schować. Zdjęcie wykonane przez autora.