Recenzje jak demokracja

13 stycznia 2009
Blog szalonych naukowców


„Peer reviewing” jest jak demokracja: to system ułomny, ale dotąd nie wynaleziono lepszego.

Edwin Bendyk w Makroskopie opisał bardzo celne i ważne obserwacje nt. systemu recenzji artykułów naukowych „peer review”. Przyłączam się do jego opinii i sądzę, że również w „Niedowiarach” warto o tym trochę podyskutować.


Każdy, kto choć raz opublikował artykuł naukowy zapewne spotkał się z krytyką kolegów po fachu. Pierwsza recenzja wzbudza w młodych naukowcach (zwykle tuż po magisterium lub w trakcie doktoratu) wiele emocji. Najczęściej negatywnych. Recenzje ekspertów z dobrych czasopism są bowiem bezwzględnie chłodne (piszę tu wyłącznie o publikacja z dziedzin nauk ścisłych i przydoniczych, humanistyka rządzi się zupełnie innymi prawami). Czym bardziej cenione czasopismo (wyższy „impact factor”), tym zimniejszy przysznic sprawiają autorom jego recenzenci.

Jest kilka podstawowych typów recenzentów. Na własny użytek wyróżniam takich, którzy: 1) nigdy niczego nie chwalą i odrzucają każdą pracę, uzasadniając dokładnie powody jej odrzucenia – na zasadzie: „ja wiem najlepiej”, 2) odrzucają pracę, bo im się „nie podoba” – „lenie negatywni”, 3) są powściągliwi i nieufni, szukają dziury w całym i odrzucają zawsze pierwszą wersję manuskryptu, ale są przychylni dla wersji poprawionej zgodnie z ich zaleceniami – „recenzenci idealni”, 4) nie mają czasu lub ochoty dobrze przeczytać i przeanalizować manuskrytu i akceptują wszystko jak leci, wyszukując tylko kilka błachych zaleceń do poprawki – „lenie pozytywni”. Jednym słowem recenzent jak zwykły człowiek – jeden ma więcej zalet, inny wad.

System recenzji jest oczywiście niedoskonały. Jest jednak kilka dość skutecznych zabezpieczeń przed stronniczą lub z gruntu niesprawiedliwą recenzją. Coraz częściej, a dobre czasopisma robią to zawsze, prace wysyłane są do trzech recenzentów. Zgodna opinia trzech niezależnych osób powinna teoretycznie być obiektywna. Jeśli recenzje są sprzeczne, ostatnie słowo należy do edytora. Najlepsze czasopisma chcą jednak, by wszyscy trzej recenzenci zgodzili się na publikację danej pracy i to najlepiej z entuzjazmem. A to jest zwykle bardzo trudne do osiągnięcia.

Najważniesze, że istnieje zwykle kilka równocennych czasopism. Jeśli praca odrzucona zostaje przez kolejne trzy czasopisma o podobnym „impact factor”, to zwykle są do tego realnie poważne przesłanki. Oczywiście, nie można mieć nigdy pewności, czy każde z tych czasopism nie wysłało pracy do tych samych recenzentów.

Jak widać z liczby publikacji fałszowanych i następnie wycofywanych z najlepszych czasopism („Nature”, „Science”) i przez takie sito nieuczciwy autor może się przedrzeć. Dlatego, co słusznie zauważa Edwin Bendyk, najważniejszym kryterium prawdziwości wyników naukowych jest ich powtarzalność przez innych naukowców.

Ale i niepowtarzalność wyników przez inne laboratoria też nie musi być kryterium jednoznacznym. W każdej chyba dziedzinie są laboratoria posiadające zupełnie unikalną aparaturę i metody. Ich prace mogą być weryfikowane tylko po dłuższym czasie, kiedy inne ośrodki osiągną ten sam poziom technologiczny. Stąd przemyślnym oszustom udaje się od czasu do czasu podszyć pod takie właśnie kryteria. Jednak i ich oszustwta wcześniej czy później wyjdą na jaw, choć mogą zapsuć karierę wielu innych, uczciwych naukowców, którzy nie mogą dobić się z publikacją swoich negatywnych (w stosunku do oszustów) wyników.

Publikacja w dobrych czasopismach jest więc drogą przez mękę i swego rodzaju grą. Czym mniej w niej gry pozorów, tym lepiej dla nauki i samych naukowców. Dlatego przypomina to tak bardzo demokrację. Ona też sprowadza się często do gry. W demokracji również oszustwo i kłamstwa polityków wcześniej czy później wychodzą na jaw. I tak samo jak w nauce zawsze znajdą się tacy, którzy bronić będą największej bzdury i największego przekrętu.

Jacek Kubiak

Ilustracja: Unka Odya