Reklama
Polityka_blog_top_bill_desktop
Polityka_blog_top_bill_mobile_Adslot1
Polityka_blog_top_bill_mobile_Adslot2
niedowiary - blog (szalonych) naukowców niedowiary - blog (szalonych) naukowców niedowiary - blog (szalonych) naukowców

13.01.2009
wtorek

Recenzje jak demokracja

13 stycznia 2009, wtorek,


„Peer reviewing” jest jak demokracja: to system ułomny, ale dotąd nie wynaleziono lepszego.

Edwin Bendyk w Makroskopie opisał bardzo celne i ważne obserwacje nt. systemu recenzji artykułów naukowych „peer review”. Przyłączam się do jego opinii i sądzę, że również w „Niedowiarach” warto o tym trochę podyskutować.


Każdy, kto choć raz opublikował artykuł naukowy zapewne spotkał się z krytyką kolegów po fachu. Pierwsza recenzja wzbudza w młodych naukowcach (zwykle tuż po magisterium lub w trakcie doktoratu) wiele emocji. Najczęściej negatywnych. Recenzje ekspertów z dobrych czasopism są bowiem bezwzględnie chłodne (piszę tu wyłącznie o publikacja z dziedzin nauk ścisłych i przydoniczych, humanistyka rządzi się zupełnie innymi prawami). Czym bardziej cenione czasopismo (wyższy „impact factor”), tym zimniejszy przysznic sprawiają autorom jego recenzenci.

Jest kilka podstawowych typów recenzentów. Na własny użytek wyróżniam takich, którzy: 1) nigdy niczego nie chwalą i odrzucają każdą pracę, uzasadniając dokładnie powody jej odrzucenia – na zasadzie: „ja wiem najlepiej”, 2) odrzucają pracę, bo im się „nie podoba” – „lenie negatywni”, 3) są powściągliwi i nieufni, szukają dziury w całym i odrzucają zawsze pierwszą wersję manuskryptu, ale są przychylni dla wersji poprawionej zgodnie z ich zaleceniami – „recenzenci idealni”, 4) nie mają czasu lub ochoty dobrze przeczytać i przeanalizować manuskrytu i akceptują wszystko jak leci, wyszukując tylko kilka błachych zaleceń do poprawki – „lenie pozytywni”. Jednym słowem recenzent jak zwykły człowiek – jeden ma więcej zalet, inny wad.

System recenzji jest oczywiście niedoskonały. Jest jednak kilka dość skutecznych zabezpieczeń przed stronniczą lub z gruntu niesprawiedliwą recenzją. Coraz częściej, a dobre czasopisma robią to zawsze, prace wysyłane są do trzech recenzentów. Zgodna opinia trzech niezależnych osób powinna teoretycznie być obiektywna. Jeśli recenzje są sprzeczne, ostatnie słowo należy do edytora. Najlepsze czasopisma chcą jednak, by wszyscy trzej recenzenci zgodzili się na publikację danej pracy i to najlepiej z entuzjazmem. A to jest zwykle bardzo trudne do osiągnięcia.

Najważniesze, że istnieje zwykle kilka równocennych czasopism. Jeśli praca odrzucona zostaje przez kolejne trzy czasopisma o podobnym „impact factor”, to zwykle są do tego realnie poważne przesłanki. Oczywiście, nie można mieć nigdy pewności, czy każde z tych czasopism nie wysłało pracy do tych samych recenzentów.

Jak widać z liczby publikacji fałszowanych i następnie wycofywanych z najlepszych czasopism („Nature”, „Science”) i przez takie sito nieuczciwy autor może się przedrzeć. Dlatego, co słusznie zauważa Edwin Bendyk, najważniejszym kryterium prawdziwości wyników naukowych jest ich powtarzalność przez innych naukowców.

Ale i niepowtarzalność wyników przez inne laboratoria też nie musi być kryterium jednoznacznym. W każdej chyba dziedzinie są laboratoria posiadające zupełnie unikalną aparaturę i metody. Ich prace mogą być weryfikowane tylko po dłuższym czasie, kiedy inne ośrodki osiągną ten sam poziom technologiczny. Stąd przemyślnym oszustom udaje się od czasu do czasu podszyć pod takie właśnie kryteria. Jednak i ich oszustwta wcześniej czy później wyjdą na jaw, choć mogą zapsuć karierę wielu innych, uczciwych naukowców, którzy nie mogą dobić się z publikacją swoich negatywnych (w stosunku do oszustów) wyników.

Publikacja w dobrych czasopismach jest więc drogą przez mękę i swego rodzaju grą. Czym mniej w niej gry pozorów, tym lepiej dla nauki i samych naukowców. Dlatego przypomina to tak bardzo demokrację. Ona też sprowadza się często do gry. W demokracji również oszustwo i kłamstwa polityków wcześniej czy później wychodzą na jaw. I tak samo jak w nauce zawsze znajdą się tacy, którzy bronić będą największej bzdury i największego przekrętu.

Jacek Kubiak

Ilustracja: Unka Odya


Reklama
Polityka_blog_bottom_rec_mobile
Reklama
Polityka_blog_bottom_rec_desktop

Komentarze: 14

Dodaj komentarz »
  1. Skoro sami sobie (tzn. ludzie ludziom) wymierzamy sprawiedliwosc, to tym bardziej nic nam innego nie pozostaje, jak zyc z peer review i psioczyc na nas samych.

    Patrzac od strony proceduralnej, to zawsze mozna urozmaicic proces i pojsc droga rewolucyjna, wprowadzajac ludowy sposob recenzji publikacji naukowych: obok specjalistow, w gremiach opiniujacych zasiadac bedzie rowniez czynnik spoleczny. W ten sposob zdyscyplinuje sie recenzentow naukowych, poddajac ich zdrowej kontroli zdroworozsadkowego ludu, dla ktorego liczyc sie bedzie nie tylko naukowe mambo-jumbo, ale rowniez kontekst spoleczny, sytuacja rodzinna, wiek, status malzenski, upodobania seksualne, wyznanie, posiadany majatek, itp.

  2. czynnik spoleczny czyli pan miecio spod piątki czy coś źle zrozumialam? statystyczny czlowiek zbyt inteligentny nie jest. ciężko jest to sobie wyobrazić, bo jako ludzie po studiach (albo nawet bez, ale zakladam, ze wsrod czytelnikow bloga nie ma nikogo po podstawowce) wsrod swoich znajomych nie mamy za dużo „statystycznych ludzi”. i wolalabym, aby tacy sie nie wtrącali.

  3. @ Jacobsky :

    Zeby bylo smiesznie, to ci powiem, ze trafiles w 10. We Francji w ocenie naukowcow bierze udzial taki czynnik spoleczny! Zwiazki zawodowe. W komisjach CNRSu przeprowdzajacych konkursy na etaty naukowe, ale takze opiniujace awanse sa przedstawiciele zwiazkow zadodowych. I nie stanowia oni 5 czy 6 proc. komisji, tylko ze 40-50 proc. Oczywiscie nie jest to taki ‚czysty’ czynnik spoleczny, bo ci ludzie tez sa wybierani (przez wszystkich naukowcow z CNRSu) sposrod innych naukowcow. Mnie np. ocenia m. in. zwiazkowiec z CGT. 😆

  4. Reklama
    Polityka_blog_komentarze_rec_mobile
    Polityka_blog_komentarze_rec_desktop
  5. unka,

    czytaj miedzy liniami, prosze…

    jk,

    tylko pogratulowac ! Czy na zebraniach obowiazuja forma „Obywatelu” (Citoyen) ?

  6. @ Jacobsky :

    Nie, ale zdarzalo mi sie byc swiadkiem takich scenek kiedy przewodniczacy komisji zwracal sie do to przedstawiciela zwiazku pytajac z przekasem: A teraz dowiedzmy sie co o tym sadzi sila postepu (force de progres)? 😆

  7. Peer review w obecnej postaci (przed publikacja) nie jest koniecznoscia. W fizyce odchodzi sie od tego modelu a przechodzi na model w ktorym praca ukazuje sie bez recenzji a jej ocena nastepuje po publikacji w formie komentarzy (ktos juz pisal o tym tutaj wczesniej). Oparte to jest na modelu blogu. Jest wiele dobrych stron tego rozwiazania. Po pierwsze, recenzje moga sie ukazac w dowolnym czasie i ilosci. Praca moze wzbudzic dyskusje pomiedzy czytelnikami itd. Wlasciwie same plusy.

    Istnienie przed-publikacyjnego peer review nie dziala jako filter jakosci poniewaz slabe prace i tak sie ukazuja w czasopismach o nizszym impact factor. Recenzenci wiec nie tylko krytykuja prace ale rowniez je „wyceniaja” (czy taka a taka praca nadaje sie dla czasopisma o takim a takim impact factor-ze). Im dluzej sie w to bawie, tym bardziej mnie irytuje przedpublikacyjny peer-review. Zdazylo ze w wyniku opoznien spowodowanych czepianiem sie szczegolikow, ktos inny opublikowal cos przed nami.

    Publikacja nawet najbardziej dziadowskich prac tez jest pozytywna, zawsze cos ciekawego mozna znalezc w tych bublach. Jako minimum, autorzy oglaszaja poziom swojej naiwnosci, warto wiedziec kiedy poprosza o wspolprace.

    Wprowadzenie „po-publikacyjnego” peer review spowodowalo by zlamanie monopolu niezwykle wysoko-zyskowej dzialalnosci wydawnictw. Takze oni sie beda bronic, ale moim zdaniem ich dni sa policzone.

  8. @ jacek_placek :

    Rzeczywiscie, taki system jest jeszcze bardziej demokratyczny. Pisal w blogu o tym jakis czas temu Jerzy Kowalski-Glikman. Tylko jak wtedy ustrzec sie zalewu naukowej szmiry i komletnych bredni.

  9. A co ci to przeszkadza? W obecnym systemie, i tak jestesmy zalani tandeta. Ja mysle ze obecny peer review jest wrecz szkodliwy dla mlodych naukowcow. Oni czesto przyjmuja ze papier jest warty szczegolnej uwagi poniewaz zostal opublikowany w takim a takim czasopismie. A ja ciagle znajduje nudne bzdety w tych wlasnie czasopismach (oprocz naprawde dobrych papierow oczywiscie, wysoki impact factor z czegos sie tworzy)

    Czasopisma wysoko-impaktowe probuja podazac za roznymi trendami. Gdyby nie to ze ludzie ktorzy ze mna pracuja potrzebuja wysokie impakty do szukania pracy, to bym nie wysylal.

    Niektore wiadace grupy zaczely bojkotowac „wysoko-impaktorowce”. Zobacz co tutaj pisze na temat wojny o impakt faktor jeden z czolowych biologow komorki:

    http://www.sciencemag.org/cgi/content/full/321/5892/1039b

  10. Nie ma idelanego systemu oceny wartosci prac naukowych. Recenzje wstepne sa konieczne aby zatamowac potok bzdur, w ktorym zatonac moga prace wazkie. Pamietajmy, ze liczba publikacji jest jednym z decydujacych czynnikow przy ocenie dorobku naukowego. Niestety ilosc nie zawsze przechodzi w jakosc wbrew zasadom teorii marksistowskiej. Oczywiste bledy, ktore zostaly opublikowane sa potem poprawiane i pietnowane powiekszaja cytowalnosc blednych artykulow. Z drugiej strony sa bledy, na poprawianiu ktorych powstaja nowe doktoraty czy habilitacje. Bledy powazne popelniali najwybitniejsi uczeni. Zainteresowanym polecam ksiazke „Einstein’s Mistakes” Norton, NY 2008 napisana przez znanego fizyka H.C. Ohanian-a.
    Mysle wiec, ze recenzenci powinni pozostac. Ostateczna decyzja, w wypadku niemoznosci uzyskania aprobaty recenzentow, lezy w rekach redaktora naczelnego.
    Osobiscie uwazam, ze i tak progi przyjmowania artykulow sa zbyt niskie co prowadzi do bezuzytecznego zalewu informacja. Powoduje to tez powstawanie tytanow publikacyjnych, ktorzy posidaja dorobek liczacy wiele setek artykulow. Oczywiscie jest to wynik notorycznego dopisywania sie do publikacji napisanych i wypracowanych przez ich magistrantow, doktorantow i postdokow.

  11. Wydaje mi sie, ze zalew naukowych bubli jednak jest szkodliwy. Po pierwsze nie wydaje mi sie, zebysmy rzeczywiscie dysponowali mozliwoscia krytycznej analizy WSZYSTKIEGO, co sie opublikuje w wolnym obiegu, nawet wszystkiego w naszej uprawianej, dosc waskiej z reguly specjalnosci. PR jest konieczne, bo daje jakas tam rekojmie rzetelnosci publikowanego materialu, i im bardziej wysoko notowane jest pismo, tym mocniejsza rekojmia. Oczywiscie nie chroni to przez falszywkami czy fantazjami, ale przynajmniej wylapuje wiekszosc z nich.

    Po drugie: publikacje naukowe to rowniez material dydaktyczny. Studenci pisza raporty, analizy magisterki w oparciu i literature. Juz teraz widze, jakie spustoszenia robi internet w jakosc produkowanych raportow i jak gleboko, idac na skroty, studenci brna w bezkresna kraine bredni. Jednak tym razem sa to brednie z certyfikatem referencji ze zrodel istniejacych, ale bez procesu rewizyjnego. To doslownie koszmar.

    A mlodzi naukowcy ? Czy koniecznie musza zaczynac od publikacji w srednio notowanych czasopismach (o tych z najwyzszej polki nie wspomne) ? Istnieje cala seria niskonotowanych pism, od ktorych mozna zaczac jesli naprawde nie ma sie nic wielkiego do powiedzenia poza wynikami, ktore choc wazne i rzetelnie otrzymane, to jednak nic odkrywczego nie wnosza dla danej dziedziny.

  12. A ja lubie przebierac w smieciach i nie podoba mi sie kiedy ktos kto pozostaje anonimowy, decyduje o tym co jest smieciem a co nie. Czasami na smietniku mozna znalezc cos ciekawego.

    Dla przykladu, osobnik podpisujacy sie Bobola korzysta z wyjatkowej swobody wypowiedzi na tym blogu. Wydaje sie ze ojcowie blogowi doszli do wniosku ze otwartosc dyskusji jest wazniejsza niz ewentualne negatywne skutki pewnych wypowiedzi Boboli ktore pewnie nie spelniaja standardow nawet najbardziej lagodnego peer review. Na przyklad, wydaje sie ze Bobola niedawno sugerowal ze istnieje racjonalne wytlumaczenie dla ludobojstwa:

    http://naukowy.blog.polityka.pl/?p=251

    2009-01-06 o godz. 16:55

    Jednak, interpretacje i ocene wypowiedzi Boboli pozostawia sie tutaj czytelnikom.

    Nie zapominajmy ze w post-publication review, recenzje sie odbywaja, tylko ze calkowicie jawnie i z tym wieksza korzyscia dla publicznosci.

  13. Sadze, ze jacek_placek ma racje i przyszlosc publikacji naukowych jest w post-publication reviewingu. Tyle, ze to jest cholernie trudne do osiagniecia, bo mamy we krwi, ze musimy publikowac w najlepszych czasopismach. Chyba wiekszosc naukowcow to ‚kolekcjonerzy’ publikacji i trudno im bedzie zrezygnowac z ochoty na publikowanie w Nature czy Science. Trzeba jakiegos naukowego Bernarda Madoffa, ktory wstrzasnalby tym zastyglym systemem. W dobie komputerow i baz danych naprawde nietrudno odroznic dobre papiery od bezdennie zlych. Inna sprawa, ze pre-publication reviewing pozwala (teoretycznie) podniesc jakos prac. Tyle tylko, ze zwykle dopisujac to co chce reviewer w duszy sie z niego smieje, ze taka bzdura moze przepchnac moj papier. No, ale to robie, bo jednak jestem oportunista. 😆

  14. moze i macie racje. Czasem jednak wystawiajacy opinie nie tylko sugeruje, co dopisac, ale rowniez (czego wielokroc bylem swiadkiem) proponuje jak lepiej podeprzec wnioski lub jaki test dodac, zeby naprawde bylo cacy.

  15. Jacobsky,

    Po namysle, moze ty masz racje. Troche moze przesadzilem. Jezeli czytam czesto Polityke albo NYT to dlatego ze te zrodla maja reputacje. Szansa ze znajde w tych czasopismach cos ciekawego i dobrze napisanego jest duza.

    Na podobnej zasadzie czasopisma naukowe buduja swoja reputacje. Jest potrzeba dobrej marki, chocby w naukach medycznych.

    Byloby dobrze jednak aby czasopisma naukowe, nawet te z najbardziej rygorystycznym peer review, szeroko udostepnily swoje lamy dla otwartej dyskusji, tak aby publikacja to byl dopiero poczatek procesu recenzowania a nie jego koniec. Ciagle do nielicznych naleza czasopisma ktore umozliwiaja komentowanie online.

css.php