Błędne koło grantów
Wkład intelektualny niekoniecznie decyduje o przyznaniu grantu.
Mam właśnie do oceny kilka propozycji grantów. Równocześnie piszę dwie własne. Nie mogę narzekać, bo zdaję sobie sprawę z tego, że docelowe granty to najlepszy sposób sponsorowania nauki. Ale nasuwa mi się myśl, że znajduję się w jakimś zaklętym kole, ponieważ łapię się na tym, że oceniam to, co wymyślają inni głównie pod kątem własnych pomysłów.
System, w którym jedni naukowcy oceniają wagę pomysłów innych jest zdecydowanie najlepszym sposobem rozdzielania pieniędzy. Najważniejsze są dwa warunki: by osoba oceniająca projekt znała się na rzeczy i nie miała interesu w stronniczej ocenie.
Kto inny niż „peer” może lepiej ocenić wartość pomysłu badawczego? Problem jednak w tym, że wszyscy podążamy koleinami własnych doświadczeń. Wykazujemy więc naturalne tendencje do negatywnej oceny czegoś, co nie jest zgodne z naszym tokiem myślenia. Pozytywny stosunek mamy zaś do pomysłów, które są zbliżone do naszych. Umiejętność bezstronnej oceny zależy właśnie od ochoty i zdolności do oderwania się od naszych własnych przyzwyczajeń i kolein myślowych. A to cecha dość rzadka.
Oczywiście obiektywizm całości procesu oceny gwarantować ma fakt, że recenzentów jest dwóch lub trzech. Ale nawet zwielokrotnienie ocen obarczone jest pewnym skrzywieniem. Otóż jednym z kryteriów oceny projektu badawczego jest umiejętność zastosowania przez kandydata nowych metod badawczych. Wiadomo, nowymi, bardziej wyrafinowanymi metodami można badać to, czego nie udawało się odkryć wcześniej przy pomocy dawnych technik. Taka jest logika nauki i dlatego nowoczesne metody badawcze będą zawsze faworyzowane w procesie oceny grantów.
Ale przykładowo w dzisiejszej biologii jest bardzo ograniczona liczba nowoczesnych trendów (RNAi, proteomia, genomika). Trudno wyobrazić sobie, aby dwóch, czy nawet trzech recenzentów nie uznało jak na komendę za bardzo dobrą propozycji grantu opartego na jednej z tych metod. A co dopiero, jeśli projekt zakłada użycie dwóch czy trzech i autor projektu wykazuje się rzeczywistymi możliwościami ich zastosowania – taki projekt do oceny mam właśnie przed sobą.
Jednym słowem, propozycje grantów należy pisać tak, by: 1) oparte były na ciekawych pomysłach, 2) trzymały się kupy i 3) miały być realizowane przy pomocy jak najbardziej nowoczesnych metod.
Kiedy już napisałem powyższe, ogarnął mnie pusty śmiech. Bo tak właśnie widzę moje dwie propozycje badań in statu nascendi. W moim mniemaniu mam ciekawy pomysł, staram się napisać projekt tak, żeby miał ręce i nogi i proponuję do przeprowadzenia doświadczeń użycia nowoczesnych metod. Sukces u recenzentów murowany? Niekoniecznie.
Dwa pierwsze punkty nie ulegają dyskusji – bez dobrego pomysłu i rzetelnego napisania projektu nie warto w ogóle o grant występować. Tylko obiektywnie ciekawe i dobrze napisane propozycje trafiają do szpicy, w której rozgrywa się rywalizacja. A więc tak naprawdę decydujący jest wyłącznie punkt trzeci – metody, które muszą być „trendy”.
Jeśli tak, to aby mój projekt został oceniony pozytywnie, a właściwie entuzjastycznie – bo tylko entuzjazm recenzenta zapewnia przyznanie grantu, – to musi jeszcze trafić do eksperta, który zna i ceni proponowane przeze mnie metody. W przeciwnym razie recenzent musi potrafić wyrwać się z kolein własnych doświadczeń.
Jednym słowem wybór nowoczesnych metod okazuje się najważniejszym czynnikiem w ocenie projektu badawczego. Drugim zaś jest lut szczęścia – trzeba trafić na odpowiedniego recenzenta. To zaś konkluzja – jeśli jest ona słuszna – dość deprymująca. Okazuje się bowiem, iż wkład intelektualny wcale nie musi być najważniejszym czynnikiem oceny decydującym o przyznaniu grantu.
Jacek Kubiak
Il. Helena Pryłowska
Komentarze
Jak dlugo cudze pomysly nie podobaja sie tak bardzo, ze staja sie wlasnymi pomyslami opiniodawcy sytuacja nie jest zla. Ja raczej bylbym sklonny uwazac, ze recenzenci powinni nie tyle byc ekspertami w dziedzinie, ktorej dotyczy podanie o grant ale raczej specjalistami w dziedzinach pokrewnych ale nie rywalizujacych. Opiniowanie grantu to w zasadzie dochodzenie w sprawie obywatela poza wszelkimi podejrzeniami. Mamy bowiem na ogol do czynienia z petentem, ktory osiagnal juz pewien stopien rozwoju naukowego, poparty pewna liczba publikacji wczesniejszych a odnoszacych sie czesciowo do zagadnienia o ktorym mowa w propozycji badawczej. Jesli propozycja jest istotnie nowa, prezentacja przekonywujaca a historia poprzednich wysilkow badacza nie nasuwa podejrzen to ocena takze nie nasuwa watpliwosci.
Jak się ocenia pomysły innych tylko przez pryzmat własnych to trzeba po prostu zrezygnować z oceniania, gdyż nie jest sie obiektywnym i nie można uczciwie podpisać formułki na dole arkusza oceny.
Pozdro
Lordjohn
W biologii i tak macie dużo, dużo łatwiej niż w naukach społecznych. U nas jest wielość paradygmatów (typowo wyróżnia się około czterech), oraz sprzeczne filozofie metod badawczych (podstawowy konflikt między ilościowymi i jakościowymi). Nawet najlepszy projekt jakościowy w Polsce szanse u recenzenta ilościowca ma niewielkie.
@ lordjohn:
Nie zrozumielismy sie. Chodzi mi o tok myslowy, a nie o sam pomysl jako taki.
Konkluzja Autora, „iż wkład intelektualny wcale nie musi być najważniejszym czynnikiem oceny decydującym o przyznaniu grantu” jest co najmniej deprymująca, ale niestety prawdziwa. Przekonałem się o tym dwukrotnie. Za każdym razem negatywną ocenę wystawiała mi ta sama osoba (dwie pozostałe oceny były jak najbardziej pozytywne). W końcu odkryłem któż to taki. Był to oczywiście profesor zwyczajny, pracujący w dziedzinie dość odległej, który w ciągu ostatnich 40 lat nie opublikował żadnej pracy nawet w dalekim przybliżeniu tematycznie związanej z tematyką grantu. Za każdym razem recenzja była krótka i sprowadzała się do stwierdzenia, że w dziedzinie, której dotyczył projekt, wszystko zrobiono już 50 lat temu. Pan ten niestety nie zadał sobie trudu przejrzenia bieżących publikacji, bo i po co, skoro on i tak wie najlepiej. Zresztą wiedząc kim jest recenzent, mogę śmiało powiedzieć, że niewiele by z tych publikacji zrozumiał, włączając w to ich tytuły (rzecz dotyczy matematyki). Pozostają dwa pytania: dlaczego osoba niekompetentna podejmuje się recenzowania projektu i dlaczego wybrano niekompetentnego recenzenta?
Drogi Abelu,
Bądź realistą. Wedle moje pamięci za recenzję grantu płacą sto kilkadziesiąt złotych, tylko nieznacznie więcej niż za za 45 minut rutynowego wykładu w mojej, zbliżonej do Twojej, specjalności. Jak możesz oczekiwać, by za tę śmieszną kwotę tytularny profesor czytał literaturę spoza swojej wąskiej specjalności? Wysokość honorarium wyraźnie wskazuje, że nie oczekuje się od niego nic więcej, jak tylko przeczytania wniosku i zapisania na formularzu pierwszego wrażenia, bez żadnych głębszych badań bądź rozmyślań. Okrutna prawda jest taka, że jakość recenzji jest wyznaczona przez nakłady na nią przeznaczone, a te wystarczają tylko na garść ogólników.
@ Abel :
Oczywiscie tak bywa, ale to nie musi byc regula. Znam kogos, kto mowi, ze NIGDY nie wydaje opinii pozytywnej o ocenianych grantach. I oczywiscie najlatwiej tak robic w dziedzinie, o ktorej ma sie malo pojecia. Dlatego powazne instytyucje nie podejmuja decyzji wylacznie w oparciu o recenzeje (!?). Jesli koordynator jest czlowiekiem rozumnym i wie co robi, to potrafi sam ocenic jakosc i wage recenzji. To tez oczywiscie furtka do przekretow, ale o wiele rzadziej uzywana.
@ J.Ty. :
We Francji 90 proc. ocen grantow robi sie za darmo. Chyba tylko regionalne granty placa za ocene. Bo wydaja pieniadze wspolne czyli niczyje. 😉
@ jk :
„Za darmo” to pewnie lepsza idea niż „za parę groszy”. Jak coś jest wycenione to wręcz odruchowo używamy tej ceny do porównań i wychodzi, że sprawa jest mało ważna i poważna. Z kolei jak coś się robi za darmo, jako wkład w dobro publiczne, to sytuuje tę czynność na innym poziomie. Z takich motywacji rośnie oprogramowanie open source, Wikipedia, WOŚP i wiele innych.
Ponadto dowcip za dowcip: dawo, dawno temu było sobie polskie czasopismo naukowe (zresztą istnieje nadal i ma się nieźle, tylko wydawane jest już za granicą), które płaciło za recenzje składanych do niego artykułów. Trik polegał na tym, że płacono recenzentowi tylko wtedy, gdy praca zostawała przyjęta…
@ J.Ty. :
A to piekne z tym placeniem za przyjecie pracy.
Ale skoro opowiadamy prawdziwe dowcipy, to:
Niektore brytyjskie czasopisma (np. J. Cell Sci) tez placa niewielkie sumy za recenzje. Tym razem trik polega na tym, ze sumy te sa tak niewielkie, ze za zrealizowanie czeku we Francji musialbym do transakcji doplacic. 😆
Kto ma lepszy dowcip? 🙂
Ze smutkiem przeczytalem uwage J.Ty. ze za recenzje grantu placa malo.
Dla mnie skandalem jest, ze w ogole placa. W naukach, ktore reprezentuje, za recenzje czy artykulow, do wodacyc czasopism, czy grantow (do NSF i DOE w USA, NERC w Wielkiej Brytanii czy kilku innych powaznych instytucji dla ktorych takie recenzje pisuje) za RECENZJE nie placi sie NIC. Jest to traktowane jako „service to community” – sluzba na rzecz spolecznosci naukowej.
Gdy czyje sie niekompetentny, moze zaistniec konflikt interesow mam obowiazek odmowic recenzji. Gdy nie mam czasu zy z innych powodow nie moge – mam prawo odmowic. Odmawiajac regularnie, czy piszac recenzje nierzetelnie – zabagniam sobie kartoteke.
Mam jeszcze w zanadrzu anegdotkę naukową o czekach i ich realizacji.
Rzecz dotyczy nieżyjącego już, bardzo wybitnego matematyka Paula Erdosa (nad `o’ powinien być węgierski umlaut, bo Erdos był Węgrem). Był on znany z fundowania nagród finansowych za rozwiązanie proponownych przez siebie problemów. Wysokość nagrody była ogłaszana razem z problemem i zależała od tego, jak Erdos oceniał trudność pytani i swoje nim zainteresowanie. Ponoć wiele z wystawianych jako nagroda czeków nigdy nie było realizowanych, bo czek z podpisem miał dla zainteresowanych dużo większą wartość, niż kwots, na jaką opiewał.