Reklama
Polityka_blog_top_bill_desktop
Polityka_blog_top_bill_mobile_Adslot1
Polityka_blog_top_bill_mobile_Adslot2
niedowiary - blog (szalonych) naukowców niedowiary - blog (szalonych) naukowców niedowiary - blog (szalonych) naukowców

7.05.2012
poniedziałek

Ryzykowne rzeczy

7 maja 2012, poniedziałek,

Jest ryzykowny seks, ryzykowne picie, ryzykowne jeżdżenie samochodem, istnieje też ryzykowne publikowanie. Uprawiane jest przez informatyków.

W powyższych terminach „ryzykowny” jest przymiotnikiem odnoszącym się do zwykłego sposobu realizowania jakiejś potrzeby. Potrzebą naukowców jest publikowanie swoich wyników pracy (publish or perish). Z różnych powodów informatycy mają zwyczaj publikować w ryzykowny sposób, który negatywnie odbija się na ich postrzeganiu przez różne statystyczne mierniki produktywności naukowej.

Jest otóż tradycją, że w informatyce bardzo wysoko ceni się publikacje konferencyjne. W efekcie prestiż spływający na badacza z tytułu przyjęcia jego pracy na którąś z najlepszych konferencji jest większy niż z publikacji w nawet doskonałych czasopismach. Są takie konferencje, które z powodu swojej renomy zasilane są rokrocznie zgłoszeniami najlepszych prac z dziedziny po czym przyjmują poniżej 20% spośród nich, czyli jedną na ponad 5.

Z powodu typowych dla konferencji ograniczeń w objętości prace są często skróconymi doniesieniami, brak w nich pełnych dowodów w przypadku prac teoretycznych o charakterze matematycznym albo wszystkich szczegółów technicznych w razie prac bardziej inżynierskich. Z tego powodu powszechnie akceptowaną praktyką jest późniejsza publikacja pełnych, dużo dłuższych wersji w czasopismach, często pod tym samym tytułem. Dzieje się to bez pośpiechu, bo kwestia pierwszeństwa została wszak już zaklepana publikacją konferencyjną. Recenzenci też o tym wiedzą i nierzadko na odpwiedź z czasopisma czeka się rok i więcej, a sama publikacja następuje nawet po dwóch latach. Całkiem często jednak autorzy w ogóle rezygnują z publikacji w czasopiśmie, uznając prestiżową konferencję za absolutnie wystarczajacą.

Otóż te właśnie praktyki czynią publikowanie ryzykownym.

Przeanalizujmy dwa typowe wskaźniki statystyczne, służące do oceny publikacji i wpływ praktyk publikacyjnych informatyków na ich wartość.

Pierwszy to impact factor (IF), przysługujący czasopismom. Generalnie im wyższy IF, tym czasopismo uważa się za lepsze. Oblicza się go jako średnią liczbę cytowań jednego artykułu z danego czasopisma ukazujących się w tym i innych czasopismach w ciągu 2 lat od daty publikacji samego artykułu.

Drugi to indeks Hirscha (albo H-indeks), przysługujący z kolei indywidualnemu badaczowi: jest to największa możliwa liczba h taka, że ów badacz ma co najmniej h prac z co najmniej h cytowaniami każda.

Teraz wskażę, że zwyczaje publikacyjne informatyków szkodzą IF czasopism z ich dziedziny i wartościom indeksu Hirscha samych informatyków.

IF czasopism informatycznych cierpi na tym, że ukazują się w nich często prace już wcześniej znane z konferencji, na temat których dyskusja już się w zasadzie odbyła i cytowano wówczas wersję konferencyjną. Sprawa jest jakby trochę zamknięta, cytowań w wielu wypadkach będzie mniej. Może w międzyczasie na kolejnych konferencjach ukazały się prace ulepszające te wyniki (w końcu praca w recenzjach i kolejce do druku może spędzić niemało czasu). Czasami wygląda to wręcz tak, że praca w czasopiśmie ukazuje się po innych pracach, które mogłyby ją cytować. Albo z kolei zostaje zacytowana bardzo szybko na konferencjach (czego IF nie zauważa), po czym artykuły cytujące wychodzą w czasopismach z takim opóźnieniem, że limit 2 lat zostaje przekroczony i znowu IF je ignoruje.

Z kolei indeks Hirscha, nawet jeśli uwzględnia publikacje konferencyjne, to jednak jest obojętny na to, że cytowania wersji konferencyjnej i tej z czasopisma wypadałoby dodawać do siebie. Informatyk ma zatem często dwie wersje jednej pracy, każdą z jakimś fragmentem globalnej liczby cytowań, zamiast jeden z ich sumą.

Ciekawe, co przeważy: czy tradycja środowiskowa, każąca publikować ryzykownie, czy presja formalna, która wyraża się na przykład w rozporządzeniu Ministra NiSW, zgodnie z którym przy ocenie wniosku habilitacyjnego należy uwzględniać między innymi

3) sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania;

i

5) indeks Hirscha opublikowanych publikacji według bazy Web of Science (WoS);

Jerzy Tyszkiewicz

Fot. tj.blackwell, Flickr (CC BY-NC 2.0)

Reklama
Polityka_blog_bottom_rec_mobile
Reklama
Polityka_blog_bottom_rec_desktop

Komentarze: 11

Dodaj komentarz »
  1. Ale czy nie jest przypadkiem tak, że ani IR, ani H, nie porównuje się interdyscyplinarnie, właśnie dlatego, że np. fizycy „publikują i cytują” w inny sposób niż informatycy? O ile pamiętam, bardzo wysokie IF mają czasopisma medyczne (biomedyczne?), ale nie dlatego, że publikujący tam ludzie są genialni, ale dlatego, że tamtym poletkiem rządzą inne prawidła.

  2. „Ciekawe, co przeważy: czy tradycja środowiskowa, każąca publikować ryzykownie, czy presja formalna, która wyraża się na przykład w rozporządzeniu Ministra NiSW, zgodnie z którym przy ocenie wniosku habilitacyjnego należy uwzględniać między innymi”

    Przewazy rozwiazanie numer 3: „open publishing”. Publikowanie bez 3 oczekiwania na wersje drukowana, i bez 30 dolarow za artykul ktory sciaga wydawca od chetnego aby ten artykul pzreczytac, o ile ow chetny nie ma akurat dostepu do bibliotekiktora czasopismo abonuje.

    Wiecej informacji na stronei Krzystofa Apta w CWI (Centrum matematyczne) w Amsterdamie

    http://homepages.cwi.nl/~apt/click.html

    Tamze linki do innych zrodel.

    Wszelkiego rodzaju „indeksy” powinny powedrowac tam gdzie ich miejsce: do smietnika historii. To czysty wyrob czystej biurokracji.

  3. @A.L.

    Też jestem za otwartym publikowaniem, ale to chyba nie jest remedium na H i IF, bo sprawy są z różnych światów.

    Te indeksy zapewniają mniej więcej to samo co przetargi publiczne mają gwarantować w zakresie kupowania sprzętu: że wszystko będzie idealnie transparentne, bez śladu osobistej oceny czy jakiejś preferencji.

    Właśnie dlatego są IF i H są czysto statystyczne i oderwane od oceny realnej wartości dorobku naukowego. Bo ten mogliby ocenić tylko recenzenci, a to by przekreślało transparentność.

  4. Reklama
    Polityka_blog_komentarze_rec_mobile
    Polityka_blog_komentarze_rec_desktop
  5. J.Ty. „Właśnie dlatego są IF i H są czysto statystyczne i oderwane od oceny realnej wartości dorobku naukowego”

    Dlatego sa na grzyba potrzebne. Te indeksy to to samo jakby oceniac jakosc lieteratury badajac statystyczny rozklad liter w powiesci. Na ogol srodowisko WIE kto publikuje praca porzadne a kto nie.

    Gorzej gdy administracja uzrywa owego „rozkladu statystycznego liter” do podejmowania decyzji, w tym dotyczacych awansow na przyklad.

  6. @A.L.

    Zgadzam się, że te indeksy są na grzyba potrzebne. Tylko co z tego, skoro to nie ja o tym decyduję?

    Podobnie jest właśnie z przetargami publicznymi. Ich efektem jest to, że kupuje się trudniej, drożej i gorszy sprzęt. Ale za to jest przejrzyście, a to jest to kryterium, które zdaniem prawodawców jest ponad wszystkimi innymi.

    Z indeksami jest analogicznie. Jest gorzej, bezsensowniej i głupiej, ale za to również przejrzyście.

    Zresztą i tak nie jest najgorzej, jeśli w konkursach na stanowiska na uczelni używa się indeksów jako kryterium. Wzorem przetargów można by w nich przecież używać ceny jako głównego kryterium. Na przykład profesorem nadzwyczajnym zostawałby ten kandydat, który spełnia wymagania formalne (habilitacja) i ma najniższe wymagania finansowe spośród wszystkich stających do konkursu. To by dopiero było przejrzyście!

  7. Zważywszy, ile przewija się komentarzy po kolejnych fazach przyznawania grantów przez odpowiednie komisje, to ta przejrzystość nie jest chyba takim zupełnie nieznaczącym elementem.

  8. IF to pewien wskaznik dotyczacy czasopisma. Wskaźniki to rzecz względna, nie można ich porównywać IF czasopism z rożnych dziedzin czy nawet szerokich specjalności.
    Dobry artykuł na temat, opublikowany przez Forum Akademickie w dwóch częściach (odnośniki poniżej) napisał jakiś czas temu prof. Karol Życzkowski,
    http://forumakademickie.pl/fa/2011/10/ile-wazy-jedno-cytowanie/
    http://forumakademickie.pl/fa/2011/11/ile-wazy-jedno-cytowanie/
    Polecam szczególnie sekcje pod tytułem: „Jak nie należy stosować wskaźnika impact factor?”
    Morał mniej więcej taki:
    ryzykownym zachowaniem jest wdrażana przez Ministerstwo praktyka oceniania wyników pracy naukowca na podstawie jednego wskaźnika przeznaczonego do zupełnie innego celu…

  9. @AL
    W mojej dyscyplinie szeroko rozwija się taka hybryda open publishing: open access z jawnym procesem recenzji.
    Model zaproponował kiedys Paul Crutzen, a działa to tak:
    http://www.atmospheric-chemistry-and-physics.net/review/review_process_and_interactive_public_discussion.html
    W skrócie: błyskawiczna publikacja pierwszej wersji tekstu (jeśli spełnia podstawowe kryteria – tu redaktor ma swoje słowo i prawo odrzucenia tekstu na wejściu), treści recenzji recenzentów nominowanych przez edytora oraz wszystkich chętnych jawne w sieci, jawne odpowiedzi autorow, poprawiona wersja tekstu, decyzja redaktora i ostateczna publikacja juz peer reviewed paper w sieci.

  10. @ryzyk-fizyk

    Przeczytałem o tej procedurze w ACP. Ciekawa. Zastanawiam się teraz, co się dzieje z pracami, które zostaną złożone, przejdą publiczną dyskusję i ostatecznie zostaną odrzucone, czyli nie powstanie ich wersja po peer review.

    I co dalej? W normalnych warunkach taka praca mogłaby zostać wysłana przez autorów do słabszego czasopisma i zostać zaakceptowana, ale tym razem jej wersja wstępna już jest dostępna w archiwum ACP, co może się nie podobać wydawcom tego drugiego pisma.
    Jak to działą w praktyce?

  11. Heh, sam miałem kiedyś taki przypadek, a wiem ze się zdarza całkiem często bo jestem associate editor jednego z pism publikujących w tej formule.
    Discussion paper tratowany jest jak conference proceedings i można go wysłać gdzie indziej. Prawa autorskie zostają przy autorze, autor tylko udziela licencji na publikację.
    Politykę EGU w sprawie takich publikacji opisano tutaj:
    http://www.egu.eu/statements/position-statement-on-the-status-of-discussion-papers-published-in-egu-interactive-open-access-journals-4-july-2010.html

  12. Jeszcze3 inaczej – taki papier trochę przypomina to co w http://arxiv.org/

css.php