Polemika: Odwaga a nie kredyty!
Z zaciekawieniem przeczytałem wpis Jurka Tyszkiewicza o hipotece w nauce. Składam na jego ręce gratulacje za interesującą konstrukcję tekstu, który jest jak kryminał, w którym na końcu okazuje się, że zabił ten, kogo najmniej podejrzewano.
Chciałbym polemizować z koncepcją hipotek naukowych. Żadne kredyty nie są tu potrzebne, bo jak Mpn w swoim komentarzu słusznie zauważył, nikt by ich nie spłacał. Lekarstwo jest inne: podwójnie anonimowe recenzowanie (double blind-review). Polega ono nie tylko na usunięciu listy autorów z nagłówka pracy, ale także wszelkich innych informacji a zwłaszcza cytowań, które mogłyby autora zdradzić. Przy starannie przestrzeganej anonimowości autorów zgłoszonej pracy, nie ma znaczenia czy napisał ją doktorant czy prof. Penrose. Coraz więcej konferencji i czasopism informatycznych wprowadza taki właśnie sposób recenzowania.
Kłopot w tym, że te ustalenia nie zawsze są rygorystycznie przestrzegane. Teoretycznie, jeśli umieścisz coś co zdradza Twoją tożsamość, to praca jest automatycznie odrzucana. Do tego przydałoby się jeszcze ograniczenie auto-cytowań, które też zdradzają autorów.
Niestety nie wszystkie komitety programowe i redakcyjne stosują tę zasadę konsekwentnie. Parę razy zdarzyło mi się, że zidentyfikowałem niby tajnych autorów w oczywisty sposób (np. poprzez link do szczegółowych wyników eksperymentów na stronie domowej autora). I co na to komitet programowy/redakcyjny? Proszę napisać normalnie recenzję i zaznaczyć, że autor nie jest tajny. Skandal! W takiej sytuacji należy odrzucić pracę z wilczym biletem. Inaczej za jakiś czas znowu pojawi się pomysł na kredyty wiarygodności dla doktorantów.
Problemem też są bardzo wąskie środowiska zajmujące się bardzo wąskimi dziedzinami. W takim środowisku nie może być mowy o anonimowości, bo wszyscy się znają jak łyse kobyły. Tak jak w krajowych rozgrywkach ligowych czasem warto skorzystać z sędziów z zagranicy, tak i takie środowiska powinny zaprosić do recenzowania kolegów z pokrewnych dziedzin. Artykuły powinny być dla nich zrozumiałe.
Tu jeszcze kamyczek do naszego ogródka. Myślę też, że warto byśmy jako naukowcy mieli więcej odwagi cywilnej. Po prostu. Recenzujesz pracę znanej osoby? Pomyśl, że jest to doktorant i zastanów się, jak wtedy byś to ocenił. Czy na pewno warto publikować tylko dlatego że ostatni autor (tradycyjnie profesor kierujący badaniami) na wieloosobowej liście autorów ma niebotyczny indeks Hirscha? Niestety moje osobiste doświadczenia w tym względzie są negatywne. Zdarzyło mi się kilka razy napisać recenzję znacznie odbiegającą od pozostałych na niekorzyść autorów. Zawsze kończyło się to awanturą i brakiem zaproszenia do komitetu programowego konferencji w następnym roku. Non, rien de rien, Non, je ne regrette rien.
Krzysztof Stencel
Ilustracja: Ślepa sprawiedliwość, Salt Memorial, Lister Park, Bradford, West Yorkshire
Fotografia Tim Green, Flickr (CC BY 2.0)
Komentarze
(1) Skoro mówimy o hipotezach, a może nawet o czymś, co jeszcze nie jest hipotezą, lecz spekulacją metafizyczną, a nie o scientific paper, to recenzowanie jest trochę bezprzedmiotowe. Natomiast prędzej akceptowane są dziwaczne pomysły autorytetów, niż autorów nnieznanych.
(2) W humanistyce, czy nawet soft science, zdemaskowanie recenzenta jest chyba znacznie łatwiejsze (choćby po bardziej subiektywnym stylu pisania).
(3) Oczekiwanie masowego występowania odwagi cywilnej jest, hm, naiwnym postulatem.
@Gammon No.82
Ad (1) Nie zgadzam się. Może to wynika z tego że działam w raczej w hard niż soft science. Chcę szalone pomysły oceniać wg ich jakości, a nie ich autora.
Ad (3) Niech mnie Pan nadal zwie naiwnym, ale chciałbym by środowisko naukowe wyróżniało się pośród społeczeństwa (nie tylko pod względem odwagi cywilnej).
Komentarze do tego tekstu i odpowiedzi do komentarzy pod poprzednim:
Miszcz: Od tego bank jest bankiem, żeby przyjmował spłaty prawdziwymi pieniędzmi, a nie drukowanymi na kserokopiarce.
Mpn: Owszem, niewielu by go spłaciło. Ale może urodziłaby się z tego teoria, której wartość by wyrównała te wszystkie niespłacone kredyty? Pamiętaj, że nawet w zwykłej gospodarce bank prowadząc akcję kredytową z góry zakłada, że pewna liczba kredytów nie zostanie spłacona. Odbija sobie to na zysku z pozostałych i mimo ryzyka poszczególnych kredytów całościowo jest to dla niego całkiem pewna inwestycja.
Meruńka: Ja jestem oświeceniowy. Ale może nie tylko oświeceniowcy powinni chadzać na wykłady fizyków?
Krzysiek Stencel: Zauważ, że Penrose nie miał zwykłego papieru na konferencji, tylko wykład zaproszoony, który nie przechodził przez żaden peer review. O to właśnie chodzi, żeby czasem doktorant mógł także ominąć peer review.
Twoja propozycja jest taka: zróbmy równo i uczciwie, żeby Penrose’owi było równie trudno jak doktorantowi. Zgoda – jeśli chodzi o peer review. A moja jest taka: zróbmy procedurę, żeby bardzo odważnemu i zdeterminowanemu doktorantowi było równie łatwo jak Penrose’owi. I tu chodzi o coś w stylu wykładów zaproszonych.
Te dwie opcje nie są sprzeczne.
@kagan: „Nauka się skończyła z tego samego powodu co sport, czyli z powodu jej komercjalizacji”
100 procentowa racja, Panie kagan. Dodac nalezy „aspekt kasy”: nauka zamienila sie w walke o SZMAL. Zawsze tak bylo, ale ostatnimi czasy nasila sie eksponencjalnie. Przypomniec nalezy jak to znakomici (naprawde znakomici) amerykanscy uczeni zalatwili w bialych rekawiczkach Rozenblatta, tworce perceptronow. Rozenblatt popelnil samobojstwo. Szlo o wielka kase – setki milionow dolarow z DARPA. Wyrzadzili tym szkode nie tylo Rozenblatowi – wyrzadzili nauce powstrzymujac rozwoj pewnej dziedziny badan – dzis bardzo powazanej – na prawie 20 lat
O komercjalizacji nauki – bynajmniej nie pozytywnie, pisze Derek Bok w ksiazce „Universities on the Marketplace”. Autor nei wypadl sroce spod ogona – byl Przezydentem Harvardu.
A jak idzie o recenzje… Dociekajac niedawno skad w periodyku skadinad powaznego instytutu znalazl sie artykul nei nadajacy sie do Mlodego Technika, dowiedzialem sie: „napisalem mu recenzje grzecznosciowa bo potzrebowal punktow do awansu”
Frank Rosenblatt zginął w wypadku podczas żeglowania (w dniu własnych 43. urodzin). Ostatnie lata życia poświęcił makabrycznym eksperymentom na szczurach wstrzykując ekstrakt z mózgów wytrenowanych zwierząt do mózgów osobników bez treningu. Z zamiarem sprawdzenia, czy możliwy jest transfer pamięci, poddawał je wyczerpującym eksperymentom i udowodnił, że początkowo entuzjastyczne raporty o dużych sukcesach okazały się bardzo przesadzone.
Projekt perceptronów nadal natrafia na kontrowersje, a sztuczna inteligencja najlepiej wychodzi w filmach 😉
@markot: Sa rozne hipotezy na temat tego co sie przytrafilo Rozenblattowi
I dlaczego. Nie bede sie jednak zajmowal plotkami
Jak zas idzie o Minsky/Pappert-Rozenblatt controversy, polecam lekture
http://web.cs.sunyit.edu/~mike/cs540/papers/PerceptronControversy.pdf
„Projekt perceptronów nadal natrafia na kontrowersje” Z perceptronow wypaczkowaly „neural networks”. Czy moze Pan napisac o jakie kontrowersje chodzi I wzgledem czego?
„a sztuczna inteligencja najlepiej wychodzi w filmach ” Zareczam ze ma sie nienajgorzej
@K.Stencel
re: „Chcę szalone pomysły oceniać wg ich jakości, a nie ich autora.”
O.k., ale jak się ocenia jakość pomysłów, niesprawdzalnych empirycznie i niespójnych z dotychczasowymi teoriami?
re: „chciałbym by środowisko naukowe wyróżniało się pośród społeczeństwa (nie tylko pod względem odwagi cywilnej)”
Po pierwsze to, że czegoś chcemy lub potrzebujemy nie oznacza, że to coś jest.
Po drugie, jakim cudem heroizm ma być postawą powszechną w jakimkolwiek środowisku?
Po trzecie, selekcja do tego zawodu nie opiera się na kryterium odwagi cywilnej, zresztą nie bardzo sobie wyobrażam, jak miałby wyglądać jej pomiar u kandydatów.
A.L.
Samobójstwo Rosenblatta sugeruje Thomas Bass w książce „The Predictors”. W dwa lata po wydaniu książki Minskiego i Paperta?
A może dręczyły go te szczury we śnie?
ConceptNet (program AI) wypróbowany ostatnio na UIC osiągnął w testach dla przedszkolaków poziom 4-latka. Bogate słownictwo, rozpoznawanie podobieństw – bardzo dobrze. Poniżej przeciętnej – pojmowanie, rozumienie pytań typu „dlaczego”. Inteligencja dziecka o takim rozrzucie budziłaby niepokój.
Sztuczna inteligencja ma problem z tzw. zdrowym rozsądkiem czyli kojarzeniem ogromnej liczby faktów na poziomie porównań i abstrakcji. Robi rzecz jasna postępy, ale według samych zajmujących się nią uczonych jest bardzo odległa od poziomu np. 8-letniego dziecka.
Mój komentarz czeka na moderację 🙄 Przez trefne słowo?
A.L.
Samobójstwo Rosenblatta sugeruje Thomas Ba-ss w książce ?The Predictors?. W dwa lata po wydaniu książki Minskiego i Paperta?
A może dręczyły go te szczury we śnie?
ConceptNet (program AI) wypróbowany ostatnio na UIC osiągnął w testach dla przedszkolaków poziom 4-latka. Bogate słownictwo, rozpoznawanie podobieństw ? bardzo dobrze. Poniżej przeciętnej ? pojmowanie, rozumienie pytań typu ?dlaczego?. Inteligencja dziecka o takim rozrzucie budziłaby niepokój.
Sztuczna inteligencja ma problem z tzw. zdrowym rozsądkiem czyli kojarzeniem ogromnej liczby faktów na poziomie porównań i abstrakcji. Robi rzecz jasna postępy, ale według samych zajmujących się nią uczonych jest bardzo odległa od poziomu np. 8-letniego dziecka.
Jasne!
Widać, nie wolno używać „a-ss” 🙄
Czy ConceptNet by na to wpadł? 😉
@markot Nie pamietam czy w The Predictors bylo o Rosenblattcie. Ja to chyba czytalem gdzies indziej, I to na pewno nie w jednym zrodle; najprawdopodobniej w ksiazce „Talking Nets: An Oral History of Neural Networks”, Anderson I Rosenfeld, ale z cala pewnoscia rowniez gdzies indziej. Niestety, nie mam czasu w tej chwili aby robic research.
A jak idzie o AI… Z tym kojarzeniem ostatnio sie poprawilo jakby. Komputer Watson wygral turniej w Jeopardy, co nie jest rzecza trywialna. Z cala pewnoscia powyzej umiejetnosci 8 letniego dziecka.
Natomiast watpliwe mi sie wydaje czy sukces AI nalezy mierzyc odlegloscia komputera od czlowieka. Jak bylo w opowiadanku Lema o Tichym I bodajrze profesorze Corcoranie, ow professor powiedzial ze „nasladujac czlowieka mozna zbudowac tylko sztucznego idiote”. Analogia sa wczesne czasy lotnictwa gdy przyjmowano za pewnik ze samolot musi trzepotac skrzydlami. Okazalo sie ze nie musi. I co wiecej, taki helikopter w ogole jest do ptaka niepodobny.
Podobnie chyba z AI. AI tez nie musi trzepotac skrzydlami
Pewnie, że nie musi.
Z definicji AI:
1. a branch of computer science dealing with the simulation of intelligent behavior in computers
2. the capability of a machine to imitate intelligent human behavior
Logiczna dedukcja, wyciąganie wniosków, kreatywność, umiejętność podejmowania decyzji bazujących na przeszłych doświadczeniach albo w sytuacji niepełnych czy sprzecznych informacji, rozumienie mówionego języka – to potrafi inteligentny człowiek.
Maszyny, jak na razie, potrafią bardzo szybko wykonywać polecenia.
Według Alana Turinga maszyna może zostać uznana za inteligentną, jeśli przekona ludzkiego obserwatora, że odpowiedzi w rozmowie z nią udziela mu inny człowiek, a nie maszyna.
Inteligentnego ludzkiego zachowania uczymy się od urodzenia poznając nasze otoczenie i świat wszystkimi zmysłami. Jak prowadzić inteligentną konwersację z komputerem, który nie zna kontaktu z pokrzywą, ani smaku piwa czy pocałunku? 😉
@A.L.
Racja, a swoją droga, to komercjalizacja jest przecież niczym innym jak elementem (i to kluczowym) tej typowo kapitalistycznej walki o maksymalizację zysków. Tak więc na naszych oczach kapitalizm sam podcina gałąź, na ktorej siedzi, zapominając, że to wlaśnie wyłączenie spod praw rządzących rynkiem podczas II Wojny Światowej oraz tzw. zimnej wojny kluczowej dyscypliny nauki, czyli fizyki, poskutkowało zwycięztwem Ameryki w tych obu wojnach. Wyobraźmy sobie, że produkcje bomby atomowej czy też budowę reaktora atomowego powierzono by w latach 1940tych sektorowi prywatnemu, bez żadnych dotacji ze strony rządu czy też gwarancji zakupienia przez rząd owej bomby czy też owego reaktora…
A swoja drogą, to wykończono na Zachodzie niejednego wybitnego naukowca – od spalenia na stosie Giordano Bruno do zaszczucia ‚na smierć’ Alana Turinga. 🙁
Pozdr. 🙂
re: „Analogia sa wczesne czasy lotnictwa gdy przyjmowano za pewnik ze samolot musi trzepotac skrzydlami.”
(1) Kto przyjmował za pewnik? Wszyscy? Chyba niezupełnie.
https://en.wikipedia.org/wiki/Early_flying_machines
(2) Czemu wzorowanie się na sprawnej, ewoluującej od 150 milionów lat „biologicznej maszynie latającej” ma być zarzutem?
P.s. (3) Jak mierzyć mierzyć sukces sztucznej inteligencji, jeśli nie przez przyrównanie do człowieka? Jak rozpoznać, ze w ogóle mamy do czynienia ze sztuczną inteligencją (czy w ogóle jakąkolwiek inteligencją), jeśli nie przez przyrównanie do inteligencji ludzkiej?
Helikopter nie jest podobny do ptaka, ale do ważki – dosyć mocno 😉
Interesuje mnie, czy jedynym śladem w Polityce po konferencji GR20-Amaldi10, która odbyła się w Warszawie i zgromadziła liczbę naukowców równą niemalże 80 drużynom piłkarskim, pozostaną teksty panów Tyszkiewicza i jego polemisty?
@markot: „Z definicji AI”
Definicji AI jest co najmniej tyle ile autorow ksiazek o AI, a praktycznie, jeszcze wiecej. Trudno zreszta zdefiniwac „sztuczna” inteligencje, jezeli nei bardzo sie potrafi zdefiniowac „naturalna” inteligencje
„Logiczna dedukcja, wyciąganie wniosków, kreatywność, umiejętność podejmowania decyzji bazujących na przeszłych doświadczeniach albo w sytuacji niepełnych czy sprzecznych informacji, rozumienie mówionego języka ? to potrafi inteligentny człowiek.”
jak na dzis, maszyny doskonale sobie z tym radza. No, moze nei doskonale, ale zadowalajaco
„Maszyny, jak na razie, potrafią bardzo szybko wykonywać polecenia.” Moga znacznie wiecej
„Według Alana Turinga maszyna może zostać uznana za inteligentną, jeśli przekona ludzkiego obserwatora, że odpowiedzi w rozmowie z nią udziela mu inny człowiek, a nie maszyna”
Zasadnosc Testu Turinga jako testu „na inteligencje” jest kwestionowana pzrez wielu. Inteligencja to jakby deko wiecej niz prowadzenie salonowej rozmowy. Jak dla mnie, system komputerowy ktory jest w stanie zarzadzac procesem produkcji w fabryce lepiej niz czlowiek, jest dostatecznie inteligentny. Nie musi, jak dla mnie, wykazywac erudycji w zakresie tworczosci wieszczow I muzyki Mozarta
” Jak prowadzić inteligentną konwersację z komputerem, który nie zna kontaktu z pokrzywą, ani smaku piwa czy pocałunku” Dlaego, zgodnie z Profesorem Corcoranem, proby stworzenia sztucznej inteligencji wzorujacej sie na czlowieku skoncza sie stworzeniem sztucznego idioty
hipoteka ciała
największy kredyt
do spłacenia
@Gammon No. 82
A co to jest inteligencja? Scisla definicje poprosze
@A.L.
re: „A co to jest inteligencja? Scisla definicje poprosze”
Wiesz, skoro sam wcześniej użyłeś słowa „inteligencja”, to je najwyraźniej rozumiesz (albo udajesz, że rozumiesz, albo ci się zdaje, że rozumiesz).
Chyba, że przez skrót AI rozumiałeś Amnesty International, Air India, Anus Injection, American Idol albo coś jeszcze innego.
„Jak dla mnie, system komputerowy ktory jest w stanie zarzadzac procesem produkcji w fabryce lepiej niz czlowiek, jest dostatecznie inteligentny.”
Regulator obrotów w maszynie Watta też był dostatecznie inteligentny. Radził sobie zręcznie z nadzorowaniem procesów, których żaden człowiek nie był w stanie kontrolować.
http://en.wikipedia.org/wiki/Centrifugal_governor
A jakąż nieprawdopodobną inteligencję musi mieć system, utrzymujący w homeostazie Paramecium caudatum.
Gammon No.82
Dzięki 😀
Jeszcze wczoraj sądziłem, że „człowiek o inteligencji pantofelka” nie brzmi dumnie 🙁
@Gammon No.82
Jeśli chodzi o odwagę cywilną naukowców, to wiem, że jest z tym różnie, ale jest to cecha niezwykle ważna. Ocena wartości naukowej czegokolwiek odbywa się w zasadzie jedynie w systemie peer-review. Gdy brakuje odwagi powiedzenia, że król jest nagi, nie ma już nauki, ale klub wzajemnej adoracji. Być może stąd bierze się degrengolada, o której pisali dyskutanci?
@J.Ty
Wykłady zaproszone to wyróżnienie za coś. Domaganie się by wyróżniano na kredyt prowadzi do nadania Orła Białego drowi Goebelsowi a także pokojowego Nobla Obamie. Pozostałbym więc przy normalnym systemie double-bling peer-review, a wykłady zaproszone? Niech sobie będą. Jak inni wspomnieli, są też inne fora, na których można propagować szalone idee.
@K. Stencel
re: „Ocena wartości naukowej czegokolwiek odbywa się w zasadzie jedynie w systemie peer-review.”
Ocena wartości naukowej _wyników_ – tak, oczywiście.
Ale ocena wartości hipotez? Zwłaszcza hipotez roboczych w laboratorium albo hipotez z pogranicza metafizyki w dziedzinach teoretycznych? Prawie nigdy tak nie jest.
W jaki sposób miałby np. Kapica peer-reviewować hipotezy dotyczące ledwie-co odkrytej nadciekłości helu?
@gammon No.82″ Ale ocena wartości hipotez? Zwłaszcza hipotez roboczych w laboratorium albo hipotez z pogranicza metafizyki w dziedzinach teoretycznych?”
W zasadzie nie widze problem – kazdy moze wystapic na seminarium I mowic co chce. Koledzy go ocenia.
Problem jest z konferencjami – w zasadzie organizatorzy sa (przynajmniej czesciowo) odpowiedzialni za to zeby bzdur nei opowiadac. Wiec na ogol przestzregaja zasady ze wystapienie musi byc recenzowane.
Parwdziwy problem jest z wykladami dla „szrokiej publiczonosci” organizowaneymi pzrez roznego rodzaju stowarzyszenai I organziacje. Tutaj tytul naukowy (a zwlaszcza etykietka „amerykanski uczony polskiego pochodzenia z czolowego amerykanskiego uniwersytetu”) jest dla organizatorow automatycznie gwarancja nalezytej jakosci, a moze skonczyc sie teoria wibrujacego eteru, plaskiej Ziemi, czy czegos podobnego. Wystarczy popatzrec na rozne fora internetowe z „nauka” w nazwie. Ilu jest obalaczy Teorii Wzglednosci? Czy tworcow „nowej fizyki”?
@A.L.
Wystarczy zajrzeć choćby do przykładów z historii nauki podanych w klasycznej książce Kuhna „The structure of scientific revolutions”, żeby zdać sobie sprawę, iż proponowane rozgraniczenie pomiędzy naukowcami a szalonymi „obalaczami” jest dosyć śliskie. To tylko post factum wszystko się wydaje proste i oczywiste. Szczególnie polecam końcowe partie książki, w których wskazane jest na konkretnych przykładach, jak zmiana paradygmatu cudownie wpływała na wyniki obserwacji… Nie mówiąc już o tym, że w wielu przypadkach nowatorskie koncepcje (z dzisiejszej perspektywy przełomowe) przepadały, długo nie znajdując uznania wśród współczesnych. Wizja nauki jako nieustająco rozszerzającego się kręgu światła i wiara w liniowość postępu bardzo przemawiają do wyobraźni, ale są tylko konstruktami społecznymi.
@A.L.
re: „kazdy moze wystapic na seminarium I mowic co chce. Koledzy go ocenia.”
W laboratoriach nie organizuje się seminariów, a z kolegami tak, dyskutuje się. Tylko to nie jest peer-review.
re: „problem jest z wykladami dla ?szrokiej publiczonosci?”
Tak, zgoda, ale nie bardzo sobie wyobrażam, jak miałyby być recenzowane wykłady popularne. Czysto teoretycznie to jest możliwe, ale i tak maniak, któremu recenzenci nie pozwolili się wypowiedzieć w jednym miejscu, będzie mówił swoje w innym. Jest poważna różnica między publikacją w „Nature” i „Wróżce”, a z wygłoszeniem wykładu gdzieś na mieście już tak nie jest.
@Gall Anonim
re: „Wizja nauki jako nieustająco rozszerzającego się kręgu światła i wiara w liniowość postępu bardzo przemawiają do wyobraźni, ale…”
Akurat to było wiadomo co najmniej z 80 lat przed Kuhnem.
Na przykład:
Samuel Pierpont Langley, The History of a Doctrine, ?Popular Science Monthly?, Vol. 34, December 1888, s. 212-213
@Gammon No.82
Jasne – ani Kuhn w swojej książce nie rości sobie żadnego pierwszeństwa w tej sprawie, ani ja mu go nie przypisuję, po prostu wygodnie było mi się powołać na stosunkowo dostępną, klasyczną i przystępnie napisaną książkę.