torsdag 13 februari 2014

Fanskapet publicering och peer-review.

Inom akademisk forskning bestäms ens status, rykte och framgång utefter de arbeten man publicerar, och inte minst på vart dessa publiceras. Det finns tidskrifter som anses vara top-notch (Nature, Science, Cell, etc), och det finns hela skalan ner till riktigt skräp. För att publicera i en tidskrift skickar en in ett komplett manuskript i korrekt format, tillsammans med ett brev till Editorn där man försöker motivera varför arbetet bör publiceras i just dennes tidskrift. Antingen kommer arbetet tillbaka med vändande post med ett artigt 'Tack men nej tack', eller så påbörjas den process som ska säkerställa kvaliteten av publicerad forskning: peer-review.

Peer-review innebär att ditt arbete blir granskat av dina 'peers', av andra forskare inom samma fält som antas ha kunskapen (och inte vara partiska) för att utvärdera manuskriptet. Om majoriteten av dessa reviewers tycker att manuskriptet är OK (vetenskapligt och för tidskriften i fråga) så publiceras arbetet (väldigt förenklat). Det är svårare att få ett arbete publicerat i Nature/Cell/Science, och lättare i småblaskor såsom Scandinavian Journal of Whatever.

Men självklart så har detta system kraftiga brister. Vem som publiceras vart verkar snarare bestämmas av:
* Hur en språkligt mäktar med att presentera sina resultat.
* Hur smidigt en gömmer undan och nonchalerar svagheter.
* Hur omvälvande resultaten är.
* Vem en är (kan översättas till: hur mkt öl/vin/sherry en druckit med editorn).
* Kunskapen hos, och insatsen från, peer-reviewers.

Skrämmande mycket av det som publiceras i de högst respekterade tidskrifterna är dock skräp. Mycket mer än vad som någonsin blir känt. Du kanske hör diskussionerna i korridoren där alla är överens om att arbetet är skit, men om du inte råkar vara i den korridoren eller veta tillräckligt mkt om ämnet så kommer du acceptera de rapporterade fynden som sanning. Det publicerades ju i Science! Ofta lider dessa papper av tekniska problem. Metoder och analystekniker bli än mer komplicerade, och projekt är fältöverskridande. För att förstå och utvärdera behöver du matematik, statistik, molekylärbiologi, immunologi, kunskap om de tekniska brister om alla tekniker har och vad dessa leder till, etc etc. Därmed publiceras arbeten som påstår att bakterier som lever av arsenik finns, som rapporterar om hur vanligt RNA editing är eller som identifierar flertalet genetiska varianter kopplade till livslängd (Spoiler: Skräp).

Dessa exempel kan jag ta upp eftersom: Twitter och vetenskapsbloggar. En diskussion fanns där jag kunde ta del av den. Forskare som egentligen hade egen forskning att ägna sig åt tog sig tid och satte sig in i den rapporterade forskningen och hittade oegentligheter. Tidskrifterna som publicerat dessa arbeten är inte speciellt sugna på att säga att ett misstag skett, men för de tre exempel jag tog upp oven så publicerades tillslut kritiska kommentarer iaf. Så är inte fallet för majoriteten av kritiken som finns. Så resultaten, de falska och förvrängda eller helt enkelt av okunskap felaktiga, finns fortfarande kvar på sina piedestaler. Proklameras som sanning och de forskare som publicerade arbetena njuter av framgångens frukter.




Inga kommentarer:

Skicka en kommentar