fredag 18 oktober 2013

Kris i forskningen?

Ett kännetecken för (natur)vetenskap är att forskningsresultat skall gå att upprepa. Om en forskare påstår något så skall andra forskare med samma metoder och underlag komma fram till samma resultat. Men enligt en artikel i brittiska The Economist är det si och så med detta: En tumregel bland riskkapitalister inom bioteknologi säger att hälften av den publicerade forskningen inte kan upprepas. Den regeln kanske är överoptimistisk. Förra året kunde forskare vid en bioteknikfirma bara upprepa sex av 53 'epokgörande' studier inom cancerforskning. En grupp vid läkemedelsföretaget Bayer kunde bara upprepa en fjärdedel av 67 viktiga forskningsrapporter. En datorvetenskapare hävdar att tre fjärdedelar av uppsatserna i hans specialområde är smörja...

Det låter inte så bra. Kan man sammanfatta det som att "skit flyter"? Forskningsvärlden har svällt så oerhört, så mycket folk inblandade numera med så mycket konkurrens och kamp om positioner och pengar - och denna mängd kan paradoxalt innebära att skräp har lättare att slinka igenom numera än tidigare. Vem har tid att ägna en massa tid och resurser att undersöka andra forskares påståenden när man har sin egen karriär att tänka på?

Det hela blir väl inte bättre av att det finns ett otal inte särskilt seriösa tidskrifter med pampiga namn som kan publicera vetenskapligt tvivelaktiga arbeten utan att någon faktagranskare slår larm. - Kris i forskningen, med andra ord!

Vill man hitta guldkornen i forskningen gäller det att verkligen leta!

17 kommentarer:

Lasse Strömberg sa...

Jasså!? Forskningen är också utsatt för så förödande konkurrens att det uppstår fusk, som så ofta uppstår när konkurrensen ökar. Att forskarna dessutom ofta är beroende av statliga pengar torde inte göra saken bättre.

Björn Nilsson sa...

Privata pengar gör inte saken bättre. Forskningsresultat som fejkas för att passa beställaren, viktiga rön som förtigs för att de inte passar beställaren, etc.

martin sa...

Det är snarast så att vi aktivt vaskar fram skiten. Den mest diktatoriske professorn vid det prestigefyllda universitetet tar in kinesiska eller indiska doktorander som han kan pressa benhårt, om de inte presterar så är de på första båt hem till det land de kom ifrån och deras karriärer är över. Då börjar de ljuga för sin karriärprofessor. Jag kommer ihåg när man stötte på dålig forskning som ljugits ihop, det var något oerhört för en annan som hade föreställningar om den akademiska forskningen. Numera tror jag inte på ett skit förrän jag faktiskt reproducerat det.

Publish or perish är receptet på hur man underminerar forskningens integritet.

En av anledningarna till att vi börjar nå en punkt i samhällsutvecklingen där revolution är nödvändig är inte bara en uppsjö av institutioner som överlevt sin relevans (banker exempelvis), det är att så många institutioner är på dekis, att vetenskapen är på dekis, politiken är på dekis osv.

Björn Nilsson sa...

" aktivt vaskar fram skiten" det låter som en jäkligt bra beskrivning av ett system som inte mår bra!

martin sa...

När jag var gästforskare i Boston, så försökte jag få ett svar och förklaring till varför det verkade helt omöjligt att reproducera en viss Harvard-professors pek. Men jag blev såklart ignorerad. Jag kunde bara konstatera att det inte riktigt stämde med publiserade data. Det irriterande vara tt min professor då tvekade på min kompetens, jag hade slösat tid och misslyckats med att repoducera ett fint namns forskning flera gånger.

Jag fick ta fram en egen metod och lärde mig att undvika de finaste professorernas forskning.

Björn Nilsson sa...

Det var faktiskt nyligen en okänd yngre forskare inom nationalekonomi som bidrog till att åtminstone skada några superkändisar inom ämnet genom att påvisa att deras datahantering och vidhängande slutsatser var felaktiga. Det rörde felaktiga påståenden om relationen mellan statsskuld och tillväxt, där storpamparna helt enkelt hade fel men likväl hade hyllats som genier. Man kan väl misstänka att killen hade stöd från högre ort i det fallet ändå (från någon fraktion som inte gillade storpamparna), annars hade det nog blivit "locket på".

martin sa...

Det där tillhör undantagen. Sedan jag skapade ett företag som sysslar med forskning så har vi brätt 2 miljoner kronor på något som visade sig vara dålig forskning, inget stämde i peken och patenten kring forskningen. Vi höll på att gå under av det. Så problemet är mycket mer skadligt än artikeln du reffar ger sken av. Det kostar oss oerhörda summor, men värre, det skapar en massa merarbete och hindrar oss att utvecklas teknologiskt, då våra forskare och tekniker helt enkelt hamnar i mörker. Mygel i forskningen är värre än att inte veta alls, för det medför att man inte ens vet det man vet. Vi hamnar i en situation där vi bygger sandslott för vi har ingen aning om var grunden bär.

Jan Wiklund sa...

Här är en artikel som kanske är relevant: http://www.manifesttidsskrift.no/akademias-tellekanter/

"New Public Management (NPM) har overtatt som styringsform i akademia. Det har lagt grunnlaget for en sterkere økonomisk markedsorientering innen høyere utdanning og forskning – med tellekanter i finansieringssystemet og økning av midlertidig ansatte. Det har ført til krav om reversering av de mest kontroversielle effektene."

Björn Nilsson sa...

Här en svensk artikel som nämner NPM (såg den via Lindelöf): http://sverigesradio.se/sida/artikel.aspx?programid=503&artikel=5667443

Ett riktigt otyg, tydligen.

Simsalablunder sa...

"Det kostar oss oerhörda summor"

Verkar vara regel överallt där egoismens konkurrens introduceras, även inom den påstått effektiva marknaden. Lyckas man vinna något stort själv genom att konkurrera ihjäl någon annan, har flera förlorat stort på vägen. Bara det att det knäcker människors vilja att fortsätta inom ett område de har mycket kunskaper i är resursslöseri på alla håll och kanter. En av massor av oförutsedda kostnader som inte konkurrensideologer har med i sina fördummande effektivitetskalkyler.

Frimarknadens track record att få fram något nytt är f.ö. uselt när den skall stå på egna ben genom sin omhuldade egoismbaserade konkurrens. När den har "lyckats" är dess framgångar i princip alltid beroende av ett stort allmänt engagemang genom statlig försorg, och då är det ju inte frimarknad som råder.

Kenneth Rogoff, ena halvan av fuskarna som Björn åsyftar, sitter alltjämt kvar säkert på sin professorstjänst på Harvard, och anlitas regelbundet av media som expert i samma ämne han fuskat i.

Illustrerar väl hur världen är funtad idag. Allt är tunn fernissa med dåligt underarbete. Alla involverade, utförare som åskådare nöjer sig med att det glänser på lite avstånd. Stora flagorna fuskrepareras gladeligen av vilken neoliberal som helst, genom att kladda på vad skit som helst, och åskådarna tar hellre ett steg tillbaka än framåt mot en granskning, när de förstår att det krävs något mer än bara tyckande av dem. Vips ser ytan bra ut igen och alla går vidare tills samma sak återuppstår igen. Fast det bör komma en dag då allt har ruttnat, vilket är så dags att börja göra något åt det.

Simsalablunder sa...

Kan inte låta bli att klistra in vad man kan finna på Wikipedia om Kenneth Rogoff‬:

He is a member in the Group of Thirty.

The Group of Thirty, often abbreviated to G30, is an international body of leading financiers and academics which aims to deepen understanding of economic and financial issues and to examine consequences of decisions made in the public and private sectors related to these issues.
----

Uppförsbacken till förändring är monumental, när det sitter sådana figurer överallt på positioner i samhället. De ger knappast självmant upp något av sina privilegier.

Björn Nilsson sa...

... to examine consequences of decisions ... låter ju nästan komiskt i det här sammanhanget - under förutsättning att man glömmer de miljoner som drabbats hårt av att Rogoff m.fl. själva verkar ha väldigt svårt att uppfatta sammanhanget mellan orsak och verkan.

martin sa...

Simsalablunder,
frimarknaden har inte skapat något av värde någonsin. Visa mig ett storbolag som inte blev storbolag på ryggen av det gemensamma. Det finns inte något sådant bolag. Visa mig den teknologi som inte kommer ur den gemensamma och olönsamma forskningen, den finns inte. (För längesedan när forskning bedrevs av rika kufar i slott, så kom givetvis forskning ur privat forskning. Men, det var forskning som var olönsamt flum, det var inga frimarknadsprinciper som drev fram dessa genombrott.)

Lasse Strömberg sa...

martin:

"Visa mig ett storbolag som inte blev storbolag på ryggen av det gemensamma."

Just det, bra sagt!!

Simsalablunder sa...

Martin, det var väl så egentligen gällande allt människan tar sig för. Ingen mänsklig verksamhet uppstår isolerat från omvärlden. Än mindre den som direkt interagerar med andra människor. Det finns alltid kopplingar som man aldrig kan frisvära sig ifrån. Frimarknadsivrare har dock aldrig haft problem med att ta åt sig äran för rubb och stubb.

Simsalablunder sa...

Om ni inte redan läst denna, här är en intressant recension av Ha-Joon Chang's 'Bad Samaritans: The Myth of Free Trade and the Secret History of Capitalism'.

http://www.truth-out.org/buzzflash/commentary/item/4139-hajoon-changs-bad-samaritans-the-myth-of-free-trade-and-the-secret-history-of-capitalism

Jan Wiklund sa...

Osänkbara ekonomiexperter är ju inget nytt, redan under andra världskriget klagade George Orwell över osänkbara militära experter som bara tillfrågades om och om igen trots att de alltid hade haft fel. Förmodligen är det ofrånkomligt i ett klassamhälle.

Men Chang är bra. Rekommenderas!