Checklista för källkritik: En guide för bedömning av facklitteratur inom beteendevetenskap

Det senaste halvåret har varit intressant för mig på många sätt. Min debutroman Förvaltningen har kommit ut och finns i butiker och på bibliotek. I samband med lanseringen skrev jag en Sverige bloggposter där jag förklarade de teman som jag gestaltar i boken. Bland annat en bloggpost där jag förklarade vad jag tycker att alla som läser boken Omgiven Av Idioter bör känna till. Den bloggposten blev populär och har bland annat uppmärksammats i Magasinet Filter där jag blev intervjuad och podcasten Wag The Dog där jag medverkat.

Jag har fått många frågor från läsare. Bland annat om andra lästips, som jag sammanfattat i den här bloggposten. Dessutom får jag frågor från personer som vill veta om bok X eller bok Y är bra eller ej. För att bespara både mig och läsarnas tid, tänkte jag därför sammanfatta en liten checklista med punkter jag tycker att man ska kolla av innan man läser facklitteratur inom beteendevetenskap. Jag väljer att begränsa mig till det området eftersom det är där jag känner mig någorlunda trygg att uttala mig, med tanke på min psykologutbildning.

Jag tycker att man ska granska en bok och dess författare på två olika sätt. Dels objektivt, alltså neutralt och sakligt. Och dels subjektivt, alltså partiskt och personligt. Checklistan är formulerad så att ju fler ”ja” du kan svara på frågorna under objektiv granskning, desto högre kvalitet håller boken och ju fler ”ja” du kan svara på frågorna under subjektiv granskning, desto mer rättvis kan du vara till läsningen. Jag börjar med att beskriva checklistan och längre ner i bloggposten förklarar jag varje punkt mer ingående. Lägg märke till tre saker när du läser:

  1. Det mesta av det jag påstår är mina egna erfarenheter och åsikter. Checklistan är inte vetenskaplig utan mitt eget hopkok, även om den till största del bygger på det jag lärt mig genom mina psykologistudier.
  2. De källor jag refererar till är inte alltid grundkällor, vilket kan tala emot det jag beskriver under punkt 2. I den här bloggposten har jag prioriterat tillgänglighet till källorna framför att ständigt referera till grundkällorna. I den bästa av världar skulle vetenskaplig litteratur vara gratis för alla, men som det är nu är de flesta stora tidskrifter låsta bakom betalväggar. Därför kan det hända att du kommer till en Wikipedia-artikel eller liknande när du klickar på en länk.
  3. Jag gör ofta jämförelser mellan Thomas Erikson och Daniel Kahneman. Det kan tyckas vara en orättvis jämförelse, då Erikson är självlärd och självutnämnd beteendevetare, och Daniel Kahneman är professor i psykologi och mottagare av Riksbankens ekonomipris till Alfred Nobels minne. På hyllorna i bokhandeln är de dock jämbördiga, då de båda står på hyllan för facklitteratur inom psykologi. Därav jämförelsen. Och, det kommer att vara ganska tydligt vem av de två jag tycker att man ska läsa.

Sammantaget, fler tydliga ”ja” talar för att det som står i boken är väl underbyggt och att du kan ta till dig det på ett rättvist sätt, förutsatt att du tycker att innehållet är intressant. Är det inte intressant är mitt råd att lägga undan boken. Kom ihåg att livet är för kort för att läsa tråkiga eller dåliga böcker.

Objektiv granskning

Ju fler ja du kan svara på dessa frågor, desto bättre.

  1. Finns det källor och källhänvisningar?
  2. Är källorna trovärdiga?
  3. Använder man trovärdiga försäljningsknep?
  4. Har författaren relevant expertis?
  5. Har författaren skin in the game?

Subjektiv granskning

Ju fler ja du kan svara på dessa frågor, desto bättre.

  1. Känner du till dina fördomar om materialet?
  2. Känner du till vad du investerat i materialet?
  3. Känner du till dina fördomar om författaren?
  4. Känner du till vad dina vänner tycker?
  5. Är du beredd på att ”ha fel”?

Objektiv granskning

1. Finns det källor och källhänvisningar?

Det är omöjligt att vara källkritisk om det inte finns några källor. Och det kanske är just därför vissa författare undviker att ge källor till sina påståenden. Men, en grundläggande förutsättning för vetenskap är att den ska vara möjlig att kontrollera. Om det inte finns några källor, är det inte möjligt att kontrollera påståendena.

Vissa författare, och där tycker jag Thomas Eriksons bok Omgiven Av Idioter ett bra exempel, ger bara källor till vissa påståenden. Det är, enligt mig, ett slugt sätt att få texten att verka mer trovärdig än vad den egentligen är. Facklitteratur ska ha källhänvisningar till varje enstaka påstående som bygger på forskning. Där det inte finns en källa, ska det vara tydligt att det är författarens egna upplevelse eller tyckande som förmedlas i texten.

Det ska också vara tydligt vilket påstående som hör till vilken källa. Jag tycker att man ska vara skeptisk till författare som bara bifogar en ”litteraturlista” i slutet av boken utan att visa vilken källa som hör till vilket påstående. Det är få, om ens någon, som skulle ta sig tid att kontrollera ett påstående i boken som sägs vara hämtat någonstans, men inte specificerat vart, ifrån en litteraturlista som totalt innehåller tusentals sidor. De böcker som jag anser håller hög kvalitet är de som ha tydliga angivelser till vilken källa som hör till vilket påstående, som man kan se här från boken Påverkan och Manipulation av Håkan Järva och Peter M. Dahlgren:

Sedan ska tilläggas att vissa förlag prompt vill undvika referenser i den löpande texten, då man anser att det stör läsupplevelsen. Det finns dock exempel på hur man har löst det, som i Daniel Kahnemans Tänka, Snabbt och Långsamt.

 2. Är källorna trovärdiga?

Att det finns tydliga källor är en grundförutsättning. Nästa steg är att kontrollera att källorna är trovärdiga. Många populärvetenskapliga böcker idag är ett virrvarr av olika typer av källor. Dels vetenskapliga och dels av annan sort, exempelvis nyhetsartiklar, Youtube-klipp eller liknande.

Vetenskapliga källor

Gällande vetenskapliga källor kan man dela upp dem i böcker och artiklar.

Vetenskapliga böcker är ofta sammanställningar där flera olika forskare är medförfattare till en sammanställning av ett större forskningsfält.

Generellt kan typen av förlag säga en del om trovärdigheten i vetenskaplig litteratur. Många universitet har egna förlag som ger ut vetenskaplig litteratur, exempelvis Oxford University Press eller Yale University Press. Min uppfattning är att även svenska Studentlitteratur brukar hålla hög kvalitet. Allmänutgivande förlag ger ut populärvetenskaplig litteratur som kan vara jättebra, men ska inte användas som källa i annan populärvetenskaplig litteratur. Jag tycker att en referens i en populärvetenskaplig bok ska leda till grundkällan, inte en andra- eller tredjehandskälla, eftersom det gör det svårare att kontrollera ett påstående om man måste gå tillbaka flera steg.

Vetenskapliga artiklar kan vara av olika slag, exempelvis meta-analyser, experimentella studier, och observationsstudier. Om man ska dra generella slutsatser brukar man säga att meta-analyser är mer tillförlitliga än experiment, experiment är mer tillförlitliga än observationsstudier och observationsstudier är bättre än ingenting. Men, de kompletterar varandra och det är olika från fall till fall om det exempelvis är relevant att hänvisa till en meta-analys eller en observationsstudier. Man bör också påminna sig om att inte all vetenskaplig litteratur nödvändigtvis är bra samt att det rådande kunskapsläget är i ständig förändring.

Att kontrollera alla källor i en bok om beteendevetenskap (som får godkänt på punkt 1) skulle kräva närmast en livstid. Man skulle dessutom behöva vara väldigt kunnig för att kunna bedöma källornas trovärdighet. Men, man kan göra stickprov genom att kolla några slumpmässigt utvalda källor. Ett tips då är att söka på Google Scholar efter en bok eller artikel. Om den inte finns med bör du vara väldigt kritisk. Om den finns med är det ofta (men inte alltid!) ett gott tecken om den citerats av många andra. Exempelvis Ray Baumeisters artiklar om ego depletion som jag nämnde ovanför. De har citerats hundratals eller tusentals gånger (som vi kan se på bilden), men sedan ifrågasatts kraftigt och inte kunnat replikeras.

Ett ytterligare tips är att söka på tidskriften och dess impact factor. Det är ett sätt att ta reda på i vilken omfattning tidskriften citeras i andra tidskrifter. Det är inte heller något rakt igenom bra sätt att ta reda på om en tidskrift är trovärdig, men åtminstone ett mindre dåligt sätt än att bara kolla på om den har ett snyggt omslag eller liknande.

Andra källor

Andra typer av källor som ofta smyger sig in i populärvetenskapliga böcker är exempelvis nyhetsartiklar eller intervjuer.

Nyhetsmedier följer, enligt mig, en fallande skala av trovärdighet. Jag skulle lita mer på ett påstående som härrör från Dagens Nyheter eller New York Times (även om jag skulle vara skeptisk även till dessa) än från Breakit eller Russia Daily (som jag inte skulle läsa annat än som underhållning). Min uppfattning är att de senare mest förmedlar andra mediers nyheter, ofta med en förutbestämd vinkling i syfte att locka klick och skapa sensation.

Intervjuer är svåra att bedöma trovärdigheten på. Det bör vara tydligt när intervjun är gjord. I vissa fall ger författaren en länk till transkriberingen av en intervju och det ökar trovärdigheten. Ett känt exempel på en populärvetenskaplig författare som fingerade intervjuer är Jonah Lehrer. Han må ha varit en duktig skribent, men hans trovärdighet föll totalt när det framkom att han hittat på citat, bland annat av Bob Dylan.

3. Använder man trovärdiga försäljningsknep?

Det är ingen hemlighet att både författare och förlag vill att boken ska sälja bra. För att öka försäljningen tar de till olika former av knep för att öka intresset och försäljningen. Därför tycker jag inte att försäljningsknep, exempelvis citat på omslaget, är anledning att kasta en bok i papperskorgen. Men de knep som används bör vara relevanta och trovärdiga.

De vanligaste formerna av försäljningsknep som jag stöter på är:

  • Utdrag från recensioner, där recensenter i medier uttalat sig. Här är det givetvis lätt att vara selektiv, vilket de flesta troligtvis är. Det är få som väljer att ta med ogynnsamma recensioner på omslaget till en bok.
  • Vad en stor mängd människor tycker om boken. Det kan exempelvis vara att boken är en ”New York Times Best Seller” eller påståendet att ”500 000 människor kan inte ha fel”. Av dessa anser jag att det smäller högre att vara på New York Times bästsäljarlista, eftersom 500 000 människor visst kan ha fel.
  • Vad enstaka människor anser om boken, så kallade testimonials. I viss populärvetenskaplig litteratur, kanske främst amerikansk, verkar det vara en slags inflation i testimonials. Vissa författare tycks ge många utlåtanden om andras böcker, och i vissa fall även varandras böcker, vilket för mig osar ”jag-kliar-din-rygg-så-kliar-du-min”. Det gäller även några författare jag gillar, som Daniel Kahneman, Nassim Taleb och Richard Thaler (som vi kan se på bilden nedanför). Jag skulle föredra att deras böcker fick tala för sig själva, utan att de framställs som ett gäng sköna polare som gillar varandras böcker.

4. Har författaren relevant expertis?

Enligt Svenska Akademiens Ordbok är en expert en ”person med stor sak­kunskap in­om visst område”. Det är svårt att avgöra om en person är expert eller ej, ofta behöver man själv vara expert för att kunna bedöma om någon annan är det. När det gäller beteendevetenskap kan man åtminstone få en liten hint genom att kontrollera författarens utbildningsnivå. En som helt saknar utbildning saknar troligtvis expertis, även om den själv tycker att den är kunnig och även om det står på bokens omslag att personen är beteendevetare. Man kan läsa böcker skrivna av Thomas Erikson och därefter tro att man är expert på beteendevetenskap. Om man jämför det med exempelvis Daniel Kahneman som är professor i psykologi, vet jag åtminstone vem jag skulle rådfråga om jag undrade något. Hög utbildning är inte en garanti för expertis, men visar åtminstone att personen klarat av utomstående granskning och passerat tester för att tillskansa sig sin kunskap. Vissa utbildningar ger, ibland i kombination med praktisk tjänstgöring, en titel. Både Sverige och EU har regleringar för skyddade yrkestitlar. Exempel på dessa är min egen titel legitimerad psykolog, liksom advokat eller trafiklärare. Men kom ihåg att material skrivet av en person med skyddad titel inte nödvändigtvis är bra, på samma sätt som material skrivet av en person utan en skyddad titel inte nödvändigtvis är dåligt. Expertis ska sättas in i ett större sammanhang, som de andra punkterna på checklistan visar.

Dessutom ska man vara noga med att kontrollera att en person med expertis och titel uttalar sig inom det område den har expertis inom. Om jag ger dig råd om hur du ska laga din bil, bör du bli skeptisk, även om jag har en femårig universitetsutbildning och är Leg. Psykolog. Det är lätt att underskatta komplexiteten i områden man inte är kunnig inom och vissa gör misstaget att ge sig ut på områden de inte vet så mycket om i vanföreställningen om att de har tillräcklig kunskap. Ett exempel på det tycker jag är Thomas Eriksons bok ”Omgiven Av Psykopater” där han ger sig in på ett område som han inte är kompetent inom i tron att han är det. Det kallas Dunning Kruger-effekten och innebär att man överskattar sin egen kunskap inom ett område.

Så, om man klargjort att en person är expert inom sitt fält kan man lita på allt den påstår? Nej, man bör vara skeptisk även till experter (då även experter som faktiskt är experter). Ett bra sätt är att kontrollera även vad andra experter tycker för att se om det råder konsensus. Bertrand Russell, en av 1900-talets stora filosofer, föreslog tre så kallade ”milda antaganden” gällande expertis:

  • Om alla experter inom ett område är överens, bör man som lekman ha samma uppfattning som dem.
  • Om experterna inte är överens, bör man som lekman inte tro säkert på något utan vara beredd på att ändra sin uppfattning.
  • Om experterna är överens om att man inte kan säga någonting, bör man som lekman vänta med att ha en åsikt.

Ett tips är att söka på ”bokens titel + kritik” (eller motsvarande på engelska). Om boken blivit omtalad finns det ofta experter som granskat den kritiskt. En del av dem har riktigt bra saker att säga.

5. Har författaren skin in the game?

Begreppet skin in the game är inte vetenskapligt vedertaget, utan en term populariserad av Nassim Taleb för vad det innebär att ha en personlig koppling till konsekvenserna av det man gör och lär ut. Den som är bunden till konsekvenserna av sina beslut eller utsagor fattar troligtvis andra beslut än en som inte är det. Ett exempel kan vara skillnaden mellan om en befälhavare själv kämpar vid fronten eller ej när den leder sin armé i ett krig. Han/hon kommer troligtvis inte att fatta beslut som innebär en en säker död för hela armén, på samma sätt som exempelvis det tyska överkommandot i Berlin gjorde med den tyska sjätte armé i Stalingrad under andra världskriget.

Vi tar återigen skillnaden mellan Thomas Erikson och Daniel Kahneman. Thomas Eriksons bok beskriver en metod för att analysera människors beteende som 1) har en icke-godkänd vetenskaplig grund och 2) är påhittat av någon annan än Erikson själv. Kahnemans bok beskriver kognitionspsykologi som 1) har godkänd vetenskaplig grund och 2) till stor del är beforskad av Kahneman själv.

Om Erikson skriver en misslyckad bok, exempelvis om färgläran han beskriver visar sig vara felaktig, kan han skriva en annan bok i ett annat ämne eller med en annan vinkling. Om Kahneman skriver en misslyckad bok, eller om hans forskning skulle motbevisas, har han inga fler chanser. På så vis vill jag mena att Kahneman har mer skin in the game, alltså mer att förlora om det han skriver om skulle visa sig felaktigt.

Här ska tilläggas att både Erikson och Kahneman fått ta emot kritik för sina böcker. Erikson i samband med att Filter-artikeln kom ut, vilket han besvarade i ett inlägg på sin webbsida. Kahneman sedan färsk forskning om subliminal priming visat sig vara svåra att replikera, vilket han besvarade i ett öppet brev till de forskare som genomfört grundstudierna.

Subjektiv granskning

Den subjektiva granskningen är till för att klargöra faktorer som påverkar hur man själv förhåller sig till materialet och författaren.

1. Känner du till dina fördomar om materialet?

Ens förutfattade meningar påverkar hur man tar till sig information. Det i mina bloggposter ständigt återkommande confirmation bias, och dess ”syskon” disconfirmation bias, är relevant här. Vi människor söker bekräftelse för vår förutfattade tes samtidigt som vi är överdrivet kritiska till det som talar emot den. Om du redan har en förutfattad mening är det givetvis svårt att sudda ut den, men att medvetandegöra den för sig själv är åtminstone steg mot att kunna läsa mer objektivt.

2. Känner du till vad du investerat i materialet?

Om du tidigare uttalat dig positivt eller investerat pengar i något kommer du troligtvis att ha svårare att vara kritisk till det. Det är ett resultat av kognitiv dissonans.

Kognitiv dissonans innebär att man drabbas av en mental konflikt orsakad av två eller flera motstridiga mentala koncept, vilket orsakar en psykologisk stress. Det kan exempelvis vara ett beteende, såsom att kasta plast i naturen, som inte stämmer överens med en uttalad attityd, att man vill vara miljövänlig. Man kan då lösa konflikten genom att antingen ändra sitt beteende, eller sin attityd, eller rationalisera beteendet, typ: ”äsch, jag återvinner ju alla mina läskburkar hemma, så jag gör minsann vad jag kan för naturen”. Om en chef köpt in DISC-verktyg till hela sin personalgrupp, men sedan läser Filter-artikeln och får veta att verktyget är en bluff, vill inte medge att den kastat pengarna i sjön. Den kommer då att säga något i stil med ”okej, de kanske inte är vetenskapliga, men DISC-analysen var faktiskt jättebra för att förbättra kommunikationen i vår personalgrupp, det kände jag på mig” för att råda bot på sin kognitiva dissonans.

3. Känner du till dina fördomar om författaren?

Om du har en positiv förutfattad mening om författaren riskerar du att drabbas av den så kallade halo-effekten. Det innebär att vi, om vi formar en inledande positiv bild av en person, tycker att det mesta den säger och gör är bra och korrekt. Även det omvända råder. Om du har en negativ bild av en person kommer du troligtvis att vara överdrivet kritisk till det den skriver. Ibland är det befogat, ibland inte.

4. Känner du till vad dina vänner tycker?

Vi är starkt påverkade av vad personer i vår sociala närhet tycker. Så, om du är omgiven av människor som hyllar Thomas Erikson och hans böcker, är det troligt att du själv kommer att vara positivt inställd till honom och hans verk. Även här gäller det omvända. Om dina vänner och bekanta helst skulle vilja arrangera bokbål med Thomas Eriksons böcker, tycker jag ändå att du ska läsa dem själv och bilda en egen uppfattning (givetvis efter att ha granskat böckerna med hjälp av den här checklistan, he he).

5. Är du beredd på att ”ha fel”?

Det kan vara svårt, rent av lite ångestfyllt, att erkänna att man har haft fel om någonting. Men, det är avgörande för att man ska kunna uppdatera sin kunskap om ett ämne. Min personliga åsikt är att det är eftersträvansvärt att söka sina egna vanföreställningar, för att korrigera dem, och att påminna sig om misstag, för att lära av dem (jag gjorde exempelvis ett CV över misslyckanden förra året). Därför tycker jag att man ska fråga sig om man är beredd på att ändra sin uppfattning i takt med att man nås av ny information. Är man inte det, behöver man ju inte läsa överhuvud taget, utan kan gå ut och starta en sekt (eller kanske ett företag som säljer beteendeanalysinstrument) baserat på det där man redan ”vet”.

Sammanfattning

Här har jag alltså gett ett förslag på 10 punkter jag tycker att man bör checka av när man läser en bok i genren facklitteratur inom beteendevetenskap. Jag tycker att man ska göra både en så objektiv bedömning man kan av boken och dess författare, samt en subjektiv bedömning där man försöker att ta reda på hur man själv är påverkad innan läsningen. 

Objektiv granskning

Ju fler ja du kan svara på dessa frågor, desto bättre.

  1. Finns det källor och källhänvisningar?
  2. Är källorna trovärdiga?
  3. Använder man trovärdiga försäljningsknep?
  4. Har författaren relevant expertis?
  5. Har författaren skin in the game?

Subjektiv granskning

Ju fler ja du kan svara på dessa frågor, desto bättre.

  1. Känner du till dina fördomar om materialet?
  2. Känner du till vad du investerat i materialet?
  3. Känner du till dina fördomar om författaren?
  4. Känner du till vad dina vänner tycker?
  5. Är du beredd på att ”ha fel”?

En sista sak jag, som leg. Psykolog Dan Katz påminde mig om: ”om innehållet verkar för bra för att vara sant, så är det troligtvis för bra för att vara sant”. Det gäller i allra högsta grad facklitteratur inom beteendevetenskap. Exempelvis: om människor är så simpla att allt vårt beteende kan delas in i fyra kategorier, hur kommer det sig då att detta inte är konsensus bland experter på fältet?

Jonas Hjalmar Blom är skönlitterär författare och Leg. Psykolog. Han skriver om sådant han är intresserad av (men inget annat). Du kan kontakta honom genom att klicka här.