Det är dags för en dialog mellan forskare, finansiärer, förläggare och andra för att uppnå en gemensam förståelse av vad som egentligen menas med impact, dvs. forskningens påverkan.

av Ninad Bondre (Managing Editor på Elevate Scientific)

I oktober förra året deltog jag i ett seminarium med titeln ”Publish and Perish?” (”Publicera och förgås?”), som anordnades av Sveriges Unga Akademi. Sex stycken experter deltog för att diskutera ett flertal ämnen, däribland hur vetenskaplig forskning i dagsläget utvärderas och hur den borde utvärderas.

Flera av experterna ansåg att tidskrifternas så kallade impact factor är dåligt lämpad för att utvärdera enskilda forskares forskningsprestationer. De menade att om man förlitar sig på denna faktor och andra bibliometriska mätningar, riskerar man att hämma innovation och istället uppmuntra en överdriven försiktighet vid val av forskningsområden.

En nyligen granskad studie i tidskriften Studies in Higher Education ger ett annat perspektiv på impact. Studien fokuserade på brittiska och australienska akademiker och fann att forskare tenderar att överdriva det icke-akademiska inflytandet av deras arbete när de söker anslag. För att sammanfatta studien, citerade en webbaserad artikel på Times Higher Education en australiensk forskare som undrade: “Jag vet inte vad man förväntas att säga, något som ’Jag är Columbus, jag kommer att upptäcka Västindien?!’”

Vad är då forskning som har impact? Hur mäter vi impact? Vem får bestämma över dessa frågor? Många forskare står villrådiga. Dessutom är frågan om impact förstås inte endast ett bekymmer för universiteten. Regeringsdepartement och företag, exempelvis, är också angelägna om konsekvenserna av deras policy eller produkter. Kan vi nå en viss klarhet utifrån hur sådana verksamheter definierar och mäter impact? Tidigare i år hittade jag ett arbetsdokument som är uppmuntrande i detta avseende.

Arbetsdokumentet har den passande titeln ”What is impact?” och publicerades av Overseas Development Institute – en självständig, brittisk tankesmedja för internationellt utvecklingsarbete och humanitära frågor. Artikelns utgångspunkt är att sättet man definierar och använder impact på inverkar avsevärt på hur utvecklingsprocesser och design, förvaltning samt utvärdering av olika utvecklingsprogram sker. Detta har starka paralleller med den akademiska världen: hur man definierar impact har direkt påverkan på hur forskning finansieras, genomförs samt utvärderas.

Många av studiens iakttagelser för utvecklingsarbete verkar även stämma för den akademiska världen. Till exempel finns det ingen gemensam definition av vad impact är: det finns många uppfattningar och tolkningar, och dessa kan vara allt från mycket specifika till mycket breda. Dessutomär det omdebatterat vilka metoder som skall användas för att mäta impact. Istället för att fokusera på sådana debatter, undersöker studien vem som definierar impact och hur utvecklingsarbete bedöms.

Studien listar sex kategorier av impact för att klargöra vad det kan innebära när det gäller utvecklingsarbete och förändringen det skapar:

• tillämpning; omfattning
• ämne och förändringsgrad
• grad av åtskillnad (degree of separation)
• förändringens omedelbarhet, hastighet och hållbarhet
• samstämmigheten i nyttor.

Grad av åtskillnad, till exempel, har att göra med hur omedelbart sambandet mellan insatsen och dess resultat är.

Studien uppmanar utvecklingsprogram till att engagera olika intressenter i en dialog om hur impact används och förstås. Detta kan sedan leda till en gemensam förståelse av impact. Enligt min mening borde den akademiska världen också överväga detta. De berörda parterna kan omfatta enskilda akademiker; institutioner som de arbetar för; vetenskapliga fackföreningar, vetenskapliga organisationer och akademier; forskningsfinansiärer; departement; akademiska förlag; och konsultföretag såsom Elevate. Kanske finansiärerna kunde leda denna process?

En gemensam förståelse av impact som bygger på sådan dialog kan bidra till att hantera förvirringen som uttrycks av enskilda forskare, såsom av den australiensiska forskaren som citerades ovan. Finansiärer skulle kunna utveckla mer precisa, kontextspecifika mallar för att beskriva innebörden av impact. Ansökanden för anslag kunde då lättare förstå vad som krävs för att motivera impact och med större säkerhet argumentera för sin forsknings impact istället för att ge efter för konkurrenstrycket och bli frestade att överdriva. På ett liknande sätt kunde löpande samtal mellan universitet, forskare och förläggare hjälpa till med att utforma nyanserade kriterier – som går utöver tidskriftens impact factor – för utvärdering av forskning.

Denna diskussion har redan börjat, till exempel genom Sveriges Unga Akademis seminarium som jag deltog i, i rapporter som The Metric Tide och av ett experimenterande med sk. preprints, alltså insända men ännu inte publicerade artiklar, och expertgranskning av forskningsartiklar efter publicering. Men mycket av det här förändringsarbetet sker bottom-up och är ofta inte särskilt samordnat: även om det har sina styrkor, tror jag att det skulle kunna kompletteras med en mer medveten och kontinuerlig dialog mellan de berörda parterna. Inte bara i Västvärlden, utan även i andra delar av världen såsom Kina, Indien, Latinamerika och Afrika.

Vi på Elevate Scientific ser fram emot att bidra till och, möjligtvis, medla denna dialog.

Detta inlägg publicerades först på http://elevatescientific.com/in-search-of-impact/ och återges här (i svensk översättning) med tillstånd.

Elevate Scientific är ett internationell konsultföretag för forskningskommunikation, med huvudkontor i Malmö.