Skal Impact Factor styre vår forskning?

Impact factor (IF) ble oppfunnet i 1960 av Eugene Garfield, grunnleggeren for Institute for Scientific Information (ISI) i Philadelphia, et privat kanadisk selskap. IF blir beregnet hvert år på bakgrunn av siteringsdata produsert av ISI og omarbeidet i en database Science Citation Index (SCI), som teller siteringene til de individuelle artiklene som er indeksert i databasen. IF er beregnet ut fra antall siteringer i løpet av et år som artiklene i de to forutgående årene har fått (Gjennomsnittlige siteringsraten).

Slik beregnes IF for 2008 for et tidsskrift:

(antall siteringer i 2007 + antall siteringer i 2006)/(antall publiserte artikler i 2007 + antall publiserte artikler i 2008)

Dersom IF er 2.8 betyr dette at en artikkel fra tidsskriftet i gjennomsnitt er sitert to-tre ganger i løpet av 2008. I realiteten er det imidlertid slik at noen av artiklene er sitert langt oftere og andre kanskje ikke i det hele tatt.

Opprinnelig var IF tenkt som et verktøy for å sammenlikne tidsskrifter, og ikke av de enkelte artikler som er publisert. IF har etter hvert fått en utrolig stor makt. Forskningsartiklers kvalitet blir oftest vurdert på grunnlag av IF til det tidsskriftet de publiseres i. Forskerne blir vurdert på grunnlag av tidsskriftet de publiserer i. Universiteter rangeres etter IF. Forskningsbevilgninger og ansettelser i akademiske stillinger blir i flere land basert på denne faktoren. Gjennom slik bruk oppnås en selvforsterkende effekt.

Det er flere problemer forbundet med bruk av IF for å evaluere forskningskvalitet. I stor grad bestemmes IF av formelens utforming. Telleren i brøken er det totale antall siteringer, mens nevneren bare er antall artikler. Det vil si at mange kontroversielle «Editors» og «Letters» vil øke tidsskriftes IF. Det blir ikke korrigert for antall selvsiteringer. Databasen er dominert av amerikanske tidsskrifter. Siteringstradisjoner er forskjellig innenfor ulike fagområder. Forskningsområder som raskt blir foreldet blir favorisert. Små forskningsområder mangler tidsskrifter med høy IF. Rask publisering og oversiktsartikler øker IF. Nyere forskningsfelt blir mindre sitert enn etablerte.

Spørsmålet er om det er riktig at et privat kanadisk selskap, ISI, skal dominere og prege utviklingen i forskningen. Den første som reiste kritikk mot systemet med IF var Per Seglen i 1997. Siden har flere uttalt at dette systemet er en katastrofe for mange ikke-amerikanske tidsskrifter og for klinisk forskning, særlig for de «små» fagene. Til tross for at flere er klar over at IF er en veldig usikker indikator for kvalitet, føler mange forskere seg bundet av denne faktoren for å kunne fremme sin karriere.

Det er et paradoks at et system som de fleste i dag erkjenner har store feil, mangler og ikke er en gyldig målestokk for kvalitet, fortsatt benyttes av de fleste innen forskningssektoren. For å sitere Steven Lock Editor BMJ: «It is remarkable that scientists may rely upon such a non-scientific method for the evaluation of the scientific quality of a paper as the IF of the journal in which it is published.»