Inconvénients, difficultés

• Le nombre de citations n'est pas une mesure correcte de la qualité ni même de la quantité d'informations nouvelles des publications. Il y a d'autres critères que la qualité scientifique brute du travail qui font qu'un article est lu et cité : la clarté de l'article, le fait qu'il soit dans une thématique « à la mode » ou non, voire que l'article soit cité comme exemple de mauvaise recherche scientifique.
• La fenêtre temporelle est trop courte. Dans la recherche de pointe, l'importance de l'article peut ne devenir apparente qu'après plusieurs années, et ne sera donc pas prise en compte par le facteur d'impact de l'ISI^[13]. De plus, les articles classiques sont cités fréquemment, même après plusieurs décennies. Pour les revues ayant des processus de publication assez longs, les auteurs n'auront cité que des articles qu'ils ont lus au moment de la rédaction de leur travail. En effet, pour certaines revues, le temps entre la soumission de l'article et sa publication peut prendre plus de deux ans. Seules les citations d'articles de moins de 3 ans avant la publication et de moins de 1 an avant la rédaction seraient alors pris en compte. Un FI d'au moins 5 ans et plus serait alors plus pertinent.
• La nature d'un domaine scientifique implique des rythmes et des quantités différentes de publication, ce qui affecte le facteur d'impact. Par exemple, les revues médicales ont des facteurs d'impact supérieurs à ceux de revues de mathématiques ; il est illogique de comparer sur le même plan une revue médicale avec une revue mathématique tant le travail d'un chercheur en biomédecine diffère de celui d'un chercheur en mathématiques. Dans le même ordre d'idées, le facteur d'impact médian dans les domaines de l’économie de la santé (2,06), des systèmes d’information (1,97), de l'innovation (1,73) de la stratégie et du management (1,73) sont nettement plus élevés que, entre autres exemples, dans le domaine de la théorie économique (0,83), du travail (0,77), voire de l'économie publique (0,59) ou de l'histoire économique et de l'histoire de la pensée économique (0,41)^[14]. Le nombre de publications et le FI des revues qui les ont publiées ne reflètent pas les mêmes types d'effets.
• Le facteur d'impact augmente avec le prestige de la revue, qui peut être artificiellement augmenté par une politique éditoriale adéquate et ses moyens en termes de publicité. Comptant la fréquence de citation par article et négligeant le prestige de la revue, le facteur d'impact confond des mesures de popularité, de prestige et d'impacts réels.
  Le facteur d'impact étant fortement lié à la revue plus qu'à l'article ; un article publié dans une revue à fort impact peut avoir un nombre de citations très bas, voire nul, et inversement.
• Le facteur d'impact ne prend pas en compte l'impact d'une information scientifique nouvelle diffusée par le biais des cours et d'autres formations. Il « représente » mieux les chercheurs qui publient le plus, que ceux qui enseignent ou par exemple améliorent ou enrichissent le contenu de Wikipédia^[15].
• Il existe un biais linguistique : les revues non-anglophones étant moins bien répertoriées, elles ne bénéficient pas ou peu d'un facteur d'impact, même quand elles sont internationalement reconnues (en sciences sociales particulièrement). Elles souffrent également de bugs dus aux diacritiques propres aux langues autres que l'anglais^[11].
• Le facteur d'impact pourrait tendre à uniformiser la recherche. Il encourage aussi la « multiplication des publications avec tronçonnement des résultats » (afin de gonfler artificiellement les chiffres)^[11].
• Le FI ne pourrait pas être reproduit à partir d'un audit indépendant, les données brutes n'étant pas accessibles^[16].
• À court terme, surtout dans le cas de journaux à FI faible, de nombreuses citations sont faites dans les articles sur les travaux précédents du chercheur (auto-citation)^[17] ; Garfield maintient cependant que ce phénomène influence peu le FI d'une revue^[18]. Une étude d'auto-citations d'auteur dans la littérature sur le diabète montre que la fréquence des auto-citations n'est pas associée à la qualité des publications^[19]. Par ailleurs, une auto-citation de la revue est fréquente dans les revues qui traitent de sujets spécialisés et qui ont de forts regroupements entre leur lectorat et leurs auteurs. Ce n'est pas nécessairement un signe de mauvaise qualité ou de manipulation^[20].
• Les listes de classement des revues basés sur le FI ou sur les résultats d'une enquête d'expert ont une corrélation modérée^[21].
• La politique éditoriale d'une revue peut affecter le FI^[22],[23] :
  1. Une revue peut publier un pourcentage important d'articles de synthèse (review article en anglais) qui sont généralement plus souvent cités que les articles de recherche proprement dit ^[24]. Par conséquent, ces articles de synthèse peuvent augmenter le FI d'une revue et les revues qui se consacrent à ces états de l'art ont souvent le FI le plus élevé dans leur domaine respectif. A contrario, des revues peuvent décider de ne pas publier des articles sur des études de cas qui ont moins de chance d'être cités et qui diminueraient le nombre moyen de citation par article.
  2. Les journaux changent la fraction d'objets citables (chiffre au dénominateur). Il s'agit d'un sujet de négociation avec Thomson Scientifique. Par conséquent, des variations du FI pouvant atteindre 300 % ont été décelées^[25]. Par exemple, les éditoriaux dans une revue ne sont pas considérés comme des articles citables et ainsi n'entrent pas dans le dénominateur dans le nombre d'articles citables. Cependant, les citations de ces articles vont toujours entrer dans le numérateur, augmentant ainsi le FI. Par ailleurs, si de tels articles citent d'autres articles (souvent d'une même revue) ces citations seront comptées et augmenteront le FI. Cet effet est difficile à évaluer. La distinction entre un éditorial et un article court est difficile à établir, par exemple les lettres aux éditeurs/rédacteurs.
  3. Les journaux peuvent publier une plus grande proportion de leurs articles ou surtout les articles qu'ils s'attendent à voir cités dans le début de l'année. Cela donne plus de temps à la revue pour récolter les citations.
• L'« impact factor » est manipulable :
  1. En 2007, la revue spécialisée Folia Phoniatrica et Logopaedica, avec un FI de 0,66, publia un éditorial qui citait tous ses articles de 2005 à 2006, en protestation contre l'utilisation absurde du FI^[26]. Le grand nombre de citations entraîna une augmentation du FI à 1,44. Par conséquent, la revue n'a pas été incluse dans le Journal Citation Reports de 2008 et 2009^[27].
  2. En 2008, un article unique (en anglais), « Une brève histoire du SHELX », incluait la phrase « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d'un cristal. » Cet article a reçu plus de 6 600 citations. Par conséquent, le FI de Acta Crystallographica Section A augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103)^[28]. Le second article le plus cité dans Acta Crystallographica Section A en 2008 avait seulement 28 citations^[29].
• Incitation à l'auto-citation
  C'est la pratique d'éditeurs qui forcent un auteur à ajouter des auto-citations de sa revue pour accepter la publication de son article, ce qui permet d'augmenter artificiellement le FI. Une étude de 2012 indique que ceci a été vécu par un chercheur sur cinq dans les domaines de l'économie, sociologie, psychologie et du commerce. Cette pratique est plus fréquente dans le monde du commerce et dans les journaux avec un faible FI^[30]. Même si des cas d'incitation à l'auto-citation ont rarement été rapportés dans les autres disciplines scientifiques^[31], cette pratique y a tout de même été détectée, par exemple en sciences du sol^[32].

Critiques, recherches d'alternatives

Mi 2013, plus de 150 scientifiques et 75 sociétés savantes avaient signé la Déclaration de San Francisco sur l'évaluation de la recherche (DORA) initiée par l'American Society for Cell Biology (en) (ASCB) en collaboration avec un groupe d’éditeurs de journaux scientifiques.