Die niederländische SURFfoundation hat eine sehr lesenswerte Studie über innovative Verfahren der Impact-Messungen in der Wissenschaft veröffentlicht.  Unter dem Titel „Users, narcissism and control – tracking the impact of scholarly publications in the 21st century“ (PDF) beleuchtet die Studie Dienste und Verfahren, mit denen abseits des Impact-Faktors die Wirkung wissenschaftlicher Veröffentlichungen gemessen werden kann. U.a. werden Dienste wie Peer Evaluation, ScienceCard und PLoS Article-Level Metrics betrachtet.

Die Studie beschreibt das Potenzial dieser Dienste wie folgt:

„These allow the researcher to make some sort of limited self-assessment with respect to the response to his/her work. However, this does not mean that these technologies and databases can also legitimately be used in research assessments. For this application, they need to adhere to a far stricter protocol of data quality and indicator reliability and validity. Most new tools do not (yet) comply with these more strict quality criteria.“

Darüber hinaus werden folgende Empfehlungen gegeben:

„The report therefore advises to start a concerted research programme in the dynamics, properties, and potential use of new web based metrics which relates these new measures to the already established indicators of publication impact. Its goal would be to contribute to the development of more useful tools for the scientific and scholarly community. This programme should monitor at least the following tools: F1000, Microsoft Academic Research, Total-Impact, PlosONE altmetrics, and Google Scholar. The programme should moreover develop the following key research themes: concepts of new web metrics and altmetrics; standardisation of tools and data; and the use and normalisation of the new metrics.“

Im Januar erschien im Chronicle of Higher Education ein schöner Artikel („Scholars Seek Better Ways to Track Impact Online“) über die Diskussionen zu diesem Thema, die im Kontext des Altmetrics-Manifest geführt werden.