G7-Staaten wollen Anreize für Open Science setzen

Die G7-Wissenschaftsministerinnen und -minister haben als Ergebnis ihrer bisher fünften Konferenz in Turin ein Communiqué (PDF) veröffentlicht, dass das Thema Open Science aufgreift. Neben der Bedeutung von Forschungsinfrastrukturen für digitale Forschungsdaten betonen die G7-Staaten die Bedeutung von Anreizen für Open Science. Auszug:

„First, the incentives for the openness of the research ecosystem: the evaluation of research careers should better recognize and reward Open Science activities. Secondly, the infrastructures for an optimal use of research data: all researchers should be able to deposit, access and analyse scientific data across disciplines and at the global scale, and research data should adhere to the FAIR principles of being findable, accessible, interoperable, and reusable.“
Der Bericht (PDF) der zuständigen „G7 Open Science Working Group“ beschreibt den Handlungsbedarf für die Mitgliedsstaaten wie folgt:
  • „Recognizing Open Science practices during evaluation of research funding proposals, and research outcomes;
  • Recognizing and rewarding research productivity and impact that reflect open science activities by researchers during career advancement reviews;
  • Including credit for service activities such as reviewing, evaluating, and curation and management of research data; and,
  • Developing metrics of Open Science practices“.

Erst jüngst hat die Arbeitsgruppe „Open Science Rewards“ der Open Science Policy Platform (OSPP) der Europäischen Kommission einen Report (PDF) zum Themenfeld “Rewards/Recognition under Open Science“ veröffentlicht. Die Expertinnen und Experten empfehlen Open Science als Beurteilungskriterium für Forschende zu berücksichtigen. U. a. enthält der Report eine „Open Science Career Assessment Matrix (OS-CAM)“, die Evaluierungskriterien für Open Science in den Blick nimmt. Zum Umgang mit Forschungsdaten werden z. B. die folgenden drei Kriterien vorgeschlagen:

  • „Using the FAIR data principles“
  • „Adopting quality standards in open data management and open datasets“
  • „Making use of open data from other researchers“

Wie es scheint kommt nach Jahren des Stillstands etwas Bewegung in die Diskussion um zeitgemäße Anreize und transparente Metriken für Forschende, die die Entwicklung von Open Science aktiv unterstützen.

Advertisements

Open Science Monitor der EU-Kommission online

Der „Open Science Monitor“ der EU-Kommission ist online. Auszug aus der Beschreibung des Tools zum Monitoring von Open Science in Europa:

„The Open Science Monitor supports open science initiatives in Europe. It provides a way to assess developments in open science and particularly trends in open science activities over time and comparatively between countries and scientific disciplines. […] The monitor was commissioned by the European Commission Directorate-General for Research and Innovation. It was developed by several partners, led by RAND Europe with the support of Digital Science, Altmetric, figshare and Deloitte.“

Für den Bereich „Open Research Data“ werden Daten  von re3data verwendet:

Open Science Monitor

Eine ausführliche Darstellung der Methodik findet sich auf der Website des Monitors (PDF). Der Monitor greift auf folgende Quellen zu: 101innovations, Altmetric, arXiv, bioRxiv, Clarivate Analytics, F1000Research, figshare, GenBank, Helmholtz-Centre for Environmental Research – UFZ and German Centre for Integrative Biodiversity Research (iDiv), Nature Publishing Group and Palgrave Macmillan, OpenAIRE, PeerJ preprints, Publons, re3data.org, RePEc, SHERPA/RoMEO, SHERPA/JULIET, Taylor & Francis und Wiley. In Zukunft sollen weitere Quellen, z. B. zur offenen Zugänglichmachung von wissenschaftlicher Software und Open Educational Resources integriert werden.

Next-generation metricsPassend zum Thema Metriken für Open Science hat heute die „Expert Group on Altmetrics“, die die Generaldirektion Forschung und Innovation der EU-Kommission berät, ihren Abschussbericht unter dem Titel „Next-generation metrics: Responsible metrics and evaluation for open science“ veröffentlicht.

Die fünf Kernaussagen des lesenswerten Reports lauten: „An open science system should be grounded in a mix of expert judgement, quantitative and qualitative measures“; „Transparency and accuracy are crucial“; „Make better use of existing metrics for open science“;“Next generation metrics should be underpinned by an open, transparent and linked data infrastructure;“ sowie „Measure what matters“.  Damit wird ein deutlicher Kurswechsel bei der Evaluierung von Forschungsleistung vorgeschlagen.

Die Expertinnen und Experten der Arbeitsgruppe empfehlen auch den Standard ORCID zur Identifikation von Autorinnen und Autoren und weiteren Beteiligten im Forschungsprozess verpflichtend im kommenden Rahmenprogramm für Forschung und Innovation (FP9) zu verankern.

Disclosure: Ich bin in zwei der genannten Initiativen involviert: re3data und ORCID DE.

High Impact Factor und Open Access passen zusammen

Eine kürzliches erschienenes Paper The presence of High-impact factor Open Access Journals in Science, Technology, Engineering and Medicine (STEM) disciplines zeigt, dass sich OA bezüglich Impact Factor immer weniger zu verstecken braucht. Die Autoren haben im August 2014 das DOAJ mit den Journal Citation Reports (JCR) Sciene Edition 2013 verglichen. Da im Juni 2015 die Impact Factoren von 2014 neu berechnet worden sind, sind die Daten leider nicht mehr ganz aktuell, aber dennoch interessant:

  • Von insgesamt 8470 Journals im JCR Science sind 955 (11%) auch im DOAJ gelistet.
  • Nur 16 Kategorien des JCR Science haben gar kein OA Journal.
  • In über der Hälfte der 176 Kategorien des JCRs gibt es OA Journals im oberen Viertel der Kategorie.
  • In acht Kategorien ist/war das führende Journal gar OA:
Name Verlag Kategorie Rang 2015
Genetic Selection Evolution BMC AGRICULTURE, DAIRY & ANIMAL SCIENCE 1
PLoS Biology PLOS BIOLOGY 2
Journal of Medical Internet Research JMIR MEDICAL INFORMATICS 3
Studies in Mycology CBS-KNAW / Elsevier MYCOLOGY 1
Living Reviews in Relativity Springer PHYSICS, PARTICLES & FIELDS 1
Annals of Family Medicine Annals of Family Medicine, Inc PRIMARY HEALTH CARE 1
PLoS Neglected Tropical Diseases PLOS TROPICAL MEDICINE 1
Veterinary Research BMC VETERINARY SCIENCES 3

Interessant auch die Bemerkung der Autoren:

While the vast majority of OA journals are not paid-publication journals, we find that a substantial majority of high-impact-factor OA journals are paid-publication journals. This latter method seems to be popular among born OA large publishing houses such as BMC or PLoS, while journals without publication fees are usually related to smaller academic publishers or research funders such as the Max Planck Society.

So ganz erstauntlich ist dies nicht. Von Frontiers ist mir zum Beispiel bekannt, dass sie nach dem Merger gezielte Hilfe von NPG erhalten haben, um die eigenen Journals auf einen hohen IF zu optimieren. Für das IF-Tuning braucht es also schon etwas Willen, Know-How und Zeit, wobei diese Faktoren bei „idealistisch“ geführten OA-Journals ohne APC seltener vorhanden sein dürften.

Und noch ein Detail am Rande: Google hat den IF neuerdings in die Suche integriert:

Google Suche erkennt Impact Factor

Wissenschaftsrat empfiehlt die Publikation von negativen Resultaten

Der Wissenschaftsrat, das zentrale wissenschaftspolitische Beratungsgremium Deutschlands, hat auf seinen Frühjahrssitzungen in Stuttgart lesenswerte „Empfehlungen zu wissenschaftlicher Integrität“ veröffentlicht. In der Pressemitteilung dazu heißt es:

„Die Empfehlungen des Wissenschaftsrates widmen sich mit diesem Ansatz nicht nur gravierenden Fällen des Wissenschaftsbetrugs wie Datenfälschung oder Plagiaten, sondern betrachten auch die Grauzone verschiedener Formen nicht integren oder unverantwortlichen Verhaltens. Damit geht der Wissenschaftsrat weit über den in der öffentlichen Debatte bisher dominierenden Schwerpunkt von Plagiatsfällen in Doktorarbeiten hinaus. Betrachtet wird der gesamte Forschungsprozess und auch das Studium als entscheidende Phase für die Entwicklung wissenschaftlicher Integrität wird miteinbezogen.“

In den Empfehlungen (PDF) werden auch einige Ergebnisse der Fakultätenbefragung des Wissenschaftsrates dokumentiert. Nach dieser Erhebung, die u. a. die Verbreitung der gängigen Leitlinien zur guten wissenschaftlichen Praxis in Deutschland untersuchte, konstatiert der Wissenschaftsrat ein „ernüchterndes Bild, da selbst die DFG-Denkschrift und die HRK-Leitlinie als bekannteste Direktiven nur etwa der Hälfte bzw. zwei Dritteln der Antwortenden bekannt sind“. Gemeint sind hier die Denkschrift „Sicherung guter wissenschaftlicher Praxis“ der DFG (1998/2013) und die Empfehlung „Gute wissenschaftliche Praxis an deutschen Hochschulen“ der HRK (2013). Weiter stellt der Wissenschaftsrat fest, dass die „langjährige Aufbewahrung und Nutzungsmöglichkeit von Forschungsdaten“ nur von „etwa der Hälfte“ der antwortenden Hochschulen umgesetzt wird.

Empfehlungen zu wissenschaftlicher IntegritätVor diesem Hintergrund adressieren die Empfehlungen des Wissenschaftsrates jetzt Forschende, deren Einrichtungen, die Politik, Förderorganisationen, Evaluationsagenturen und auch Wissenschaftsverlage und -zeitschriften. Für jeden dieser Akteure werden Handlungsempfehlungen gegeben. Wie bereits in vorhergehenden Empfehlungen „bekräftigt“ der Wissenschaftsrat seine Forderung „Forschungsdaten internationalen Standards entsprechend aufzubereiten, für einen ausreichend langen Zeitraum aufzubewahren und für Anschlussforschung zugänglich zu machen.“ Der Politik wird hierzu empfohlen „strategische Konzepte und Leitlinien“ zum Thema Forschungsdatenmanagement auf den Weg zu bringen. Positiv herausgehoben werden Entwicklungen in einigen Bundesländern, wie z. B. in Baden Württemberg. Dort wurde im letzten Jahr ein “Fachkonzept zur Weiterentwicklung der wissenschaftlichen Infrastruktur” veröffentlicht, welches auch den Umgang mit wissenschaftlichen Daten thematisiert. Herausgeberinnen und Herausgebern von Fachzeitschriften werden aufgefordert „den Zugang zu Forschungsdaten und die Transparenz des Forschungsprozesses insgesamt zu befördern“. In diesem Kontext soll, so der Wissenschaftsrat, auch die „Publizierbarkeit von Replikationsstudien und negativen Forschungsergebnissen“ verbessert werden:

„Negative Forschungsergebnisse müssen grundsätzlich auch in renommierten Journalen publizierbar sein, bspw. als Teil der Hauptpublikation oder in gesonderten Sparten, ebenso wie Replikationsstudien. Errata und Korrigenda sollten systematisch veröffentlicht und bspw. mit der Originalpublikation verknüpft werden, um die Verbreitung falscher Daten zu verhindern. Online-Repositories mit zugänglichen Forschungsprimär- und Metadaten stellen ebenfalls wichtige Maßnahmen für die Förderung wissenschaftlicher Integrität dar. „

Um die Veröffentlichung von negativen Resultaten zu fördern, empfiehlt der Wissenschaftsrat Förderorganisationen die Publikation negativer Ergebnisse bei der Bewertung von Forschungsvorhaben und -ergebnissen positiv zu bewerten.

Internet-Enquete setzt auf Open Access

Die Projektgruppe „Bildung und Forschung“ der Enquete-Kommission „Internet und digitale Gesellschaft“ hat nach dreizehnmonatiger Arbeit Handlungsempfehlungen zu Bildung und Forschung im digitalen Zeitalter veröffentlicht (PDF). Neben Themen wie  „Lernen mit Social Media“, „Bildungs- und Wissenschaftsschranke im Urheberrecht“ sowie „E-Books in der Bibliothek“ wird der offene Zugang zu wissenschaftlicher Information behandelt.

Bund, Ländern und Wissenschaftsorganisationen wird empfohlen „Open Access im Wissenschaftsbereich umfassend zu unterstützen“. Hochschulen und Forschungseinrichtungen sollen Open-Access-Strategien entwickeln und diese mit Hilfe begleitender Maßnahmen (z.B. Repositorien und Publikationsfonds) umsetzen. Fachgesellschaften werden ermutigt, ihre Publikationsorgane frei zugänglich zu machen und damit die Entwicklung von Open Access voranzutreiben.

Mit Blick auf die Novellierung des Urheberrechtsgesetzes („Dritter Korb“) wird ein „verbindliches Zweitveröffentlichungsrecht für alle wissenschaftlichen Beitrage in Periodika und Sammelbänden“ empfohlen. Erfreulich ist, dass diese Forderung von allen Parteien mitgetragen wird. Geprüft werden soll darüber hinaus die Anwendbarkeit eines solchen Rechts auf andere Werkarten.

Open Access, so die Projektgruppe, soll weiter in der Forschungsförderung verankert werden. Anliegen ist, die Entwicklungen auf europäischer Ebene aufzugreifen und für eine „Vereinheitlichung der entsprechenden Regelungen“ zu sorgen. (Aller Voraussicht nach wird Open Access im kommenden EU-Forschungsrahmenprogramm verpflichtend verankert. Somit müssen alle in HORIZON 2020 entstehenden Publikationen frei zugänglich gemacht werden.) Dem Bund wird nahegelegt Open Access in der Ressortforschung verpflichtend zu verankern: Publikationen, die im Rahmen der Ressortforschung entstehen, sollen „bis spätestens zwölf Monate nach der Erstveröffentlichung“ open access zugänglich gemacht werden.

Mit Blick auf das Geschäftsmodell der Publikationsgebühr, welches insbesondere bei Open-Access-Verlagen in den naturwissenschaftlichen Disziplinen Anwendung findet, werden Obergrenzen gefordert: Fördereinrichtungen wird nahegelegt, diese Gebühren nur bis zu einer angemessenen Obergrenze zu tragen. Auszug aus den Empfehlungen:

„Bei dem Aus- und Aufbau von Publikationsfonds sollte darauf geachtet werden, dass die zur Informationsversorgung beitragenden Mittel inklusive der Subskriptionsetats korreliert werden. Zudem sollten bei der Übernahme von Open Access-Publikationskosten  verbindliche Obergrenzen festgelegt werden.“

Interessant ist die Forderung der Kommission nach sogenannten „lay summaries“: Die Internet-Enquete regt an, Anliegen und Ziel von öffentlich geförderten Forschungsprojekten, in einer für Laien verständlichen Form, zu beschreiben und dies Zusammenfassungen über eine Datenbank zugänglich zu machen. Eine solche Praktik wird z.B. bereits in der Schweiz umgesetzt.

Bemerkenswert ist die Forderung der Projektgruppe, Open Access im Rahmen von Evaluierungen besonders zu würdigen. Hierzu heißt es:

„Gleichzeitig sollen Regelungen geschaffen werden, die für eine  besondere Würdigung von Open Access-Publikationen bei Antragsverfahren sorgen und Benachteiligung bei Berufungs- beziehungsweise Besetzungsverfahren ausschließen.“

Auch der Umgang mit Forschungsdaten und die Diskussion um die Chancen und Herausforderungen des „data sharings“ werden aufgegriffen. Dabei wird u.a. die Bedeutung der Interoperabilität von Daten und Daten-Repositorien betont:

„Die Enquete-Kommission empfiehlt dem Bund, Projekte voranzutreiben, die verbindliche  Standards für Zugänglichmachung und Erhalt der digitalen Datenbestände aus öffentlicher Forschung entwickeln. Sie empfiehlt weiter die Unterstützung der Wissenschaftsorganisationen bei der Normierung und Standardisierung von (Meta-)Daten,  Quellenbezeichnungen (u.a. persistent identifiers) und anderen Formaten.“

Nach einem umfassenden Zwischenbericht, indem der offenen Zugang zu wissenschaftlichen Texten und Forschungsdaten ausführlich behandelt wird, hat die Projektgruppe Bildung und Forschung der Internet-Enquete mit ihren Handlungsempfehlungen ein bemerkenswertes Dokument vorgelegt. Den Expertinnen und Experten aus Politik und Wissenschaft ist es gelungen zentralen Themen zu identifiziert und wichtige Empfehlungen zu geben. Die Umsetzung dieser Empfehlungen muss nun durch Bund, Länder und wissenschaftliche Institutionen vorangetrieben werden.

Neues Zeitschriftenranking: Google Scholar Metrics

Über die Integration von bibliometrischen Indikatoren in Google Scholar wurde hier bereits berichtet. Gestern veröffentlichte der Suchmaschinengigant nun unter dem Namen „Google Scholar Metrics“ eine Top 100 Liste von wissenschaftlichen Zeitschriften, die nach „five-year h-index and h-median metrics“ gerankt sind. Auszug aus der Beschreibung des Angebots:

„Scholar Metrics currently cover articles published between 2007 and 2011, both inclusive. The metrics are based on citations from all articles that were indexed in Google Scholar as of April 1st, 2012. This also includes citations from articles that are not themselves covered by Scholar Metrics.“

Die beiden Indikatoren werden wie folgt definiert:

  • „h5-index is the h-index for articles published in the last 5 complete years. It is the largest number h such that h articles published in 2007-2011 have at least h citations each.“
  • „h5-median for a publication is the median number of citations for the articles that make up its h5-index.“

Die „Google Scholar Metrics“ wurden für folgende Sprachräume veröffentlicht: Englisch,  Chinesisch, Portugiesisch, Deutsch, Spanisch, Französisch, Koreanisch, Japanisch, Niederländisch und Italienisch. Das Ranking des deutschsprachigen Zeitschriftenmarktes wird von dem Springer-Journal „Bundesgesundheitsblatt – Gesundheitsforschung – Gesundheitsschutz“ angeführt. Im englischen Sprachraum führt Nature. (Ein wenig irritiert, dass mit RePEc und arXiv auch Repositorien indexiert sind.)

Update: Wie ich gerade entdeckt habe, gibt es auch im Google Scholar Blog einen Hinweis auf den Dienst. Dort wird auch auf die Möglichkeit von disziplinären Rankings aufmerksam gemacht.

Altmetrics-Studie: Neue Verfahren wissenschaftlicher Impact-Messung

Die niederländische SURFfoundation hat eine sehr lesenswerte Studie über innovative Verfahren der Impact-Messungen in der Wissenschaft veröffentlicht.  Unter dem Titel „Users, narcissism and control – tracking the impact of scholarly publications in the 21st century“ (PDF) beleuchtet die Studie Dienste und Verfahren, mit denen abseits des Impact-Faktors die Wirkung wissenschaftlicher Veröffentlichungen gemessen werden kann. U.a. werden Dienste wie Peer Evaluation, ScienceCard und PLoS Article-Level Metrics betrachtet.

Die Studie beschreibt das Potenzial dieser Dienste wie folgt:

„These allow the researcher to make some sort of limited self-assessment with respect to the response to his/her work. However, this does not mean that these technologies and databases can also legitimately be used in research assessments. For this application, they need to adhere to a far stricter protocol of data quality and indicator reliability and validity. Most new tools do not (yet) comply with these more strict quality criteria.“

Darüber hinaus werden folgende Empfehlungen gegeben:

„The report therefore advises to start a concerted research programme in the dynamics, properties, and potential use of new web based metrics which relates these new measures to the already established indicators of publication impact. Its goal would be to contribute to the development of more useful tools for the scientific and scholarly community. This programme should monitor at least the following tools: F1000, Microsoft Academic Research, Total-Impact, PlosONE altmetrics, and Google Scholar. The programme should moreover develop the following key research themes: concepts of new web metrics and altmetrics; standardisation of tools and data; and the use and normalisation of the new metrics.“

Im Januar erschien im Chronicle of Higher Education ein schöner Artikel („Scholars Seek Better Ways to Track Impact Online“) über die Diskussionen zu diesem Thema, die im Kontext des Altmetrics-Manifest geführt werden.