Coalition for Advancing Research Assessment (CoARA) to koalicja instytucji europejskich i pozaeuropejskich, które w lipcu 2022 r. zawarły porozumienie o współpracy na rzecz reformy systemu oceny badań naukowych jako odpowiedź na raport Komisji Europejskiej pt. Towards a reform of the research assessment system wskazujący na potrzebę zmian obecnych zasad. Porozumienie zostało poparte przez ponad 350 organizacji naukowych i wspierających naukę z ponad 40 krajów. Na dzień 26 października 2023 r. porozumienie podpisały 644 organizacje, a 583 z nich przystąpiły do Koalicji. Polska jest reprezentowana przez ponad 50 instytucji.

Członkami CoARA są przede wszystkim uniwersytety i instytuty badawcze, a także towarzystwa naukowe i stowarzyszenia naukowców, publiczne lub prywatne organizacje finansujące badania, krajowe/regionalne władze lub agencje oraz organizacje non-profit zaangażowane w ocenę badań naukowych.

Sygnatariusze porozumienia zobowiązują się do realizacji wspólnej wizji, zgodnie z którą ocena badań naukowych, naukowców i instytucji badawczych będzie uwzględniać różnorodne aspekty aktywności akademickiej, które mają wpływ na jakość, rozpoznawalność i możliwość wykorzystania badań naukowych. Wymaga to oparcia oceny przede wszystkim na kryteriach jakościowych, uzupełnianych odpowiedzialnym stosowaniem wskaźników bibliometrycznych. To z kolei podkreśla rolę ocen eksperckich (peer review). Porozumienie wyznacza wspólny kierunek reformy oceny badań naukowych, przy jednoczesnym zapewnieniu poszanowania autonomii organizacji.

Sygnatariusze porozumienia mają możliwość wymiany wiedzy i doświadczeń, wspólnej pracy, testowania i pilotowania postępów i skutków reformy, z korzyścią dla społeczności badawczej i akademickiej, zwłaszcza młodych naukowców. Instytucje tworzące CoARA mają wpływ na kierunki zmian dotyczących zasad oceny np.   w procesie ubiegania się o granty czy w procesie ewaluacji instytucji.

Zadaniem Koalicji jest upowszechnienie wiedzy na temat konsekwencji obecnych modeli ewaluacji, dążenie do przygotowania propozycji systemu ocen, który będzie promował jakość i oryginalność naukową badań, oraz pomoc w dostosowaniu proponowanych rozwiązań  do systemów prawnych obowiązujących w różnych krajach. Inicjatywa ma również na celu poszerzenie definicji osiągnięć naukowych, tak aby oprócz wskaźników bibliometrycznych brać pod uwagę także inne formy działalności naukowej (m.in. zbieranie i udostępnianie danych, opracowywanie metod badawczych i analitycznych, działanie na rzecz społeczności akademickiej i społeczeństwa, kształcenie następnych pokoleń badaczy, itd.).

Porozumienie zawarte przez sygnatariuszy CoARA zawiera 4 kluczowe zobowiązania:

1. Uwzględnienie różnorodności form udziału w rozwoju nauki oraz akceptowanie zindywidualizowanych ścieżek karier naukowych, zgodnych z charakterem prowadzonych badań.
2. Oparcie ocen na kryteriach jakościowych, przede wszystkim z wykorzystaniem opinii eksperckich.
3. Traktowanie danych bibliometrycznych jako elementów pomocniczych, a nie podstawowych.
4. Unikanie wykorzystywania rankingów uczelni w ocenach badań.

Ponadto sygnatariusze zobowiązują się do:

1. Zabezpieczenia odpowiednich środków pozwalających na opracowywanie i wdrażanie reform.
2. Analizowania i rozwijania proponowanych kryteriów, narzędzi i procesów oceny.
3. Promocji działań na rzecz reformy systemu i zapewnienia przejrzystych informacji, wskazówek oraz szkoleń w zakresie kryteriów i procesów oceny.
4. Wymiany praktyk i doświadczeń w ramach Koalicji oraz poza nią.
5. Komunikowania postępów prac.
6. Ewaluacji praktyk, kryteriów i narzędzi na podstawie wiarygodnych danych i aktualnych badań, a następnie udostępniania danych na ten temat.

W ramach Koalicji działają grupy robocze oraz oddziały krajowe. Grupy robocze mają kluczowe znaczenie dla misji CoARA polegającej na umożliwieniu systemowej reformy oceny badań naukowych. W oparciu o podejście oddolne, grupy robocze działają jako "społeczności praktyków", zapewniając wymianę doświadczeń i współpracę w określonych obszarach tematycznych. Rolą oddziałów krajowych jest koordynowanie prac sygnatariuszy i umożliwienie wprowadzania proponowanych rozwiązań w ramach obowiązujących krajowych regulacji prawnych.

Uniwersytet Jagielloński wraz z Politechniką Koszalińską, pod auspicjami Konferencji Rektorów Akademickich Szkół Polskich i Polskiej Akademii Nauk, powołał Polski Oddział Krajowy CoARA (National Chapter – Poland, NC-PL) w celu realizacji zobowiązań zawartych w Porozumieniu. Obecnie skupia on 41 sygnatariuszy z Polski i ma na celu aktywne angażowanie naukowców i menedżerów nauki w prace nad reformą oraz w działania na rzecz zapewnienia spójności rozwiązań uzgodnionych w ramach Koalicji z polskim prawem, w tym inicjowanie niezbędnych zmian legislacyjnych. Na zebraniu inauguracyjnym w październiku 2023 roku koordynatorem NC-PL wybrany został prof. Stanisław Kistryn (Uniwersytet Jagielloński), a współkoordynatorem prof. Danuta Zawadzka (Politechnika Koszalińska).

Celem długoterminowym polskiego oddziału CoARA będzie opracowanie sprawiedliwych kryteriów ścieżek kariery, aby wspierać najbardziej utalentowanych naukowców. Zostaną przygotowane rekomendacje ukierunkowane na zwiększenie stabilności zawodowej uznanych badaczy, aby ułatwić im budowanie profesjonalnych zespołów. Planowane jest również opracowanie rekomendacji mających na celu zwiększenie elastyczności zasad zatrudnienia, minimalizowanie ograniczeń formalnych i poprawę warunków pracy naukowców, zwłaszcza habilitantów. Nadrzędnym celem jest zainicjowanie zmian w obecnej kulturze akademickiej, tak aby wspierała ona podejmowanie długoterminowych, ambitnych wyzwań naukowych, a nie tylko realizację kolejnych krótkoterminowych grantów. Kierunek ten jest zgodny z zaleceniami ERAC, w których podkreślono konieczność zapewnienia przejrzystych i opartych na obiektywnych kryteriach zasad zatrudniania naukowców, promowania częstszego korzystania z umów na czas nieokreślony i przeciwdziałania zjawisku prekariatu.

W pierwszym okresie, najważniejszym zadaniem oddziału krajowego CoARA w Polsce będzie podsumowanie obecnych zasad ewaluacji stosowanych przez różne instytucje działające w ramach tego samego systemu prawnego i rekomendacja najlepszych praktyk.

Osoby do kontaktu z ramienia Uniwersytetu Jagiellońskiego:

1. Prof. dr hab. Stanisław Kistryn, stanislaw.kistryn@uj.edu.pl 
2. Prof. dr hab. Alicja Józkowicz, alicja.jozkowicz@uj.edu.pl 

The Coalition for Advancing Research Assessment (CoARA) is a coalition of European and non-European institutions that in July 2022 concluded an agreement to work together to reform the research assessment system as a response to the European Commission’s report Towards a reform of the research assessment system indicating the need for changes to the current rules. The agreement was endorsed by more than 350 research and research support organisations from more than 40 countries. As of October 26 2023, 644 organizations have signed the agreement, and 583 of them have joined the Coalition. Poland is represented by more than 50 institutions.

The signatories of the agreement commit to a common vision, according to which the evaluation of research, researchers and research institutions will take into account the various aspects of academic activity that affect the quality, recognition and applicability of research. This requires the evaluation to be based primarily on qualitative criteria, complemented by the responsible use of bibliometric indicators. This, in turn, emphasizes the role of expert evaluations (peer review). The agreement sets a common direction for research evaluation reform, while ensuring respect for the autonomy of organizations.

Signatories to the agreement have the opportunity to exchange knowledge and experience, work together, test and pilot the progress and impact of the reform, for the benefit of the research and academic community, especially young researchers. The institutions that make up CoARA have an influence on the directions of changes regarding evaluation rules, e.g. in the process of applying for grants or in the evaluation process of institutions.

The Coalition's task is to spread awareness of the implications of current evaluation models, strive to prepare a proposal for an evaluation system that will promote scientific quality and originality in research, and help align the proposed solutions with the legal systems in place in various countries. The initiative also aims to broaden the definition of scientific achievements to take into account other forms of scientific activity in addition to bibliometric indicators (such as collecting and sharing data, developing research and analytical methods, acting for the benefit of the academic community and society, educating the next generation of researchers, etc.).

The agreement reached by CoARA signatories includes 4 key commitments:

1. Recognise the diversity of contributions to, and careers in, research in accordance with the needs and nature of the research.
2. Base research assessment primarily on qualitative evaluation for which peer review is central, supported by responsible use of quantitative indicators.
3. Abandon inappropriate uses in research assessment of journal- and publication based metrics, in particular inappropriate uses of Journal Impact Factor (JIF) and h-index.
4. Avoid the use of rankings of research organisations in research assessment.

In addition, the signatories commit to:

1. Allocate resources to reforming research assessment as is needed to achieve the declared organisational changes.
2. Review and develop research assessment criteria, tools and processes.
3. Raise awareness of research assessment reform and provide transparent communication, guidance, and training on assessment criteria and processes as well as their use.
4. Exchange practices and experiences to enable mutual learning within and beyond the Coalition.
5. Communicate progress made on adherence to the Principles and implementation of the Commitments.
6. Evaluate practices, criteria and tools based on solid evidence and the state-of-the-art in research on research, and make data openly available for evidence gathering and research.

Jagiellonian University, together with Koszalin University of Technology, under the auspices of the Conference of Rectors of Academic Schools in Poland and the Polish Academy of Sciences, established the Polish National Chapter of CoARA (National Chapter - Poland, NC-PL) to implement the commitments contained in the Agreement. It currently brings together 41 signatories from Poland and aims to actively engage scientists and science managers in the work on reform and in efforts to ensure the consistency of solutions agreed upon within the Coalition with Polish law, including initiating necessary legislative changes. At the inaugural meeting in October 2023, Prof. Stanislaw Kistryn (Jagiellonian University) was elected coordinator of NC-PL, and Prof. Danuta Zawadzka (Koszalin University of Technology) was elected co-coordinator.

The long-term goal of the Polish chapter of CoARA will be to develop equitable criteria for career paths to support the most talented researchers. Recommendations will be prepared aimed at increasing the professional stability of established researchers to make it easier for them to build professional teams. It is also planned to develop recommendations aimed at increasing the flexibility of employment rules, minimizing formal restrictions and improving working conditions for researchers, especially postdoctoral fellows. The overarching goal is to initiate changes in the current academic culture so that it supports taking on long-term, ambitious scientific challenges, rather than just pursuing more short-term grants. This direction is in line with ERAC's recommendations, which emphasize the need to ensure transparent rules for hiring researchers based on objective criteria, promote greater use of open-ended contracts and counteract the phenomenon of the precariat.

In the first stage, the most important task of CoARA's national branch in Poland will be to summarize the current evaluation principles used by various institutions operating within the same legal system and to recommend best practices.

• Prof. Stanisław Kistryn, stanislaw.kistryn@uj.edu.pl
• Prof. Alicja Józkowicz, alicja.jozkowicz@uj.edu.pl