Hodnoťte hodnotitele hodnotitelů hodnocení!

Roman Šolc

Současný systém hodnocení výstupů vědecké práce má řadu nedostatků. Tyto potíže vyplývají z přehnané potřeby vše hodnotit a vytvářet různé žebříčky.

Dnešní doba se vyznačuje mnoha zvláštními rysy. V tomto článku bych se rád zaměřil na dva z nich, jež ve své kombinaci způsobují některé paradoxy v životě současné vědecké obce. Prvním rysem je rozšířená potřeba vše kolem sebe hodnotit či posuzovat, druhým pak často se projevující záměna cíle s prostředkem jeho dosažení. Obojí se plně projevuje v současném systému posuzování kvality vědecké práce.

Fenomén jménem RIV

Roku 2002 vznikl RIV (Rejstřík informací o výsledcích). Tato databáze byla původně založena s úmyslem evidovat výstupy vědecké práce v ČR, postupem času se transformovala v hlavní nástroj hodnocení práce tuzemských vědeckých institucí spojený s rozdělováním prostředků ze státního rozpočtu na jejich činnost.

Aby byla jeho vědecká práce oficiálně uznána, musí český vědec zanést výstupy své práce (odborné články, monografie, patenty, metodiky…) do databáze — tyto jsou poté podle právě platné verze „Metodiky hodnocení“ (stanovené vládní Radou pro výzkum, vývoj a inovace, respektive schválené Vládou ČR) oceněny tzv. RIVovskými body, které jsou následně „přepočítány“ na peníze pro instituce, jež se na výzkumu podílely.

Tento systém ovšem již od počátku narážel na řadu obtíží, v jejichž důsledku jsou vytvářeny stále nové, propracovanější verze „Metodiky hodnocení“. Takovou obtíží je například snaha srovnávat zcela odlišné druhy vědeckých výstupů. Podobně problematická je snaha porovnávat různé vědní disciplíny nejen kvůli rozdílným typům výstupů, jež vytvářejí, ale též kvůli různému obsahu a publikačním zvyklostem na poli dané disciplíny.

Ve snaze zavést univerzální hodnotící mechanismus a zároveň být co nejspravedlivější (respektive co nejvíce kompenzovat nespravedlnosti vznikající v důsledku výše zmíněných obtíží) byl rozvíjen stále složitější a komplexnější systém.

Ten ovšem i poté přináší mnohé nepříjemnosti — například protože pracuje pouze s definovanými kategoriemi výstupů vědecké práce (článek v časopise, kniha, stať ve sborníku, příspěvek v konferenčním sborníku…), stanovuje složité formální podmínky, jak má který výstup vypadat, aby mohl být zařazen do dané kategorie, a pokud je nesplňuje, jako by pro systém vůbec neexistoval.

Výstupy jsou pak nezřídka vyřazovány z hodnocení nikoli pro nekvalitní obsah, nýbrž pro nesplnění některé formální podmínky (často velmi banální — například kvalitní monografie psaná v českém jazyce je vyřazena pro absenci krátkého shrnutí obsahu v některém ze světových jazyků), nebo dokonce kvůli absenci kategorie, do níž by mohl být takový výstup zařazen.

Vědecké instituce jsou v pozici, kdy se musí pouštět do jakési „honby za body“, pokud chtějí přežít. Logicky tedy potřebují, aby vědečtí pracovníci vytvářeli takové výstupy své práce, které přinesou solidní bodové ohodnocení.

Ti jsou pak vedeni k tomu, aby již při koncipování svého výzkumu plánovali nikoli takové výstupy, jaké jsou nejvhodnější pro daný výzkum a danou disciplínu, ale takové, které odpovídají RIVovským škatulkám (a to včetně všech formálních znaků).

Dostáváme se tak do zcela převrácené pozice, než bychom čekali — netvoří se systém hodnocení, který by se snažil přizpůsobit reálným výstupům vědecké práce, ale naopak — máme přizpůsobovat vědeckou práci a její výstupy hodnotící mašinérii.

Po žebříčku nahoru a dolů

Zajímavým jevem, tentokrát celosvětovým, je také sestavování mezinárodních žebříčků vědeckých institucí řazených podle jejich kvality (o tomto fenoménu píše například Kondrad Liessmann v Teorii nevzdělanosti). Příkladem může být tzv. Šanghajský žebříček uvádějící 1000 nejlepších světových výzkumných univerzit.

Pomiňme nyní metodické problémy těchto žebříčků (například neurčitost samotného pojmu „kvalita“, závislost na zvolených kritériích a jejich váze, či význam rozdílu mezi jednotlivými pozicemi, kdy i jen zanedbatelná změna v některém parametru může změnit pozici instituce třeba o desítky míst), spíše si povšimněme úlohy, jakou tyto žebříčky sehrávají ve veřejném diskursu.

Slýcháme výroky (zejména politiků) o potřebě, aby se naše instituce umisťovaly na vysokých příčkách těchto žebříčků, naopak pokles je označován za něco neblahého — ovšem nikdy neslyšíme, v čem jsou naše instituce údajně pozadu a jak by se měly zlepšit, neslyšíme ani, zda se vůbec na dané instituci něco skutečně zhoršilo, když poklesla o pár příček na žebříčku.

A nacházíme další paradox — nezáleží na tom, jaké naše instituce skutečně jsou, ale na tom, aby bodovaly v žebříčcích. Není podstatné dělat dobrou práci, ale dělat to, za co budeme vysoce hodnoceni.

Skládání účtů veřejnosti?

Celá „agenda hodnocení“ je pro všechny zúčastněné energeticky, časově i finančně náročná, přičemž výsledky přináší přinejmenším sporné. Je škoda, že takové množství energie není raději věnováno snaze o to pochopit se. Tak, aby nejen odborníci, ale zejména také laická veřejnost mohli nahlédnout podstatu a smysl vědecké práce, obsah výzkumu a způsob fungování vědeckých institucí (včetně jejich konkrétních předností a nedostatků).

Současná vědní politika v ČR na jedné straně pod heslem „otevírání se veřejnosti“ tlačí vědecké instituce do spolupráce s komerčními podniky, ale na druhé straně v systému hodnocení zcela pomíjí například jakoukoli popularizační činnost. Za popularizační knihu či článek nedostanou vědec a jeho instituce ani jeden RIVovský bod, a tedy ani korunu.

Již jen pouhá poznámka v úvodu odborné monografie, že je sepsána způsobem přístupným i laickému čtenáři, se může stát důvodem, pro který je kniha zcela vyřazena z hodnocení. Osvěta, zpřístupňování nejnovějších vědeckých objevů veřejnosti a tím vlastně implicitní ospravedlnění financování vědy z veřejných zdrojů — to vše je pro současný systém hodnocení vědecké práce zcela bezcenné.

Jak z toho ven?

Kdo ví… Možná bychom se měli smířit s tím, že vytvořit spravedlivý a objektivní systém, který by hodnotil kvalitu výstupů vědecké práce, zkrátka nelze. Snad bychom ještě dokázali rozlišovat „správně“ a „špatně“ zpracované výstupy (z metodologického hlediska), lze ale rozlišit, zda je větším přínosem protistologický článek v časopise Nature, obsáhlá česká monografie o pražské středověké architektuře, nebo objev nového materiálu použitelného v kosmonautice?

A jak ještě spravedlivě spojit takový výstup s financováním instituce, když i samotná finanční náročnost různých výzkumů (dokonce i v rámci jedné disciplíny) je velmi různorodá? Snad bychom se té utkvělé potřeby hodnotit, porovnávat a přepočítávat na peníze měli zříci.

Možná bychom se také neměli zaměřovat na to, jak se umísťují naše instituce v různých žebříčcích, ale na to, jak vzdělanou jsme reálně společností. Třeba by se cílená veřejná podpora neměla soustředit jen na provoz několika excelentních institucí, které vyletí po žebříčku, ale také třeba právě na podporu popularizační činnosti, která zprostředkovává nové vědecké poznatky široké veřejnosti a tím přispívá k její vzdělanosti.

Co je lepší — mít široké spektrum rozvíjených vědních oborů na úrovni slušného průměru (či mírného nadprůměru) a vzdělanou společnost, která je schopná intelektuálně absorbovat jejich činnost, anebo jen několik excelentních výzkumných týmů, do jejichž činnosti ale není schopná proniknout nejen laická veřejnost, ale ani kolegové z jiných disciplín?

Jak se vyrovnat se současnou situací a zejména s výhledem do budoucna? Těžko říct… Dobrým začátkem by ale mohlo být uvědomění si oněch dvou zvláštních rysů dnešní doby, které jsou příčinou současného stavu, a vyvolání otevřené diskuse ve veřejném prostoru. Snad k tomu přispěje i tento článek.

    Diskuse
    October 7, 2013 v 14.05
    Primitivní hodnocení je na vzestupu všude
    Znám nové tendence srovnávacího hodnocení dětí a studentů ve školách, škol, národní (včetně maturity) a mezinárodní srovnávací hodnocení ve vzdělávání. Říká se tomu hodnocení "objektivní" (ačkoli metody jsou primitivní a neměří co mají) ,"spravedlivé" (ačkoli diskrimunují odchylky od nepodložené normy), "otevřené veřejnosti" (ačkoli veřejnost matou), "podklad k opatřením, investicím (někdy i podklad k vyřazení, zrušení)" . Celkově jak píšete způsobují honbu za dobrým hodnocení (za každou cenu, formálně a bez skutečné kvality) právě pro riziko zjednodušené interpretace "bodů a pořadníků" úředníky, vedoucími pracovníky, médii, veřejností, politiky.