Když jsem nedávno byla bádat v Bratislavě a bavila se s jednou kolegyní o současném akademickém životě, vyprávěla mi, že na její instituci existují pracoviště, kde si lidé jako první věc po probuzení kontrolují, kolik jim přibylo citací na Google Scholar, ve Scopusu, nebo na Web of Science, a pak to u oběda probírají s ostatními. Smály jsme se, že Scopus je taková akademická Strava.

Smály jsme se tomu jako určité pokřivenosti, ačkoli obě víme, že řešení citací se v akademickém světě stalo doslova součástí každodennosti a že toto je jen jeho vyhrocený příklad. Plíživě jsme se totiž dostali do stavu, kdy hodnotu vědecké práce určují platformy typu Scopus a Web of Science coby zdánlivě transparentní zprostředkovatelé citačních dat, a vytvořili si tak prostředí, kde se citovanost vydává za kvalitu a kde algoritmy nahrazují odborný úsudek. A to přesto, že to, co se zvnějšku může jevit jako fasáda dokonalých a nezpochybnitelných dat, představuje z odlišné perspektivy sérii nesrovnalostí a absurdit.

Závislost českého (i slovenského) hodnocení vědy na netransparentních platformních standardech a metrikách pak v důsledku prohlubuje nerovnosti mezi institucemi, obory i jednotlivými vědci a vědkyněmi. Můj pohled na tuto problematiku je přiznaně situovaný, vycházející z mnohaleté zkušenosti redaktorky akademického časopisu Iluminace, zaměřeného na filmová a audiovizuální studia. A tento text je tedy tak trochu reflexí mého života se Scopusem.

Soukromé platformy

Scopus je citační databáze recenzované literatury, především časopiseckých článků, kterou vlastní soukromé vydavatelství Elsevier. Jeho „přísnější“ verzí je rovněž komerční databáze Web of Science (WoS), poskytovaná společností Clarivate. Přívlastek „citační“ je v základních definicích obou databází nejdůležitější, protože se obě zabývají především propojováním akademických textů (v nich zahrnutých) na základě citací. Akademickou práci tak formátují do jednoduchých přehledných čísel a umožňují vyhledávat citovanost jednotlivých článků, autorek a autorů, i časopisů.

Tato čísla jsou také na jedné straně zdrojem, z něhož podobné databáze žijí a který přímo monetizují, na straně druhé pak sytí citační fetišismus, hluboce zakódovaný do řady hodnoticích systémů vědy (a jak vidno i do běžného akademického života). Český systém hodnocení vědecké práce je na tento model plně naladěn, neboť vychází ze zakořeněné představy, že česká věda svou kvalitou zaostává za zahraničím a že k její větší internacionalizaci přispěje výhradně přísná kontrola těchto kvantitativních ukazatelů.

Stranou tak zůstávají úvahy o investicích do podmínek, které by kvalitní výzkum skutečně umožnily. Mám na mysli stabilní zázemí, odbornou a administrativní podporu a důstojně zaplacený čas na práci. Česká věda je zkrátka přímo závislá na datech Scopusu a Web of Science.

Vzpomínám si, jak jsem byla s nástupem tzv. Metodiky 2017 (tedy před více než pěti lety) ubezpečována, že systém se mění, bude víc zaměřen na kvalitu a kvantitativní ukazatele v něm nebudou hrát takovou roli. Stal se však přesný opak. Scopus a Web of Science se v akademické sféře řeší mnohem víc, a to v ještě vyhrocenější podobě. Nestačí už jen publikovat v časopisech indexovaných těmito databázemi, doporučují se jen ty v nejvyšších kvartilech, a tedy s nejvyšší citovaností.

Západ, východ, jih a sever

Proslýchá se dokonce, že některé fakulty už „přitvrdily“ natolik, že v jejich radaru uznatelnosti už není ani Scopus a jde jim pouze o vyšší pozice Web of Science, kam humanitní a umělecké obory z oprávněných důvodů takřka neproniknou. Dlužno dodat, že tomu tak není jen u nás. Hodnocení vědy je na nadnárodních publikačních a datových platformách tohoto typu podobně závislé třeba ve Španělsku či Itálii.

Pro časopisy dnes už zkrátka nestačí prostě „být ve Scopusu“: je potřeba se zařadit ideálně mezi první čtvrtinu, se zamhouřenýma očima polovinu v očích Scopusu „nejlepších“ (rozuměj údajně nejcitovanějších) časopisů daného oboru. A totéž platí u WoSu. Logika Scopusu a WoSu je navíc přímo propsána do nejrůznějších systémů hodnocení — akademici a akademičky, stejně jako jejich pracoviště data těchto platforem neustále nějak „vykazují“.

I proto je pro české akademické časopisy prakticky nemožné v dnešní době hru na Scopus nehrát a jakkoli řešit související problémy — z hlediska hodnocení totiž pozbývají na relevanci. Zdánlivě transparentní data platforem ovlivňují kariérní hodnocení, habilitace, jmenování profesorkami a profesory, žádosti o granty, rozdělování finančních prostředků na pracovištích. Data se stala autonomními aktéry zaměňovanými za měřítka kvality. A český systém je na nich plně závislý.

Podíváme-li se ostatně na to, jak anglická Wikipedie popisuje Scopus, najdeme až fascinující definici: „Časopisy ve Scopusu jsou každoročně hodnoceny z hlediska dostatečné kvality podle čtyř číselných metrik: h-index, CiteScore, SJR (SCImago Journal Rank) a SNIP (source normalized impact per paper). Z tohoto důvodu se má za to, že časopisy uvedené v databázi Scopus splňují požadavky na kvalitu recenzního řízení stanovené řadou agentur poskytujících výzkumné granty a akreditačními radami v řadě zemí.“

Tato definice v mnohém skutečně odráží přístup českého hodnocení vědy, když dává do příčinné souvislosti citační metriky Scopusu s kvalitou (recenzního řízení). Problém nicméně je, že tyto dvě věci spolu vůbec nesouvisejí. Kvalitní recenzní řízení znamená ediční a recenzní péči věnovanou článku, která jeho citovanost absolutně nezaručuje. Citovanost či citovatelnost naopak v dnešní době odvisí primárně od viditelnosti textu (a jeho autorstva) v online světě, jeho vyhledatelnosti a tématu.

Trendující témata týkající se globální současnosti budou citována více než stejně kvalitní lokální historická případová studie. Stejně tak se budou více citovat větší obory (či podobory) s dobře prosíťovanou komunitou než menší. Časopisy dominantních nakladatelství budou vyhledatelnější a citovanější než menší a podobně. V dnešní době se tak už v některých oborech s vědomím toho, jak algoritmy určují vyhledatelnost, viditelnost a oblibu digitálního obsahu, považuje za normu záměrně uzpůsobovat psaní pro vyhledávače nebo doporučující algoritmy.

Citovanost tedy závisí na mnoha proměnných, v dnešní době především na online viditelnosti, vůbec ne však na kvalitě recenzního řízení. Toto zaměňování metrik za kvalitu peer-review je nicméně realitou současného akademického života v ČR, napomáhá prohlubovat rozdíly mezi velkými a malými nakladateli a jejich časopisy a plyne z něho množství dalších problémů.

Nespolehlivá metadata a fetiš kvartilů

Podíváme-li se na tuto problematiku z pohledu malého českého recenzovaného časopisu, představa, že hodnocení časopisů, článků a výzkumných pracovníků na základě metrik Scopusu či Web of Science je objektivní nebo transparentní (jak o sobě obě platformy tvrdí na svých webech), se snadno rozplyne.

Iluminace, jejíž jsem šéfredaktorkou, je zahrnuta ve Scopusu od roku 2013, tedy asi dvanáct let, nicméně teprve v posledních zhruba šesti letech jsme se začali jako redakce intenzivněji zajímat, jak celý mechanismus funguje. Jedním z důvodů byl právě zvýšený důraz na publikování v časopisech kategorizovaných jako Q1 a Q2 (první a druhý kvartil) a s tím související tlak na autory a autorky nevybírat si časopis primárně podle zaměření, kvality publikovaných článků, oborové reputace, relevantních Call for papers, hostujících editorů a editorek, redakčního týmu a redakční rady, ale čistě podle jeho pozice na seznamech Scopusu.

Aby malý časopis vycházející nezávisle na velkých komerčních nakladatelstvích, a navíc v České republice v této hře obstál, musí se o svoje metriky zajímat. Vždycky ale bude tahat za kratší konec provazu.

Jak jsme brzy pochopili, základem všeho je mít správný, standardizovaný formát. Zcela zásadní je pak bibliografie na konci článku (zejména u časopisů, které preferují klasické poznámky pod čarou, stále ne zcela běžná záležitost), bez které je další evidence citací víceméně loterií. Jen ne žádné grafické vychytávky, nic, co by bránilo hladkému strojovému čtení vašich pédéefek. Proto všechny weby současných akademických časopisů nakladatelství tzv. velké pětky (Elsevier, Springer Nature, Wiley, Sage a Taylor and Francis) vypadají jak přes kopírák a připomínají spíš katalogy knihoven.

Když jsou vaším oborem filmová a vizuální studia, grafiku řešíte a tlak na standardizaci a unifikaci je bolestivý o to víc. Každý text je současně třeba vybavit množstvím metadat nad rámec těch tradičních, jako jsou afiliace, abstrakty, klíčová slova či reference — ORCID čísla, DOI, kontaktní údaje, licence, to vše by se mělo ústrojně vejít do jednoho pédéefka. A na webu duplikujete totéž.

Časopisy komerčních nakladatelů velké pětky přitom dominují trhu jak objemem, tak coby klíčový aktéři vývoje nových nástrojů digitálního publikování, jež opatřování textů metadaty a jejich indexaci usnadňují. Díky tomu také významně určují pravidla akademického publikování, jež je v éře platformizace a algoritmické kontroly právě na důkladné indexaci mnohem více závislé. Všechny interakce s akademickým obsahem — jeho vyhledávání, čtení i psaní — jsou dnes výrazně datafikované, neboť pro algoritmy tyto interakce neznamenají nic jiného než různé formy předávání dat, které používají ke zvýšení své přesnosti a efektivity.

Institucionální aktéři, kteří spravují více těchto dat, mají také větší kontrolu nad celým systémem, a data a jejich vyhledatelnost také umožňují větší citovanost. Zatímco nakladatelství velké pětky mají míru indexace vysoce standardizovanou a její pravidla se dnes již zcela nepokrytě stala také základními formálními pravidly pro vstup časopisu do Web of Science, roztříštěnější síť menších univerzitních nakladatelství reprezentuje mnohem různorodější škálu zacházení s metadaty (od autorských údajů k formátům poznámek pod čarou a seznamu referencí).

V zajetí strojového čtení

Jakákoli jinakost v tomto systému nicméně znamená problém pro strojové čtení a potenciální důsledek v datech i citovanosti. Proto od doby, co se pozicí Iluminace ve Scopusu aktivně zabýváme, řešíme výhradně metadata. Protože jsou to právě tato ryze formální data, která pak od vás přebírá Scopus a WoS. Na základě jakých kritérií a jak přesně to dělá, ale už většina nezainteresovaných netuší.

Jak již bylo řečeno, platformám záleží na formě, nikoli na obsahu, natož na ediční péči věnované článkům. Praxe posledních let našemu redakčnímu týmu opakovaně potvrdila, že data Scopusu jsou natolik nepřesná, že se další z položek naší už tak dost rozsáhlé agendy stalo pravidelně hlídat našeho hlídače. V průběhu let jsme tak v útrobách Scopusu a na něj navázaných datových platforem narazili na množství příkladů dysfunkce dat.

Když se například na Scimago objevil jako jeden z ukazatelů podíl žen-autorek, což je samozřejmě fajn, jednoduše jsme si přepočítali, že platformou generovaná data nesedí — náš časopis má každý rok větší podíl ženských autorek, než uvádí Scimago. My naše autorstvo známe, ale jak se dají tyto podíly přesně počítat čistě podle jmen v mnoha národních jazycích, to netuším.

Jedno z dalších kritérií, která se do hodnocení časopisů částečně promítají skrz metriku Scimago, je kritérium mezinárodní spolupráce. Ta je podle Scopusu definována jako spoluautorství článku více výzkumníky či výzkumnicemi afiliovanými k univerzitám z různých států. Takové publikace v humanitních vědách nejsou zas tak běžné, přesto se občas objeví. V Iluminaci jsme některé takové případy měli, například v jarním čísle ročníku 2023 věnovaném „pandemické televizi“, kde šlo o španělsko-izraelskou spolupráci.

Při hodnocení roku 2023 nás proto překvapilo, že jsme podle Scimago měli v kategorii mezinárodní spolupráce čistou nulu. Důvod byl nicméně prozaický — Scopus totiž „omylem“ umístil Telavivskou univerzitu do Španělska a z perspektivy dat tak vytvořil spolupráci mezi španělskou vědkyní a vědcem. Náprava této chyby po nahlášení byla poměrně rychlá, nicméně naše hodnocení za uplynulý rok zpětně upraveno nebylo.

Jiný příklad je z letoška, kdy jsme publikovali článek zabývající se vývojem terminologie animovaného filmu v českém filmovém tisku ve 20. století. Diskurzivní analýza článku vycházela z velkého množství textů z dobových časopisů, mnohdy anonymních, a proto jsme seznam referencí na jeho konci pro přehlednost rozdělili na primární a sekundární zdroje. Na webu časopisu, který je propojený s databází Crossref, jsme nechali pouze sekundární literaturu. K našemu překvapení však Scopus zahrnul všech 67 položek primárních zdrojů, z hlediska akademické citovanosti zcela irelevantních, zatímco sekundární zcela vynechal.

Schválně hádejte, kolik článků a citací má ve Scopusu autorstvo jménem Anon a jakou rotyku to dělá v profilech těm, co se skutečně jmenují příjmením Anon, Añón, Añon a podobně. Co se v našem případě na první pohled zdálo jako triviální a snadno napravitelná chyba, protože položek sekundární literatury bylo jen 11, stále nebylo opraveno, přestože jsem si se Scopusem vyměnila už zhruba patnáct emailů na toto téma a různými způsoby se snažila jim opětovně předat informace o chybějících referencích.

Odpovědí mi bylo buď to, že problém byl již opraven (což nebyl), nebo že řešení není technicky možné, pokud neopravíme naše data (která jsou v akademickém smyslu zcela v pořádku). Anon jsme tak k jeho*jejím víc než 70 tisícům článků s více než 21 tisíci citacemi také nějaké drobné přihodili.

Sama komunikace se Scopusem je ostatně další Pandořina skříňka. Scopusu i WoSu říkám platformy zcela záměrně mimo jiné proto, že jsou čistým rozhraním: mají zcela neprůhlednou strukturu, není zřejmé, kdo je reálně reprezentuje, jak fungují. Vztah s platformami typu Scopus a Web of Science je založen jako u všech platforem na zásadním nepoměru mezi tím, jaká data systém shromažďuje od vás a jaká zveřejňuje o sobě. Zatímco po nás ve druhém kole námluv s Web of Science požadovali doplnit k článkům emailové adresy všech našich autorů a autorek, na jejich webu žádné emaily nenajdete.

Když s tímto rozhraním chcete komunikovat, musíte se registrovat (čili zase rovnou odevzdat nějaká ta data) a podobně jako u Scopusu si vybrat z přednastavených typů dotazů či problémů, odeslat formulář a čekat. Za Web of Science posílá emaily noreply engine. U Scopusu se komunikace přenese do emailu a vlákno vašeho dotazu může řešit pokaždé jiný pracovník, který má zrovna směnu, a obvykle to spíše znepřehledňuje situaci.

Po každé takovéto často bezvýchodné výměně vám přijde automatický email ankety spokojenosti se službou Scopusu vytvářející dojem, že jste se Scopusem v jakémsi zákaznickém vztahu. Navzdory tomu, že jsem nespokojená takřka pokaždé, co takovouto komunikaci navážu, však dotazníky spokojenosti nikdy nevyplňuji. Skutečnou funkcí dotazníku totiž není zjišťovat moji spokojenost, ale především vykonávat dohled nad prekarizovaným pracovnictvem zakázkové ekonomiky Scopusu, které na emaily reaguje.

Akademie nedůvěry

Vzhledem k objemu dat, které Scopus zpracovává, se moje příklady mohou jevit jako marginální anomálie. Netvrdím, že se jedná o skandální odhalení, zároveň si však nemyslím, že jde o nepodstatnou záležitost. Jedná se o glitche v Scopusu, které by se mohly jevit jako směšné, kdybychom nevěděli, jak velkou moc Scopus a WoS v současné době mají a jak zásadně ovlivňují řadu národních vědeckých politik — a v návaznosti na to chování a život akademické komunity.

A naopak, glitche ve Scopusu jasně ukazují, jak se hodnocení vědy stalo závislým na netransparentním systému zdánlivé objektivity platforem sloužících coby agregátory „dat“.

Glitche ve Scopusu jsou rozptýleným jevem, který neovlivňuje pozice nejsilnějších, ale významně zasahuje marginalizované. Je symptomem nerovností v datovém fetišismu hodnocení vědy. Příklady malých časopisů i jednotlivců, včetně kolegy či kolegyně Anon, jasně ukazují, jak jsme důvěru v akademičky a akademiky směnili za důvěru v data.

Způsob, jakým platformy problematicky zaměňují počet citací, prestiž a kvalitu, staví časopisy a akademickou komunitu obecně před otázku hodnot, na nichž je akademická práce založena. Přistoupení na pravidla hry nastavená Scopusem a vyhovující jeho datovému fetišismu totiž zcela přeformulovalo debatu o kvalitě vědy a vedle toho nevyhnutelně přispělo k uniformizaci obsahu, k potlačení jeho rozmanitosti.

Logika Scopusu upřednostňuje publikování v angličtině, na témata, která jsou aktuálně trendová, a ve formátech, které Scopus akceptuje. To na druhou stranu devalvuje publikování v jiných národních jazycích a v různorodých formátech. Akademické recenze akademické literatury, které sloužily jako pilíř dialogu a zpětné vazby, už v tuzemském prostředí takřka nikdo nechce psát, protože se „nepočítají“, obecně se staly povrchnějšími, spotřebnějšími. Ve Scimago ostatně najdete speciální kategorii „necitovatelného obsahu“ (vizuálně kódovanou červeně!, s označením takřka implikujícím „odpad“), která zahrnuje vše, co není klasická recenzovaná studie (tedy třeba i recenze knih).

Iluminace vždy ráda publikovala zrovna recenze (akademických knih, ale i výstav a jiných s filmem souvisejících výstupů), ale třeba i překlady, kritické edice pramenů, rozsáhlé, koncepčně vedené rozhovory s akademiky i praktiky — a její křivka „necitovatelnosti“ se okázale červenala. V posledních letech jsme to tedy pod tlakem systému trochu „přeformátovali“ a trochu zredukovali, a i když jsme podle Scopusu v lepších (zelenějších) číslech, radost nám to nedělá a na skutečné kvalitě nepřidává. Spíš naopak.

Jsou to přitom právě humanitní vědy, jimž je vlastní rozvíjet inovativní způsoby psaní a komunikace, rozumět kulturní rozmanitosti a pěstovat ji, prostupovat do pedagogických, uměleckých i jiných rámců a utvářet širší veřejné povědomí. Přispívají tomu právě i různé formáty publikování, které činí akademickou práci přístupnější, ale oficiálně se nevykazují a nejsou vnímány jako prestižní. Z perspektivy Iluminace tak například víme (nikoli z databázových dat, ale z rozhovorů s kolegyněmi a kolegy v zahraničí), že několik našich akademických rozhovorů figuruje v sylabech kurzů amerických, britských a nizozemských univerzit.

To samozřejmě není žádná citace, text ale patrně četly stovky studentů a studentek, posloužil jim jako vstup do myšlení autora či autorky a byl podkladem pro jejich seminární diskuse. Podobně fungují i některé naše kritické edice, jen směrem do českého prostředí. Že to tak v technických a přírodních vědách a ve více kvantitativně orientovaných sociálních vědách třeba není normou, je v pořádku. Proč by se ale jiným oborům, s odlišnými konvencemi a posláním, mělo měřit stejným metrem? Humanitní vědy a umělecké obory jsou přitom těmito praktikami zasaženy a prekarizovány nejvíce.

Korporátní kontrola publikování

Univerzalizmus v přejímání standardů přírodních věd ostatně v ČR přispěl i k nevídané devalvaci významu kolektivních monografií, editorské práce, psaní úvodníků (obvykle paradoxně nejcitovanějších textů těchto publikací) a kapitol v knihách. Zatímco na Západě jde v humanitních vědách o zcela běžnou a ceněnou praxi, v českém prostředí se tváříme, že je takřka bezcenná.

Opět je tomu tak kvůli uplatňování stejných pravidel na odvětví s odlišnými tradicemi a standardy publikování. V důsledku jde o upřednostnění akademické soutěživosti o co nejimpaktovanější články na úkor rozvíjení akademické spolupráce, vytváření oborových komunit a mezioborového dialogu, který reprezentují právě například kolektivní monografie a kapitoly v knihách.

Svou roli v aktuálně narůstajícím úpadku významu těchto publikací současně nepochybně opět hrají data a platformy. Přestože se situace mění, donedávna neměly kolektivní monografie stejné standardy digitálního publikování jako články v časopisech, a kapitoly v nich tak byly hůř vyhledatelné (a citovatelné) samy o sobě — a vnímány tak jako méně kvalitní, ačkoli jejich peer-review a editace bývá obvykle mnohem pečlivější a relevantnější než u časopisů, neboť vznikají ze zájmu a expertízy úzce specializované a vzájemně kritické komunity.

Iluminace je v tomto smyslu miniaturní subjekt mezi malými. Není vázána na žádné univerzitní nakladatelství, které by například mohlo dávat systematickou a ideálně rovnou podporu všem svým akademickým časopisům. Jen letmý pohled na weby českých akademických časopisů současně naznačuje, že praxe je i u těchto aktérů spíš roztříštěná a že ani české instituce, které od svých akademiků a akademiček vyžadují publikování v indexovaných časopisech, svoje vlastní časopisy (respektive redakční týmy) v tomto smyslu příliš nepodporují.

Proti komerčním nakladatelům akademické literatury a datovým platformám (v případě Elsevier přímo propojeným) nevzniká žádná alternativa ani na evropské úrovni, a to ani shora, ani zdola. Naopak — nedávný příklad „převzetí“ Amsterdam University Press nakladatelstvím Taylor and Francis, který se kvůli zániku několika prestižních edičních řad citelně dotkl i mého oboru, dokazuje, že oligopolizace a korporátní kontrola akademického publikování posiluje, nikoli naopak. V zemích na západ od nás nicméně alespoň nehodnotí vědce a vědkyně primárně podle toho, jak jsou schopni v tomto deformovaném systému uspět.

Platformizace zkrátka zásadně proměnila fungování, mocenské struktury a hodnoty spjaté s akademickým publikováním a významně prohloubila rozdíly mezi velkými a malými hráči, centry a periferiemi. V nerovných podmínkách se o to hůř pracuje z pozice post-socialistického státu, v němž se akademičkám a akademikům nedůvěřuje a jejich práce je přepočítávána na citace. V zemi, kde jsou vědkyně a vědci uvězněni ve Scopusu, by tak akademická komunita neměla podléhat těm, kteří se změnám brání, protože jim posilování soutěživosti imponuje, nebo vyhovuje. Měla by se propojovat, sdílet zkušenosti a lobbovat za změnu těchto „glitchy“ standardů.

Autorka děkuje za konzultace Jiřímu Angerovi a Tomáši Jirsovi.