Od doby, kdy jsem na tomto blogu před více než rokem a půl zveřejnil dvě analýzy shody porotců na mistrovstvích republiky, jsem stále zvažoval, zda je vhodné, aby byla podobná analýza součástí výsledků všech soutěží.

Na jedné straně je potřeba si uvědomit, že je tanec estetická disciplína a porotce je na soutěž pozván, aby vyjádřil svůj (z větší či menší části subjektivní) názor na předvedené výkony. Na druhé straně je však potřeba zvážit i několik faktorů, které naopak hovoří pro veřejné povědomí o výkonech porotců:

1. Názor porotce na soutěži je skutečně jen částečně subjektivní. Existují nejen široce přijímané zásady obecné estetiky, ale především psaná pravidla pro posuzování tanečních výkonů, k nimž se náš svaz hlásí. Při aplikaci těchto principů by se neměla shoda mezi porotci výrazněji lišit.

2. Porotce je při výkonu své činnosti prakticky nepostižitelný. Za poslední dvě dekády pamatuji jen dva případy, kdy byla porotcům pozastavena činnost za jednoznačně chybné hodnocení. Ve všech ostatních případech si porotce své hodnocení obhájí ať už subjektivním názorem, nebo třeba tím, že nemůže sledovat výkon všech tanečních párů po celou dobu, kdy jsou na parketě. A v tomto bodě mají samozřejmě pravdu.

3. Porotci nejsou jen porotci, ale také rodiče, strýcové, tety, partneři a často i trenéři. Zatímco na kategorii blízkých osob soutěžní řád pamatuje, obří střet zájmů v podobě konfliktu trenér – porotce zůstává dodnes nevyřešen. Čas od času se sice objeví pokus, jak prostředí soutěžního tance narovnat, ale bývá zameten pod koberec dřív, než bys řekl: „Podej mi koště.“

Vzniká nám tu tedy situace, kdy osoby, které jsou v učebnicovém střetu zájmů, žádáme o odborný, částečně subjektivní názor, za nějž nenesou žádnou odpovědnost. Dospěl jsem tedy k názoru, že je principiálně nezbytné, aby výkony porotců mohla posoudit taneční veřejnost, stejně jako porotci posuzují taneční výkony.

Za sebe jedním dechem dodávám, že hned první data dlouhodobé shody porotců předčila mé očekávání. Zaprvé jsem nečekal, že bude shoda v některých případech tak nízká; za druhé – a to pro mě bylo daleko větší překvapení – se ukázalo, že si někteří porotci drží dlouhodobě velmi vysoký standard. Poctivá analýza je zkrátka silnější argument než nepodložené domněnky, což mě znovu utvrdilo v mém odhodlání zveřejňovat výkony porotců v souhrnných číslech.

Jak se vypočítává shoda mezi porotci

Vezměme nejprve obecně několik příkladů toho, jaké hodnocení znamená jakou shodu. Předpokládejme finále o pěti párech a podívejme se konkrétně na porotce č. 1.

Hodnocení 11111 – V tomto případě jsou všichni porotci v naprosté shodě, všichni tedy mají shodu 100 %.

Hodnocení 51111 – Vzhledem k tomu, že 5 je v našem případě nejhorší možná známka a ostatní porotci měli shodně přesně opačný názor, má porotce č. 1 shodu 0 %. Důležité je na tomto místě poznamenat, že ostatní porotci nemají shodu 100 %. Jejich známka „1“ se porovnává se známkami „5111“, a mají tedy shodu 75 %.

Hodnocení 31111 – V tomto případě bude mít porotce č. 1 celkem logicky shodu 50 %.

Hodnocení 21111 – Výsledkem tohoto hodnocení (přesně uprostřed mezi hodnoceními 11111 a 3111) musí být procentuální hodnota přesně uprostřed mezi odpovídajícími shodami 100 % a 50 %, to znamená 75 %.

Hodnocení 31245 – Porotce č. 1 stojí v tomto případě se svým hodnocením přesně uprostřed hodnocení všech ostatních porotců, má tedy shodu 100 %. Pro zajímavost: porotci č. 3 a 4 mají v tomto případě shodu 68,75 %, porotci č. 2 a 5 shodu 37,5 %.

V případě kol s „křížkovým“ hodnocením probíhá výpočet obdobně, udělený křížek odpovídá známce 1, neudělený křížek odpovídá například v desetičlenném kole známce 10. Do výpočtu nejsou zahrnuta kola hodnocená absolutním systémem, protože ČSTS tyto známky ve standardních výsledcích nenabízí.

Shoda celkem

Do celkové shody jsou zcela jednoduše zahrnuta hodnocení všech párů ve všech kolech.

Shoda u párů ze stejného klubu

Při výpočtu shody u párů, které jsou ze stejného klubu jako daný porotce, by samozřejmě bylo možné započítávat stejně jako u celkové shody všechna kola v soutěži.

Představme si však následující hypotetickou situaci: pár se zúčastní čtyřkolové soutěže, v níž nakonec postoupí do finále a skončí na 6. místě. Porotce ze stejného klubu, jako je tento pár, jim dá v průběhu soutěže všechny křížky a ve finále samé jedničky. Zatímco ve finále se tak bude jeho shoda s ostatními porotci pohybovat kolem 0 %, pokud bychom započítali všechna kola, mohla by reálná shoda dosahovat 60 %. V této situaci, kdy porotce evidentně není schopen ohodnotit realisticky „svůj“ pár, mi proto přijde, že má skutečně vypovídací hodnotu až shoda z posledního kola.

A proč neaplikovat stejný přístup i na celkovou shodu? Odpověď zní: ano, bylo by to lepší. Celková shoda se vypočítává ze všech kol spíše z technických důvodů – vypočítávat pouze poslední kolo, ve kterém pár tancoval, je zkrátka výpočetně příliš náročné, a proto se používá pouze u shody ze stejného klubu. „Shodu celkem“ je proto třeba brát jako benevolentnější údaj, který by měl být za normálních okolností vyšší než shoda u párů ze stejného klubu.

Jak interpretovat shodu mezi porotci

K interpretaci shody mezi porotci je třeba přistupovat velmi opatrně. Na tomto místě jen zopakuji dvě své úvahy z předešlých příspěvků:

Představme si ideálního porotce, génia, který vidí dál než ostatní a je schopen vyváženě posoudit všechny aspekty hodnoceného výkonu. Dejme tomu, že o tomto porotci víme, že je nejlepší mezi všemi. Problém však nastává ve chvíli, kdy taneční výkon nehodnotí sám, ale ve sboru s dalšími 4 porotci. Pokud by – a stále se pohybujeme v hypotetické rovině – správně ohodnotil výkon páru jedničkou, zatímco od ostatních porotců by tentýž pár za stejný tanec dostal samé trojky, stává se náš ideální porotce v pětičlenném finále podle čísel nejhorším arbitrem se shodou 50 %.

Výkon porotce tak bohužel nelze určit objektivně v absolutních číslech, vždy se bude jednat jen o výsledek vztažený relativně k výkonu ostatních porotců. Pokud má tedy některý z porotců vysoké výsledky shody, ještě to neznamená, že se jedná o nejlepšího porotce. Jediné, co o takovém porotci můžeme spolehlivě říci, je, že byl nejkonsenzuálnější, tedy že dokázal nejpřesněji vystihnout názor ostatních kolegů z poroty.

Moje druhá poznámka se týká magické hranice shody 50 %. Záměrně se vyhnu všem hodnotícím soudům a rád bych se podíval na toto číslo snad trochu s nadsázkou, ale zcela objektivně. Ať už se bavíme o kterémkoli typu shody, 50 % můžeme nazvat „bodem zbytečnosti“. Dosahuje-li porotce, zvlášť dlouhodobě, v některém z kritérií poloviční shody, znamená to, že by mohl být bez obav nahrazen umělou inteligencí ze 70. let – náhodným generátorem křížků a známek, který bude mít podle matematických zákonů v dlouhodobém horizontu přesně stejnou úspěšnost.

Pokud však nazveme padesátiprocentní shodu „bodem zbytečnosti“, vyvstává seriózní problém, jak nazvat shodu nižší.

Tři návrhy závěrem

Nebudeme-li zavírat před skutečným stavem věcí oči a necháme si aspoň jedno pootevřené, musíme si přiznat, že při hodnocení párů ze stejného klubu někteří porotci 50% shody dlouhodobě nedosahují. Nehodlám tu pátrat po důvodech, konstatuji tuto situaci jako fakt. Fakt, se kterým bychom se měli konečně vypořádat, chceme-li opustit porotcovský pravěk, který jen poškozuje taneční sport.

Jediné, co se nám za poslední desítky let podařilo, bylo prosadit naprosto samozřejmý zákaz porotování členů vlastní rodiny, zavést absolutní hodnocení jednoho kola jedné kategorie na top soutěžích a přijmout zcela bezzubý etický kodex. Čísla ukazují, že je to málo.

Přitom nemusíme chodit daleko. S podobným problémem se musely vypořádat i další sporty: krasobruslení zavedlo systém absolutního hodnocení, ve skocích na lyžích se při hodnocení stylu škrtají nejlepší a nejhorší známka... Dovolím si proto přednést komplex tří návrhů, které by nám pomohly situaci částečně vyřešit:

1. Porotci by měli na soutěžní akci jasně deklarovat, jaký klub zastupují. Pokud nejsou členem žádného klubu, měli by na soutěžní akci získat od některého z klubů nominaci.

2. Na soutěžní akci by mohlo být nominováno více porotců ze stejného klubu, avšak jednu soutěž by měl porotovat vždy pouze jeden porotce z každého klubu. Vyhneme se tak situacím, kterou jsem popsal v analýze MČR STT 2020. Tehdejší nerovnováha sil v porotě byla o to smutnější, že rozhodovala o tom, kdo z tanečníků bude mít v budoucnosti nárok na licenci top porotce.

3. V každém hodnocení (ať už křížky, nebo známkami) by se měla před aplikací skating systému (případně prostého součtu u hodnocení křížky) škrtat nejlepší a nejhorší známka, abychom vyloučili případné extrémy a klubové vlivy.

Tyto návrhy samozřejmě nejsou ideální, ale snaží se realisticky reflektovat provázanost malého tanečního světa a finanční náročnost soutěží, a přitom posunout systém hodnocení soutěží z pravěku alespoň do raného středověku. Při realistickém zvážení historických zkušeností a současné situace ve svazu bychom navíc asi měli přestat spoléhat na to, že za nás problém vyřeší výkonná rada. Pokud chceme férové prostředí a spravedlivé výsledky, musí iniciativa vzejít z širší členské základny.