Algorytm, który obniżył matury: brytyjski kryzys egzaminacyjny 2020
Pandemia zamyka salę egzaminacyjną
Wiosną 2020 roku brytyjski rząd, w obliczu pierwszej fali koronawirusa, odwołał egzaminy maturalne (A-level) i przedmaturalne (GCSE). Zamiast arkuszy uczniowie mieli otrzymać oceny wyliczone: nauczyciele mieli zgłosić szacowaną ocenę każdego ucznia oraz jego ranking w obrębie klasy, a te dane trafiały do modelu statystycznego przygotowanego przez Ofqual — urząd regulujący egzaminy w Anglii. Model porównywał wyniki szkoły w danym przedmiocie z jej rezultatami z trzech poprzednich lat i odpowiednio korygował propozycje nauczycieli.
Intencje nie były ukrywaną intrygą, lecz klasycznym dylematem statystyka. Ofqual argumentował, że nauczyciele są skłonni do nadmiernej hojności i bez korekty doszłoby do bezprecedensowej inflacji ocen — według późniejszych wyliczeń regulatora udział najwyższych ocen wzrósłby z 25,2 procent w roku poprzednim do ponad 37 procent. Model miał więc bronić wartości dyplomów i równego startu. W praktyce zbudował go jednak na założeniu, że uczeń jest w pierwszej kolejności przedstawicielem historii swojej szkoły, a dopiero potem jednostką z własnym talentem.
Wyniki, które wstrząsnęły krajem
Kiedy 13 sierpnia 2020 roku ogłoszono wyniki matur, okazało się, że algorytm obniżył oceny w 39,1 procent spośród około 700 tysięcy ocen zgłoszonych przez nauczycieli w Anglii — jak podały Ofqual i relacjonująca je prasa, w tym „The Guardian”. Większość spadków wynosiła jeden stopień, ale tysiące uczniów straciło dwa, a pojedynczy nawet trzy stopnie. Podwyższono zaledwie 2,2 procent ocen. Media odnotowały natychmiast widoczny wzorzec społeczny: szkoły państwowe, zwłaszcza te o słabszych wynikach historycznych, zostały potraktowane znacznie ostrzej niż sektor prywatny, gdzie małe roczniki ułatwiały utrzymanie indywidualnych ocen nauczycieli.
Dla młodych ludzi oznaczało to realne konsekwencje życiowe. Uczniowie tracili miejsca na wymarzonych studiach, bo rekrutacja uniwersytecka przebiegała według obniżonych wyników, a procedury odwoławcze zapowiadano jako długotrwałe. Analiza cytowana przez brytyjskie media wskazywała też, że największy spadek odsetka uczniów z ocenami pozwalającymi myśleć o studiach dotknął właśnie młodzież z rodzin o najniższych dochodach — dokładnie tej grupy, którą system miał rzekomo chronić przed inflacją przywilejów.
Protesty i gwałtowny zwrot
Reakcja była natychmiastowa. Przez kilka dni po ogłoszeniu wyników maturzyści demonstrowali pod siedzibą premiera przy Downing Street i pod departamentem edukacji w Londynie z hasłami takimi jak „zaufajcie nauczycielom” i „sprawiedliwość dla szkół państwowych”. Organizatorka protestu, osiemnastoletnia Ophelia Gregory, mówiła mediom, że pokolenie uczniów ze szkół publicznych zostało pozbawione szansy na studia jednym ruchem urzędu. Do głosu doszli też politycy obu stron sporu, a część posłów partii rządzącej otwarcie krytykowała „ogromny bałagan” wokół egzaminów.
Decydujący okazał się precedens ze Szkocji, gdzie podobny model obniżył ponad 120 tysięcy ocen i został wycofany jeszcze przed angielskimi wynikami. 17 sierpnia 2020 roku rząd i Ofqual wspólnie ogłosili zwrot akcji: wszyscy uczniowie w Anglii otrzymają oceny zgłoszone przez szkoły (tzw. centre assessment grades), chyba że algorytm wyliczył im wynik wyższy. Minister edukacji Gavin Williamson oraz przewodniczący Ofqual Roger Taylor przeprosili za „stres” i „istotne niespójności”, których — jak przyznano — nie dało się usunąć procedurą odwoławczą. Kilka dni później szefowa Ofqual Sally Collier ogłosiła odejście ze stanowiska, a setki tysięcy wyników trzeba było ponownie wysłać do szkół i uniwersytetów.
Co ten kryzys mówi o algorytmach w instytucjach
Sprawa angielskich matur stała się podręcznikowym przykładem konfliktu między dwiema definicjami sprawiedliwości. Statystyczna sprawiedliwość zbiorowa — utrzymanie rozkładu ocen zgodnego z przeszłością — zderzyła się ze sprawiedliwością indywidualną, która każe oceniać ucznia po jego dorobku, a nie po średniej jego szkoły. Model Ofqual realizował tę pierwszą konsekwentnie i technicznie poprawnie; i właśnie dlatego okazał się politycznie oraz społecznie nieakceptowalny. Wniosek brzmi gorzko: algorytm może być matematycznie bezbłędny i jednocześnie jawnie krzywdzący.
Dla twórców takich systemów lekcje są konkretne. Po pierwsze, decyzje o losach ludzi wymagają wcześniejszej konsultacji z tymi, których dotyczą — uczniowie i nauczyciele dowiedzieli się o mechanice oceniania zbyt późno. Po drugie, ścieżka odwoławcza musi istnieć przed dniem publikacji wyników, a nie jako improwizacja po fakcie. Po trzecie, zmienne zastępcze typu „historia szkoły” wymagają testów pod kątem skutków dla grup defaworyzowanych, ponieważ przenoszą stare nierówności na nowe roczniki.
Młody człowiek stojący dziś przed podobnym systemem powinien wiedzieć, że ma narzędzia: prawo do wglądu w sposób wyliczenia oceny, możliwość odwołania, wsparcie szkoły i organizacji uczniowskich oraz uwagę opinii publicznej — to właśnie ona, wraz z determinacją protestujących, przeważyła szalę w sierpniu 2020 roku. Warto też pamiętać, że rok później egzaminy wróciły, a doświadczenie pandemii przyspieszyło dyskusję o transparentności modeli stosowanych w edukacji.
Konkluzja tego epizodu wykracza poza Wyspy Brytyjskie. Kiedy instytucja oddaje losy ludzi modelowi, musi liczyć się z pytaniem, które postawiły wtedy tysiące nastolatków pod Downing Street: czy matematyczny porządek jest wart ceny zapłaconej przez jednostki. Brytyjski kryzys egzaminacyjny pokazał, że odpowiedź społeczeństw bywa stanowcza — i że algorytmiczna „obiektywność”, która ignoruje jednostkę, szybko traci legitymację.
