O egzaminowaniu w czasach zarazy refleksji kilka
Poglądów na temat egzaminów i egzaminowania, niekoniecznie w czasach zarazy, jest tyle co rowerów w Pekinie[1]. Są tacy (znani z tego bloga), który uważają egzaminy za niepotrzebną instytucję, rodem z pruskiej szkoły - do tych ja się jednakowoż nie zaliczam. Są tacy, dla których egzaminowanie jest konieczne by odsiać plewy od ziarna, a plewy niech się po stepach akermańskich[2] rozsieją. I z takimi poglądami nie jest mi po drodze. Zapewne mieszczę się gdzieś po środku: egzaminy są potrzebne, ale niekoniecznie po to, by stawiać egzaminowanych pod ścianą z podniesionymi rękami, twarzą w stronę plutonu egzekucyjnego. Mogą działać motywująco, mogą mobilizować do wysiłku intelektualnego, mogą otwierać na nowe horyzonty i doznania, mogą pozwolić odkryć swoje mocne strony i możliwości. Zwłaszcza, jeśli są ustne (herezja!!!). Poniższe refleksje są dla tych, co jednak wierzą w sens egzaminów. A teraz być może martwią się wyższą niż zwykle pandemiczną zdawalnością.
U zarania mojej kariery pedagogicznej usłyszałam od pewnego mądrego człowieka taką wskazówkę: warto poświęcić duuużo czasu na przygotowanie dobrego egzaminu, żeby jego sprawdzanie było łatwiejsze. A dobry egzamin to taki, gdzie oceny rozłożą się wartościami według krzywej Gausa[3], w skrócie: ile ocen negatywnych - tyle proporcjonalnie dobrych i bardzo dobrych, z wyraźną nadwyżką stanów średnich.
No i jak to wszystko zrealizować zdalnie, w czasach zarazy?
Jak zwykle - to chyba najprostsza odpowiedź. Warunki i tryby są podobne. Trzeba jedynie zaakceptować fakt, że nie będziemy w stanie skutecznie i całkowicie skontrolować samodzielności pracy egzaminowanego. Jak i to, że celem nadrzędnym nie jest zadawanie cierpień duchowych i fizycznych, a wręcz przeciwnie, gdzieś z tyłu głowy kołaczą się myśli o zapewnieniu maksimum komfortu psychicznego zdającym. I w miarę możliwości bezbolesnemu wydobyciu z nich tego, co - zakładamy - się nauczyli.
Przykłady? Proszę bardzo.
Przypadek 1: Egzamin pisemny test na moodlu.
Data: czerwiec 2020
Przedmiot: Fonetyka języka angielskiego[4]
Okoliczności: jak to bywa z testami zdalnymi, jest pokusa, żeby ułożyć coś, co się "samo" sprawdzi. A zatem: prawda/fałsz; a/b/c; wybierz z listy. Pytania skomplikowane, podchwytliwe, randomizowane z bazy pytań, przetasowane. Tylko po co? Bo komputer sprawdzi? A my będziemy niezadowoleni, bo i tak wszyscy zdali i to dobrze? Żeby nie ściągali? Eeech...
A może by uskutecznić takie podejście: nie jestem w stanie ich wszystkich zdalaczynnie skutecznie trzymać za ..., to jest tego, w ryzach; chcę jednak coś od nich uzyskać, jakiś wkład własny, nie tylko odtwórcze odklikanie czego się da. To dzielę ten egzamin tak: 60 punktów w pytaniach samosprawdzających się, 40 w otwartych. 60% egzaminu sprawdzi mi komputer, pozostaje ta reszta. Przy czym pytania otwarte to nie musi być za każdym razem esej ("dłuugo układać, szybko sprawdzać" - przypominam). A nawet nie powinien. Za to pytania oceniane maszyną (prawda/fałsz; a/b/c...; luki, zagnieżdżone) winny być różnego typu, i przemieszane, a jakże. Ilustracja poniżej:
Logiczny warunek jest jeden: nie wprowadzamy w trakcie egzaminu typu pytań, którego zdający nie doświadczyli wcześniej: jeśli nie robiliśmy w trakcie semestru czy podczas egzaminu próbnego pytań z dopasowaniem, przeciągnij i upuść na obraz/tekst itp. to nie zaczynamy teraz. Na marginesie: "przeciągnij i upuść", choć znane naszym studentom, zostały wyeliminowane z formuły egzaminu. Na wszelki wypadek. No bo gdyby padł komputer/mysz/ internet domowy, to bierzemy się za smartfon, a tu z tym przeciąganiem i upuszczaniem to nie jest łatwa sprawa. Niby można ale po co? Drop-down menu załatwi sprawę podobnie.
Pytania otwarte mogą być różnorakie. Warunek jeden - wymagane odpowiedzi z definicji mają być krótkie (a w tym konkretnym przypadku nie mogą się wiązać z koniecznością wpisywania symboli transkrypcyjnych czy innych hieroglifów, bo to jest niesłychanie czasochłonne i zaburza koncentrację na treści):
Całą robotę, którą muszą wykonać to wpisać cyfry of 1 do 8 (lub 20 jeśli aż tyle chcemy), w słupku, i podać właściwe własne przykłady. WŁASNE. Sprawdzenie poprawności podanych przykładów to nie ten sam czaso-wysiłek co sprawdzenie całości egzaminu, takiego "prawdziwego", pisanego w sali, nieprawdaż?
W poniższym przykładzie sprawa jest jeszcze ciekawsza: zamiast "podaj wyraz homofoniczny w stosunku do ___" przeformułowujemy pytanie na "znajdź dwa różne słowa, których wymowę podano w transkrypcji poniżej".
Od razu mamy kilka wartości dodanych: a) sprawdzamy czy potrafią czytać transkrypcję - zapisane w efektach kursu; b) ćwiczymy myślenie nieszablonowe, nie kopiujemy oklepanych formuł pytań - to też muszą znać z zajęć, przyzwyczaić się, że zamiast "podaj listę wszystkich dźwięków dwuwargowych w języku angielskim" mogą zobaczyć "gdyby w wyniku operacji chirurgicznej ktoś został pozbawiony górnej wargi, których angielskich dźwięków nie byłby w stanie wypowiedzieć"[5] (dla zainteresowanych - [b, p, m]); c) sprawdzamy zastosowanie praktyczne i wkład własny. Wiedza w praktyce, czyż nie o to chodzi? Oraz czujność intelektualna. Czaso-wysiłek sprawdzającego jak wyżej.
Poniżej kolejne dwa przykłady prostych pytań otwartych, które znacząco wpływają na ograniczenie nadmiernej zdawalności egzaminu. W pierwszym punkt przyznajemy za odpowiedź, w której podane zostanie w pełni poprawne odkodowane zdanie, np. w pkt 2: sit upon a chair.
W kolejnym za każdy poprawnie zidentyfikowany błąd przyznajemy pół punktu, całość sumujemy i wpisujemy w ramach limitu na dane pytanie.
Na koniec zostawiłam sobie perełkę.
Pytanie otwarte. Znajdź wyraz, który rymuje się z podanym. W odpowiedzi potrzebuję zobaczyć jeden wyraz - uosobienie terminu 'krótka odpowiedź'. A jednak pułapka, i to podwójna. Pułapka dla egzaminatora - nie doceniliśmy cyfrowej biegłości zdających, grzebali w tych internetach i podali nam przykłady - poprawne! - słów, o których nie wiedzieliśmy, że w ogóle w angielszczyźnie istnieją. Jak rozumiem chodziło o to, żeby wykluczyć podejrzenia co do intensywnej komunikacji interpersonalnej w czasie egzaminu. Rezultat - maksymalna liczba punktów za to pytanie. Czyli porażka w kwestii batalii o niższą zdawalność - zakładając, że to nasz cel zasadniczy. Porażka także, jeśli ten cel jest inny - no bo przecież intelektualnego wkładu własnego tu nie ma, jest biegłe wyklikanie odpowiedzi. Wartość dodana dla egzaminatora: rozbudowany zasób słownictwa współczesnej angielszczyzny. A jednak nie tylko nasza strona 'przegrała', to pytanie to pułapka także dla zdających. Zainwestowali tyle czasu i wysiłku w wygrzebanie tych rymujących się słów, że zwyczajnie przeszacowali i zabrakło czasu na inne zadania, nie tylko otwarte. Nawet zwykłe a/b/c zostały albo puste albo robione na zasadzie 'co tam, zaznaczę wszędzie B'.
I tu dochodzimy do ograniczenia istotnego: czas. Taki moodlowy egzamin ma zdefiniowany czas trwania, nienegocjowalny. W sali można wybłagać: 'jeszcze 3 minuty, już ostatnie rzeczy dopisuję'. Moodle jest odporny. 60 minut to 60 minut. Test zamknięty, co zrobione do tego czasu, trafia do oceny. Jak wyliczyliśmy ten czas? Porównaliśmy egzaminy pisemne w sali z projektem egzaminu na Moodlu, i wyszło nam to samo - 60 minut. Przykładowo, egzamin tradycyjny zawierał pytania wymagające np. wpisania transkrypcji całych zdań, to jest czasochłonne. Tu tego nie było, z przyczyn opisanych wcześniej. Jak wyliczyli nam skrupulatnie studenci, na każdy punkt egzaminu przypadało 35 sekund. Wyniki: Na 68 zdających 20 niezdanych, 18 dobrych i bardzo dobrych, reszta stany średnie. Krzywa Gausa incarnated.
Czego się nauczyliśmy i my i zdający? MY: nie każde pytanie otwarte nadaje się na egzamin, który stawia sobie za cel wydobycie ze studenta tego co najlepsze, tej wiedzy, która jest, której trzeba dać szansę się pokazać. ONI: trzeba sensownie rozłożyć siły i czas, za dużo uwagi i wysiłku skupionego na pytaniu, które da się ściągnąć, może być kosztowne. Jesienią zdało 19 osób...
Co dociekliwsi zauważyli być może na odnośnym zrzucie ekranu obecność egzaminowego pokoju BBB. To z troski o psychiczny dobrobyt zdających. Pokój był otwarty na czas egzaminu, tam się spotkaliśmy, tam my, egzaminatorzy, czuwaliśmy cały czas, tam można zadać pytanie, coś doprecyzować, wyjaśnić wątpliwość, zgłosić problem. Przydał się. Przydała się również (na studiach niestacjonarnych) kopia awaryjna egzaminu, przygotowana wcześniej na wszelki wypadek, który to okazał się być 'wszelki' na okoliczność burzy i wyładowań atmosferycznych. Dwojgu studentom chwilowo odcięło internet, przelogowali się i pisali egzamin na tej kopii - na smartfonach. To tak gwoli rozważań pt. co się może jeszcze stać.
Od razu powiem, że to był mój jedyny pisemny egzamin pandemiczny. Bo ja naprawdę wierzę w sens egzaminów ustnych, zwłaszcza na studiach humanistycznych. Ale o tym być może kiedy indziej.
[1] Katie Melua, https://www.youtube.com/watch?v=eHQG6-DojVw
[2] https://pl.wikipedia.org/wiki/Stepy_akerma%C5%84skie
[3] https://cyrkiel.info/statystyka/krzywa-gaussa/
[4]Przykłady pochodzą z egzaminu próbnego, precyzuję na wszelki wypadek. Ilustrują reprezentatywnie formę egzaminu właściwego.
[5]Takiego zadawania pytań nauczył mnie lata temu prof. Bogusław Marek, mistrz niedościgniony.
Obraz z okładki: khamkhor