Drukuj

Obserwacja w warunkach symulowanych (symulacja)


Charakterystyka

Obserwacja w warunkach symulowanych (symulacja) polega na analizie działania kandydata w warunkach zbliżonych do rzeczywistych, stworzonych na potrzeby procesu walidacji.

Zastosowanie obserwacji w warunkach rzeczywistych może być niekiedy zajęciem niebezpiecznym, zbyt czasochłonnym lub budzącym dylemat etyczny obserwatora (np. opieka nad osobą starszą). W takiej sytuacji można zastąpić ją obserwacją w warunkach symulowanych. W takim wypadku osoba projektująca walidację opracowuje i zapewnia warunki sprawdzania, co pozwala m.in. na zaobserwowanie zachowania kandydata w warunkach nietypowych lub niebezpiecznych. Dzięki symulacji możliwe jest także sprawdzenie kompetencji społecznych potrzebnych do budowania i utrzymywania właściwych relacji w miejscu pracy lub umiejętności związanych z wykonaniem zadań za pomocą specjalistycznego (często drogiego) sprzętu, co dodatkowo przemawia za jej wykorzystywaniem.

Obserwacja w warunkach symulowanych nadaje się do sprawdzania szerokiego wachlarza efektów uczenia się. Należą do nich m.in. umiejętności i kompetencje interpersonalne, analityczne, komunikacyjne i organizacyjne oraz konieczna do ich wykorzystania wiedza. Tę metodę można zastosować do zidentyfikowania i weryfikacji efektów uczenia się potrzebnych do tworzenia produktów lub osiągnięcia określonych rezultatów (np. technicznych, manualnych, artystycznych, sprawnościowych), jak również tych, które nie podlegają bezpośredniej obserwacji (abstrakcyjne, ukryte), ale o ich osiągnięciu da się wnioskować np. na podstawie rezultatów wykonanej pracy.

Metoda symulacji jest trafna w wypadku efektów, które są bezpośrednio obserwowalne (umiejętności i niektóre kompetencje społeczne). W przeciwnym razie zaleca się łączenie jej z innymi metodami. Jest to rekomendowane także w odniesieniu do sprawdzania złożonych umiejętności i kompetencji społecznych na poziomach 4–8 Polskiej Ramy Kwalifikacji (PRK). Pozwala to na zmniejszenie tzw. efektu asesora, czyli oceniania kandydata na podstawie ogólnego wrażenia lub stawiania zawsze skrajnych bądź zawsze średnich ocen.

Sprawdzanie w warunkach symulowanych wymaga zaprojektowania obserwacji w taki sposób, aby możliwe było kontrolowanie procesu i reagowanie na niepożądane zdarzenia, niepodlegające ocenie. W tym celu przed zastosowaniem technik symulacyjnych należy przygotować scenariusz, który uwzględnia:

Ponadto przed zastosowaniem metody należy upewnić się, czy kandydat zrozumiał, co jest jego zadaniem, a także udostępnić mu wszystkie niezbędne narzędzia lub pomoce, które są niezbędne do jego wykonania.

Z danych Cedefopu (agencji zajmującej się rozwojem i promocją edukacji zawodowej i uczenia się przez całe życie w Unii Europejskiej) wynika, że w krajach europejskich obserwacja w warunkach symulowanych jest w ostatnich latach stosowana coraz częściej. W 2010 r. do walidacji efektów uczenia się używano jej w sześciu krajach, a cztery lata później – już w 12. Metoda ta jest wykorzystywana przez pracodawców w ramach rekrutacji (34% firm objętych badaniem w 10 krajach) lub do oceny pracowników (26% firm). Chętniej stosowana jest przez duże przedsiębiorstwa.

Informacje o osiągniętych efektach uczenia się w warunkach symulowanych zbiera się za pomocą tych samych narzędzi, które są wykorzystywane w ramach obserwacji prowadzonej w warunkach rzeczywistych (notatki, próbki pracy oraz skale). Uwzględnienie wyników z zastosowanych narzędzi ilościowych, w tym skal wykonania (np. możliwy i poprawny wynik końcowy – dla zadania praktycznego, gry symulacyjnej lub projektu; średni czas – dla testu sprawnościowego), zwiększa prawdopodobieństwo rzetelnej walidacji.

W trakcie obserwacji w warunkach symulowanych może się zdarzyć, że zadanie praktyczne da się rozwiązać na kilka sposobów, a scenariusz zastosowania metody nie będzie wskazywał na jeden właściwy. Osoba sprawdzająca powinna bezstronnie przeanalizować sposób rozwiązania, nawet jeśli woli inny niż ten, którym posłużył się kandydat.


Etapy walidacji, na których rekomenduje się stosowanie danej metody

Z danych Cedefopu wynika, że niemal zawsze symulację stosuje się na etapie weryfikacji w połączeniu z innymi metodami (np. debatą, wywiadem, analizą dowodów i deklaracji, prezentacją, obserwacją). Jedynie w dwóch krajach (w Portugalii oraz w Wielkiej Brytanii) jest ona wykorzystywana także na etapach identyfikowania i dokumentowania.


Zakres efektów uczenia się, które można sprawdzać daną metodą

Wskazówki dotyczące efektów uczenia się, które można sprawdzać za pomocą obserwacji w warunkach symulowanych, mają charakter orientacyjny. Zostały opracowane na podstawie analizy wymagań zawartych w Polskiej Ramie Kwalifikacji (w charakterystykach II stopnia typowych dla kwalifikacji o charakterze zawodowym), dotyczących efektów uczenia się.

Należy pamiętać, że wybór danej metody zawsze musi wynikać z analizy efektów uczenia się zdefiniowanych dla danej kwalifikacji.

Wiedza

Obserwacja w warunkach symulowanych jest ukierunkowana na analizę działania, a jej czas często bywa ograniczony. W związku z tym umożliwia zebranie dowodów świadczących o uzyskaniu podstawowej wiedzy, najczęściej z poziomów 1–4 PRK, odnoszącej się do:

W wypadku efektów złożonych (z wyższych poziomów PRK), nastawionych na pogłębioną znajomość środowiska pracy, rekomenduje się łączenie symulacji z innymi metodami.

Umiejętności

Obserwacja w warunkach symulowanych jest rekomendowana przede wszystkim w odniesieniu do tej kategorii efektów uczenia się. Umożliwia sprawdzenie nabycia wszystkich rodzajów umiejętności, do których odnoszą się charakterystyki PRK typowe dla kwalifikacji o charakterze zawodowym. Nie wymaga dodatkowej weryfikacji za pomocą innych metod.

Im bardziej złożony efekt uczenia się (im wyższy poziom PRK), tym bardziej skomplikowane narzędzia sprawdzania lub kosztowne technologie i urządzenia mogą być konieczne do zastosowania w symulacji. Niektóre efekty z tej kategorii mogą wymagać od kandydata wykonywania zadań, przy których należy przestrzegać zasad BHP.

Kompetencje społeczne

Obserwację w warunkach symulowanych rekomenduje się do sprawdzania efektów uczenia się na niższych poziomach PRK odnoszących się do przestrzegania reguł, współpracy (komunikowania się) i odpowiedzialności.

Metoda ta dobrze się sprawdzi podczas weryfikacji efektów uczenia się związanych z komunikowaniem się w środowisku pracy. Na 3 poziomie PRK można je sprawdzić za pomocą gry symulacyjnej, polegającej na odegraniu scenki. Trafna ocena takich efektów na 4 poziomie PRK wymaga jednak uwzględnienia informacji zdobytych także za pomocą innych metod (analizy dowodów, debaty, wywiadu, prezentacji lub obserwacji w warunkach rzeczywistych).

Niektóre kompetencje społeczne, np. lojalne zachowanie, wiążą się z cechami, które można potwierdzić tylko poprzez zastosowanie analizy dowodów, wywiadu lub odpowiednio długo prowadzonej obserwacji. Stosunkowo trudno wykorzystać symulację do sprawdzania gotowości do współpracy, a zwłaszcza do komunikowania się z otoczeniem miejsca pracy (np. firmami zewnętrznymi).

Wskazówki dotyczące efektów uczenia się, które można sprawdzić za pomocą metody Symulacja


Mocne i słabe strony obserwacji w warunkach symulowanych

Mocne strony Słabe strony
  • pozwala na sprawdzenie efektów uczenia się, których obserwacja w warunkach rzeczywistych mogłaby być niebezpieczna, czasochłonna lub budziłaby wątpliwości natury etycznej (np. opieka nad osobą starszą)
  • odpowiednia dla sprawdzania efektów uczenia się z kategorii umiejętności
  • podczas symulacji ocenie mogą podlegać: sposób wykonania zadania, zachowanie kandydata, wytwory jego pracy
  • może być stosowana razem z innymi metodami
  • sposób uzyskania efektów uczenia się nie ma wpływu na przebieg obserwacji w warunkach symulowanych
  • każdy kandydat poddawany obserwacji w warunkach symulowanych jest oceniany w ten sam sposób
  • zastosowanie symulacji jest ograniczone do etapu weryfikacji
  • może być kosztowna w wypadku kwalifikacji wymagających umiejętności obsługi specjalistycznych urządzeń, aparatury i maszyn; jest bardzo kosztowna, gdy wymaga korzystania ze specjalistycznych urządzeń
  • czas przeprowadzania obserwacji w warunkach symulowanych jest ograniczony – metoda może nie być trafna, jeśli efekty uczenia się są możliwe do zaobserwowania dopiero po upływie dłuższego czasu (np. lojalność, rozwijanie relacji zawodowych, znajomość trendów w branży)
  • wyniki obserwacji są szczególnie podatne na zniekształcenie w wyniku tzw. efektu obserwatora, czyli oceniania kandydata na podstawie ogólnego wrażenia lub stawiania zawsze skrajnych bądź zawsze średnich ocen

Ograniczenia w stosowaniu

Z punktu widzenia kandydata ograniczenia w stosowaniu metody symulacji mogą wiązać się z jego cechami osobowościowymi lub specjalnymi potrzebami. Techniki wymagające odgrywania ról zawodowych przed gronem obserwatorów mogą blokować osoby introwertyczne lub stresujące się wystąpieniami publicznymi.

Zastosowanie technik, które wymagają stworzenia produktu lub dzieła, może być utrudnione w wypadku osób z ograniczoną sprawnością ruchową. Niekiedy wystarczy danie kandydatowi większej ilości czasu na wykonanie zadania.

Jeśli zajdzie taka potrzeba, przebieg symulacji można dostosować do potrzeb kandydata. Należy jednak dopilnować, by scenariusz sprawdzania nie uległ zmianom mogącym wpłynąć na trafność lub rzetelność walidacji. Niekiedy może się okazać, że zastosowanie innych metod do sprawdzenia tych samych efektów uczenia się (np. analizy dowodów i deklaracji) będzie lepszym rozwiązaniem dla kandydata ze specjalnymi potrzebami.

Z uwagi na konieczność przestrzegania zasad BHP zastosowanie niektórych technik może ograniczać pole obserwacji prowadzonej przez asesora. Jeśli podczas sprawdzania musi on zachować bezpieczną odległość od miejsca wykonywania zadania przez kandydata, wówczas zaleca się rejestrację działań za pomocą sprzętu nagrywającego dźwięk i obraz.


Konieczne zasoby kadrowe i organizacyjno-materialne

Podczas przeprowadzania symulacji informacje o kandydacie zbiera zazwyczaj osoba oceniająca. Do tego zadania można zatrudnić także niezależnego obserwatora, który będzie korzystał ze wskazanych narzędzi. Zebrane w ten sposób wyniki podlegają dalszej analizie przez asesora. Powinien on również dbać o to, aby proces sprawdzania w takiej sytuacji nie odbiegał od zaprojektowanego scenariusza. Konieczność przeszkolenia kadry w zakresie zbierania informacji o kandydacie (stosowanie narzędzi wykorzystywanych do sprawdzania) oraz rzetelnej oceny efektów uczenia się i przejawiania neutralnej postawy wobec kandydata może podwyższać koszty symulacji.

Zastosowanie tej metody przy większej liczbie kandydatów może być czasochłonne i wymagać zatrudnienia wielu sprawdzających lub wykorzystania sprzętu nagrywającego, który umożliwi odtworzenie procesu sprawdzania na etapie weryfikacji.

Jeśli istnieje potrzeba zachowania szczególnych zasad bezpieczeństwa, instytucja certyfikująca powinna zapewnić obecność osoby udzielającej pierwszej pomocy.

Najbardziej kosztownym aspektem stosowania obserwacji w warunkach symulowanych są zasoby organizacyjno-materialne. Aby sprawdzanie tą metodą było wiarygodne i zbliżone do warunków rzeczywistych, należy zapewnić sprzęt i oprogramowanie wykorzystywane w pracy na stanowiskach właściwych dla danej kwalifikacji. Jeśli sprawdzaniu podlegają proste umiejętności (np. obliczanie), to koszty zastosowania tej metody nie muszą być wysokie. Jednak w wypadku kwalifikacji związanych z ochroną zdrowia lub służbą bezpieczeństwa publicznego, budżet symulacji mogą podwyższać koszty sprzętu lub symulatorów.

Materiały, które mogą być potrzebne: narzędzia i maszyny specjalistyczne wykorzystywane na stanowiskach pracy związanych ze sprawdzaną kwalifikacją; stoper lub zegarek do mierzenia czasu wykonywania czynności; dyktafon, kamera lub aparat.

W trakcie obserwowania czynności, podczas których wymagane jest zachowanie zasad BHP, wskazane jest używanie odzieży chroniącej głowę (np. czepków, kasków, okularów, gogli, masek, słuchawek, nauszników) oraz tułowie i kończyny (kombinezonów, fartuchów, kamizelek, rękawic, nakolanników, ochronników na obuwie). Wskazane jest także wyposażenie miejsca, w którym przeprowadzana jest tego rodzaju symulacja, w materiały i środki przeznaczone do udzielania pierwszej pomocy (apteczka) lub przeciwpożarowe (gaśnica odpowiedniego typu, koc gaśniczy).

Jeśli symulacja będzie wymagała skorzystania z programu lub aplikacji komputerowej, wówczas miejsce przeprowadzania walidacji należy wyposażyć w niezbędne urządzenia (tablet, komputer, ekran, myszkę, drukarkę itp.) oraz oprogramowanie wymienione w opisie danej kwalifikacji. W niektórych sytuacjach (np. gdy sprawdzana będzie umiejętność wyszukiwania, porównywania, oceny i analizy informacji potrzebnych do wykonywania zadań zawodowych) kandydatowi należy zapewnić dostęp do źródeł, np. dostęp do Internetu.


Możliwości łączenia obserwacji w warunkach symulowanych z innymi metodami

Metodą, która może uzupełnić symulację, jest analiza dowodów i deklaracji – przede wszystkim dokumentów świadczących o osiągnięciu przez kandydata niektórych efektów uczenia się (certyfikaty zawodowe, świadectwa pracy, zaświadczenia o odbyciu szkoleń itp.).

Podczas sprawdzania kompetencji społecznych, obok symulacji, można zastosować metody takie jak wywiad swobodny i ustrukturyzowany, debatę swobodną i ustrukturyzowaną, prezentację. W wypadku wiedzy zaś – test teoretyczny (w szczególności podczas weryfikacji efektów uczenia się z poziomów 5–8 PRK). Dotyczy to głównie komunikowania się w szerszym środowisku pracy oraz wiedzy związanej ze znajomością i rozumieniem teorii, zjawisk i procesów zachodzących w miejscu pracy czy właściwości, zasad i cech używanych materiałów oraz wykonywanych produktów.


Przykładowe techniki

Technika to podejście w ramach danej metody wykorzystywane do zbierania i analizowania danych świadczących o posiadaniu przez daną osobę efektów uczenia się.

Pod względem technik symulacja jest metodą bardzo zróżnicowaną. Rodzaj techniki zależy nie tylko od kategorii efektów uczenia się, lecz także od branży, w jakiej funkcjonuje dana kwalifikacja. Kandydaci ubiegający się o kwalifikacje związane np. z rachunkowością, ochroną zdrowia lub sztuką mogą być poproszeni o wykonanie zadania praktycznego lub projektu. Elementem wspólnym jest oparty na scenariuszu sposób oceny wykonywanego zadania, uwzględniający postępowanie zgodnie z procedurami lub zwyczajami przyjętymi w danej branży.

Zadanie praktyczne

Szczególną techniką stosowaną podczas symulacji jest wykonanie zadania praktycznego. Za jego pomocą można sprawdzić efekty uczenia się głównie z kategorii umiejętności. Rezultatem zadania może być próbka pracy, np. wyrób, usługa lub dokumentacja. Sprawdzeniu podlega nie tylko efekt końcowy, lecz także sposób wykonania (np. wybrana metoda dojścia do rozwiązania zadania).

W przeciwieństwie do innych technik zadanie praktyczne umożliwia sprawdzenie niewielkiego fragmentu pracy, ponieważ jest ograniczone czasowo lub przez zasoby organizacyjne.

Jedną z odmian zadania praktycznego jest test sprawności fizycznej. Może on obejmować wykonanie pojedynczego ćwiczenia lub serii ćwiczeń sprawdzających wydolność organizmu w określonych warunkach. W tym wypadku ocenie podlega nie tylko wykonanie zadania sprawnościowego, lecz także poziom tego wykonania, mierzony wynikiem uzyskanym przez kandydata.

W wypadku efektów uczenia się, które polegają na wykonaniu dzieła niematerialnego, w tym artystycznego (np. utworu muzycznego), ocenie podlega wyłącznie proces wykonania. Wpływ na ostateczny wynik może mieć rodzaj wybranego utworu (np. ze względu na tempo), a także same kryteria ewaluacji (np. ogólne wrażenie, poziom techniczny, ekspresja, parametry jakości gry).

Ze względu na specyfikę tego rodzaju umiejętności, ocena wykonania może być subiektywna. Można temu zapobiec poprzez włączenie ekspertów z danej dziedziny do grona osób oceniających i przeszkolenie ich w zakresie wykorzystania narzędzi służących do weryfikacji. Dobrym rozwiązaniem może być nagranie momentu wykonywania dzieła, co umożliwi późniejsze odtworzenie go i ewentualną dyskusję na jego temat.

Szczególnym rodzajem zadania praktycznego jest studium przypadku. Ta technika może być stosowana podczas obserwacji w warunkach symulowanych oraz w teście teoretycznym pisemnym.

Ramka 1. Studium przypadku

„Studium przypadku” ma wiele definicji. Pojęcie to odnosi się m.in. do metod badawczych, stosowanych w naukach społecznych oraz do metod dydaktycznych. Z tego powodu może być różnie rozumiana przez poszczególne osoby.

W odniesieniu do walidacji studium przypadku jest techniką sprawdzania efektów uczenia się, która polega na wykonaniu zadania lub udzieleniu odpowiedzi na pytania na podstawie informacji zawartych w opisie konkretnej sytuacji (prawdziwej albo wymyślonej). Wynikiem studium przypadku może być m.in. diagnoza danego zdarzenia, propozycja rozwiązania problemów przedstawionych w opisie przypadku, prognoza dalszego rozwoju sytuacji czy propozycja działania.

Za pomocą studium przypadku można sprawdzić m.in. umiejętność analizy informacji, wyciągania wniosków, krytycznego myślenia oraz zastosowania wiedzy w praktyce. Kandydat może na przykład określić przyczyny danej sytuacji, wskazać główne problemy poruszone w opisie przypadku, wskazać zależności pomiędzy faktami, przewidzieć lub ocenić skutki opisanych działań/zdarzeń.

Mocne strony zadania praktycznego:
  • wystandaryzowane narzędzia oceny kandydatów;
  • możliwość weryfikacji wycinka pracy, co skraca proces oceny.
Słabe strony zadania praktycznego:
  • w wypadku sprawdzania niektórych umiejętności, decyzja asesora może być obciążona tendencjami związanymi z efektem egzaminatora, co oznacza, że przed zastosowaniem tej techniki należy odpowiednio przeszkolić sprawdzających;
  • wysokie koszty standaryzacji narzędzi;
  • niekiedy dość wysokie koszty organizacyjno-materialne.
Projekt

Projekt pozwala na weryfikację efektów uczenia się koniecznych do wykonania produktu lub usługi. Symulacja prowadzona tą techniką może wymagać od kandydata odtworzenia danego procesu (np. złożenia komputera z udostępnionych części i uruchomienia go) lub stworzenia nowego przedmiotu/usługi (np. opracowania nowych metod i technologii w miejscu pracy). W pierwszym wypadku ocenie podlega postępowanie zgodne z procedurami przyjętymi na stanowisku pracy, np. o zaostrzonym rygorze bezpieczeństwa. W drugim natomiast – umiejętności twórcze lub wymagające zastosowania wiedzy i umiejętności potrzebnych do rozwiązywania problemu.

Wykorzystanie techniki projektu wymaga precyzyjnego sformułowania celu oraz przedstawienia kontekstu problemowego. Treść zadania projektowego powinna określać, jakie parametry będą świadczyły o jego poprawnym wykonaniu. Kandydatom należy również zapewnić niezbędne przybory i narzędzia oraz ilość czasu umożliwiającą wykonanie wszystkich etapów zadania w warunkach bezstresowych. Czas poświęcony na wykonanie projektu powinien obejmować kilka etapów prowadzących do rozwiązania zadania projektowego.

Ramka 2. Etapy rozwiązywania zadania projektowego

Zadanie projektowe jest zazwyczaj rozwiązywane w podziale na następujące etapy:

  1. diagnoza sytuacji – oparta na analizie treści zadania i zrozumieniu jego kontekstu (możliwości i ograniczeń),
  2. proponowanie rozwiązań – oparte na ocenie możliwości wykorzystania dostępnych narzędzi,
  3. krytyczna analiza wariantów – polegająca na ocenie adekwatności i użyteczności każdego rozwiązania,
  4. wybór i wykonanie projektu najlepiej spełniającego założone warunki zadania.

Efekt końcowy projektu może mieć kilka form – każda z nich umożliwia sprawdzenie różnych efektów uczenia się, w zależności od poziomu wykonania. Wyróżnia się:

Ramka 3. Zastosowanie projektu

W odniesieniu do Polskiej Ramy Kwalifikacji projekt może być odpowiednią techniką sprawdzania umiejętności, np. w aspekcie planowania i korygowania planów.

Poszczególne poziomy wykonania projektu odpowiadają kolejnym poziomom PRK tego rodzaju umiejętności. Prześledźmy to na przykładzie.

Jeśli zadanie projektowe ma sprawdzać, czy kandydat potrafi:

  • „planować bardzo proste czynności zawodowe pod kierunkiem bardziej doświadczonej osoby” (1 poziom PRK),
  • „planować proste działania zawodowe pod kierunkiem bardziej doświadczonej osoby i korygować plan stosownie do okoliczności” (2 poziom PRK),
  • „przygotowywać i korygować stosownie do okoliczności plan wykonywania niezbyt złożonych zadań zawodowych” (3 poziom PRK) lub
  • „przygotowywać i korygować stosownie do okoliczności plan wykonywania umiarkowanie złożonych zadań zawodowych, własnych oraz kierowanego zespołu w typowych warunkach” (4 poziom PRK),

wówczas odpowiednie będzie polecenie wykonania produktu. Może to być harmonogram pracy osób pracujących na różne zmiany w przedsiębiorstwie lub plan zadań poszczególnych pracowników w danym przedziale czasowym.

Jeśli natomiast kandydat powinien wykazać, że potrafi:

  • „przygotowywać plan działań dotyczący zadań zawodowych, własnych i kierowanego zespołu, z uwzględnieniem zmiennych, dających się przewidzieć warunków, oraz korygować plan stosownie do okoliczności” (5 poziom PRK) lub
  • „przygotowywać plan działalności zawodowej z uwzględnieniem zmiennych, nie w pełni przewidywalnych warunków, oraz korygować plan stosownie do okoliczności” (6 poziom PRK),

stosowne będzie polecenie stworzenia modelu uwzględniającego możliwe zmiany warunków w danym miejscu pracy. W podanym przykładzie może to obejmować uwzględnienie w planie pracy procedury zatrudnienia i wdrożenia nowego pracownika na zastępstwo lub takiej reorganizacji zadań w zespole, która umożliwi przyjęcie i wykonanie niezaplanowanych, pilnych zleceń.

Polecenie stworzenia prototypu byłoby właściwe w sytuacji, gdy kandydat miałby wykazać, że potrafi:

  • „opracowywać plan strategiczny dla zespołu pracowniczego/organizacji w dziedzinie działalności zawodowej” (7 poziom PRK) lub
  • „opracowywać strategię rozwoju w dziedzinie działalności zawodowej, projektować warunki prawne i organizacyjne sprzyjające rozwojowi dziedziny działalności zawodowej” (8 poziom PRK).

W tej sytuacji konieczne byłoby wykorzystanie umiejętności analitycznych do opracowania planu działania większej grupy pracowników, ukierunkowanego nie tylko na rozwój własnej firmy, lecz także jej otoczenia. 

Mocne strony projektu:
  • można go wykorzystać do sprawdzenia kilku osób jednocześnie;
  • jeśli jest wykorzystywany do sprawdzenia kilku osób, pozwala na obserwację umiejętności takich jak zdolność do pracy w grupie, krytyczne myślenie, argumentowanie, kreatywność.
Słabe strony projektu:
  • wykonanie modelu lub prototypu może być czasochłonne; niekiedy może wymagać testowania i korygowania przed uzyskaniem ostatecznej wersji;
  • jeśli technika jest stosowana do weryfikacji grupy kandydatów, to może nie być trafna w odniesieniu do osób, które niechętnie podchodzą do pracy w grupie.
Gry symulacyjne

Gry symulacyjne odnoszą się do umiejętności wejścia kandydata w rolę zawodową. Wymagają zazwyczaj rozwiązania problemu dotyczącego grupy pracowników lub firmy. Przedmiotem gry mogą być sytuacje, w których zadaniem kandydatów jest m.in. rozwiązanie problemu i podjęcie decyzji w sprawie związanej z funkcjonowaniem przedsiębiorstwa, doprowadzenie do porozumienia między zainteresowanymi stronami.

Gra powinna opierać się na określonym scenariuszu uwzględniającym temat, role i sposób ich przydzielania (np. losowy). Ponadto jest ważne, aby zapewnić uczestnikom pomoce lub dostęp do informacji umożliwiających dojście do rozwiązania.

Gra rozpoczyna się od przedstawienia kontekstu sytuacyjnego, np. w formie krótkiej historii wprowadzającej do zadania, oraz wyjaśnienia zasad sprawdzania efektów uczenia się. Etap wprowadzający jest niezwykle ważny – pozwala wczuć się w sytuację, poznać warunki i czynniki mogące mieć wpływ na sposób dojścia do rozwiązania oraz odgrywanie ról zawodowych poszczególnych uczestników i relacji między nimi. Przed rozpoczęciem gry należy upewnić się, że uczestnicy zrozumieli jej zasady i cele.

Gra toczy się w podziale na role. W jedną z nich wciela się moderator (może nim być jeden z asesorów) – osoba, która nie bierze bezpośrednio udziału, lecz czuwa nad przebiegiem gry (kontroluje czas; w razie konieczności udziela wyjaśnień lub moderuje, jeśli dyskusja odbiega od tematu; dba o przestrzeganie reguł, a w razie ich naruszenia – przypomina o zasadach). W toku gry moderator powinien zachować neutralną postawę, ograniczać swoją aktywność i nie wpływać na sytuację. Gdy konieczna jest interwencja, nie powinien oceniać uczestników, doradzać lub naprowadzać na rozwiązanie.

Na zakończenie moderator przeprowadza ćwiczenie podsumowujące, które umożliwia uczestnikom zdystansowanie się i omówienie przebiegu gry. Faza końcowa ma na celu rozładowanie emocji i nie podlega sprawdzaniu. Może odbywać się w grupie bezpośrednio po zakończeniu gry, można ją również przeprowadzić z każdym kandydatem indywidualnie. Uczestnicy sami mogą:

Specyficzny dla tej techniki jest wieloosobowy kontekst sprawdzania. Niezależnie od ram określonych w scenariuszu, w trakcie mogą pojawiać się zjawiska właściwe dla procesów grupowych, takie jak rywalizacja, koalicje, postawy dominujące lub pasywne. Efektem gry jest zatem nie tylko rozwiązanie problemu, lecz także – pośrednio – stworzenie relacji między uczestnikami, niekiedy opartych na podziale hierarchicznym (np. pracownicy vs pracodawcy, zwycięzcy vs pokonani). Te ostatnie efekty nie powinny podlegać sprawdzaniu, co bardzo utrudnia zadanie asesorom. Nie powinien on także brać pod uwagę umiejętności aktorskich kandydatów.

Gry symulacyjne są odpowiednie do sprawdzania umiejętności i kompetencji społecznych, przede wszystkim kognitywnych i komunikacyjnych (m.in. umiejętności argumentowania, przekonywania i pracy w grupie). Mogą być stosowane zamiennie z wywiadem i debatą, zwłaszcza w sytuacji sprawdzania większej liczby kandydatów.

Do oceny gry, oprócz wyników z arkusza zawierającego stwierdzenia lub skale, warto wykorzystać nagranie audio. Jest ono bardzo przydatne w sytuacji, gdy sprawdzanych jest kilka osób jednocześnie. W wypadku zaistnienia kwestii spornych umożliwia odtworzenie przebiegu gry i ponowną obserwację jej fragmentów, co jest bardzo ważne wtedy, gdy liczba obserwatorów była mniejsza niż liczba kandydatów.

Mocne strony gry symulacyjnej:
  • umożliwia sprawdzenie kilku osób w tym samym czasie;
  • jest odpowiednia do symulowania krótkich sytuacji wymagających sprawdzenia efektów uczenia się związanych ze współpracą lub komunikowaniem się.
Słabe strony gry symulacyjnej:
  • jest podatna na czynniki inne niż efekty uczenia się kandydata (np. brak bezstronności obserwatorów, procesy grupowe);
  • obecność wielu obserwatorów lub sprzętu nagrywającego może budzić stres u kandydatów.

Przykłady zastosowania obserwacji w warunkach symulowanych

Przykład na zastosowanie obserwacji w warunkach symulowanych jest zawarty w Bazie Dobrych Praktyk. Walidacja, zapewnianie jakości walidacji i certyfikowania. Dotyczy kwalifikacji stolarza w Niemczech.


Wykorzystanie technik wirtualnych w walidacji

Pod nazwą "techniki wirtualne" (w skrócie: XR) rozumie się grupę technik cyfrowego generowania i wyświetlania dynamicznych, interaktywnych obrazów trójwymiarowych. Należą do nich:

Techniki wirtualne, zwłaszcza VR, można wykorzystać do prowadzenia walidacji efektów uczenia się.

Rzeczywistość wirtualna

Rzeczywistość wirtualną można zdefiniować jako użycie komputera (techniki cyfrowej) w celu uzyskania efektu „przeniesienia” świadomości użytkownika w inne miejsce, niż znajduje się on w rzeczywistości.

Użytkownik VR musi zostać umieszczony w tzw. środowisku wirtualnym, wykreowanym za pomocą trójwymiarowej grafiki komputerowej i otrzymać możliwość wchodzenia w interakcję z elementami tego środowiska.

Środowisko wirtualne powinno przedstawiać pewien określony fragment rzeczywistości, istniejący w danej chwili lub możliwy do zaistnienia w przyszłości (Górski 2019).

Z technicznego punktu widzenia, rzeczywistość wirtualna ma dwa podstawowe aspekty:

  1. oprogramowanie,
  2. sprzęt.

Są one nierozerwalnie związane ze sobą i jedno bez drugiego nie pozwala mówić o pełnym korzystaniu z technologii VR. Aplikacja interaktywna prezentowana na nieodpowiednim sprzęcie (np. na zwykłym komputerze przenośnym) nie będzie rzeczywistością wirtualną. Podobnie, użycie samego sprzętu immersyjnego (np. hełmu) do prezentacji nieinteraktywnych treści (np. filmów sferycznych) nie może być uznane za VR. Dopiero połączenie aplikacji zawierającej interaktywną, komputerowo generowaną grafikę 3D ze sprzętem umożliwiającym jej immersyjny odbiór pozwala mówić o pełnym korzystaniu z systemu VR.

Technologia VR posiada 3 kluczowe cechy:

Immersja w systemach VR to odczucie bycia obecnym fizycznie w świecie niefizycznym, wykreowanym cyfrowo. Związana jest z odcięciem bodźców zmysłowych dochodzących do użytkownika ze świata rzeczywistego i zastąpieniem ich kompatybilnymi bodźcami ze świata cyfrowego.

Najczęściej w systemach VR oddziałuje się na następujące zmysły:

Przyjęło się, że jest to cecha oceniana subiektywnie przez użytkownika korzystającego z danego systemu VR – nie ma jednolitego wzorca oceny immersyjności.

Interakcja w VR jest rozumiana jako wzajemne oddziaływanie na siebie użytkownika i obiektów cyfrowych znajdujących się w wirtualnej scenie.

Użytkownik, poprzez swoje zachowania, może zmieniać położenie wirtualnej kamery oglądając obiekty z różnych położeń oraz aktywować przypisane im funkcje. Przykładowo, użytkownik zanurzony w symulacji obsługi maszyny produkcyjnej mógłby podejść do tej maszyny, wcisnąć przycisk na jej pulpicie i obserwować aktywowany w ten sposób proces. Sposób realizacji interakcji powinien być jak najbardziej intuicyjny i swobodny.

Do interakcji używa się specjalistycznego sprzętu, najczęściej bazującego na śledzeniu położenia (pomiarze) różnych części ciała użytkownika w czasie rzeczywistym. Interakcja może być dwustronna – tzw. urządzenia haptyczne z efektem force feedback pozwalają użytkownikowi odczuć bezpośrednio efekty swoich działań (Górski 2019).

Pozostałe techniki XR – AR i MR – są rozwiązaniami częściowo pokrewnymi do VR – używa się niejednokrotnie tych samych lub podobnych rozwiązań sprzętowych oraz metod tworzenia aplikacji, w dużej części pokrywają się również obszary zastosowań.

Ramka 4. Symulacja w rzeczywistości wirtualnej

W ujęciu komputerowym, symulacja to aplikacja informatyczna – program komputerowy, mający za zadanie odtworzenie jakiegoś zjawiska czy procesu za pomocą modeli, które najczęściej zdefiniowane są za pomocą określonych równań matematycznych.

Symulacja VR zawiera odwzorowanie wizualne pewnego fragmentu rzeczywistości, opisanego podstawowymi równaniami praw fizyki (równania kinematyki, prawa dynamiki Newtona, grawitacja itp.). Może także zawierać elementy budowane na podstawie wzorów empirycznych, będących wynikami doświadczeń laboratoryjnych (np. efekty cząsteczkowe).

Program komputerowy zawierający symulację VR określa się mianem „aplikacji VR”. Aplikacja (symulacja) rzeczywistości wirtualnej musi mieć pewne cechy i funkcje, wynikające wprost z definicji rzeczywistości wirtualnej. W szczególności są to:

  • immersja i realizm,
  • trójwymiarowa, dynamiczna grafika 3D,
  • swobodna nawigacja i interakcja.

Realizm aplikacji VR może przejawiać się na różne sposoby, prawie nigdy całościowo (jest to w obecnym momencie rozwoju systemów komputerowych praktycznie niemożliwe nawet dla mało złożonych układów obiektów).

Generalnie przyjmuje się, że środowisko wirtualne odwzorowuje wybrany wycinek świata rzeczywistego lub teoretycznie mogącego zaistnieć i nie symuluje się w sposób twardy zjawisk fizykochemicznych i elektrycznych, takich jak np. przepływ ciepła, dyfuzja, przepływ prądu, elektromagnetyzm itp.

Wszelkie zjawiska fizyczne są symulowane tylko wtedy, gdy mają swój wymiar wizualny, tj. ich efekty są widoczne dla użytkownika lub mogą wpłynąć na interakcję.

W centrum aplikacji VR jest zawsze użytkownik – człowiek, i to jego perspektywa jest najważniejsza.

Rzeczywistość rozszerzona

Rzeczywistość rozszerzona charakteryzuje się następującymi cechami:

W odróżnieniu od rzeczywistości VR, użytkownik AR nie doświadcza immersji w świat cyfrowy. Świat rzeczywisty znajduje się w jego polu widzenia przez cały czas; interaktywne obrazy wirtualne odnoszą się do elementów tego świata, stając się jego integralną częścią. VR ma za zadanie zastąpić rzeczywistość fizyczną, a AR – poszerzyć jej percepcję.

Rzeczywistość mieszana

Pojęcie rzeczywistość mieszana opisuje aplikacje znajdujące się pomiędzy VR a AR. Można powiedzieć, że MR to „VR z przezroczystym tłem”.

Użytkownik wchodzi w interakcję z modelami wirtualnymi, ale świat rzeczywisty jest widzialny w tle, choć obiekty wirtualne nie mają z nim bezpośredniego powiązania.

Aplikacje tego typu są ideowo bliższe VR niż AR, ponieważ posiadają 2 cechy VR: interakcję oraz wyobraźnię. Nie obowiązuje kluczowa zasada AR tj. zamocowanie obrazu wirtualnego w rzeczywistym na stałe.

Aplikacje MR umożliwiają swobodne przenoszenie wirtualnych hologramów w przestrzeni. Wymagane jest przy tym mapowanie przestrzeni, tj. skanowanie 3D świata rzeczywistego w czasie rzeczywistym i rozpoznawanie pozycji użytkownika względem tego skanu.

Rzeczywistość wirtualna jako metoda walidacji 

Metody walidacji, które można łatwo zastąpić przez odpowiednio skonstruowane aplikacje VR Metody walidacji, które da się częściowo zastąpić symulacją VR, ale nie jest to łatwe w implementacji Metody, które uzupełniają symulację VR, ale nie jest to opłacalne
  • obserwacja w warunkach symulowanych i rzeczywistych,
  • test teoretyczny,
  • prezentacja.
  • bilans kompetencji,
  • analiza dowodów i deklaracji.
  • wywiad swobodny i ustrukturyzowany,
  • debata swobodna i ustrukturyzowana.

Co do zasady, VR jako samodzielna metoda walidacji jest najbliższa metodzie obserwacji w warunkach symulowanych lub rzeczywistych. VR ma swoje zalety, wady i ograniczenia. Za jej pomocą można sprawdzać efekty uczenia się z zakresu wiedzy, umiejętności i kompetencji społecznych.

Za pomocą wizualizacji 3D tworzone jest środowisko pracy, w którym osoba przystępująca do walidacji może w swobodny sposób wchodzić w interakcje z różnymi obiektami, realizując różnorodne czynności, rozwiązując określone problemy lub zadania w określony sposób, co skutkuje konkretnymi efektami i zapisami przebiegów tych zadań.

Zalety VR

Wady VR

Charakterystyczne dla VR, niemożliwe do osiągnięcia w tradycyjnej symulacji czy w rzeczywistości fizycznej, są następujące możliwości:

  • bezkosztowe, wielokrotne powtarzanie procesów wytwarzania, eksploatacji i transportu;
  • wielokrotne powtarzanie czynności związanych ze zniszczeniem danego obiektu, zużyciem materiału czy uszkodzeniem danego urządzenia technicznego;
  • wielokrotne angażowanie się w sytuacje ryzykowne i niebezpieczne dla zdrowia i życia bez konsekwencji;
  • dynamiczna zmiana warunków symulacji, np. natychmiastowa zmiana warunków pogodowych, wariantowanie konstrukcji stanowiska pracy czy obecnych na nim przedmiotów/osób;
  • symulowanie sytuacji abstrakcyjnych czy niemożliwych (np. animacje zaprzeczające prawom fizyki, spowalnianie czy cofanie czasu itp.).

Analiza obecnej generacji systemów VR przeznaczonych do wspomagania szkoleń/walidacji w przemyśle wykazała następujące cechy negatywne:

  • wciąż niewielka skala takich szkoleń/walidacji – brak (poza korporacjami z sektora automotive i lotniczego) szerzej zakrojonych szkoleń i ich badań;
  • brak standaryzacji – nie istnieją uznane procedury projektowania, budowania i wdrażania profesjonalnych systemów VR;
  • brak rekomendowanych scenariuszy interakcji – nie istnieje gotowy szablon scenariusza szkolenia/walidacji;
  • brak unormowanych metod implementacji systemów VR w praktyce szkoleniowej przedsiębiorstw – z racji nowości zagadnienia i wspomnianego wyżej braku standaryzacji nie został dotąd opisany standardowy, zalecany proces przygotowania infrastruktury i personelu przedsiębiorstw do skutecznego wdrożenia takiego systemu VR;
  • niska jakość niektórych elementów sprzętu – np. zastosowanie maski spawacza z ekranem wyświetlającym wizualizację monoskopową (bez efektu 3D) w rozdzielczości 1024x768, obniża jakość samego procesu uczenia się, dodatkowo użytkownik patrzy na świat rzeczywisty wyłącznie poprzez kamery, co w połączeniu z monoskopią daje wrażenie „zamknięcia się";
  • niewielka elastyczność rozwiązania – aplikacje XR często nie pozwalają na zmianę zawartości bez aktualizacji oprogramowania ze strony producenta, co wiąże się z dodatkowymi kosztami;
  • wysokie koszty – implementacja takiego rozwiązania jest kosztowna, rozwiązanie to jest dostępne wyłącznie dla dużych podmiotów (duże przedsiębiorstwa produkcyjne, centra szkoleniowe, uczelnie);
  • brak wystarczającej uniwersalności sprzętowej – rozwiązania są najczęściej dedykowane dla konkretnego podmiotu, a ulepszenia wymagają wymiany części/ całości sprzętu.

Dostępna literatura pozwala na wyciągnięcie wniosku, że zdawalność z użyciem VR jest taka sama lub wyższa, jak w przypadku tradycyjnych metod transferu i walidacji wiedzy (Falah et al. 2015, Kyaw et al. 2019).

Wyżej wymienione problemy skutkują dużą niepewnością podmiotów, które zamierzają podjąć tematykę szkoleń VR i ostrożnością w planowaniu budżetu na takie szkolenia/walidacje.

Brak wiedzy, standaryzacji i skutecznych procedur przy ciągłym dynamicznym rozwoju branży VR (nowe rozwiązania ciągle wypierają poprzednie) wywołują trend na przeczekanie bieżącego okresu rozwoju technologii, aż do momentu, kiedy standardy będą już obowiązywać. Długofalowo taką strategię należy jednak ocenić jako zbyt zachowawczą i nieprawidłową.

Znane od lat, przytoczone wyżej wyniki badań naukowych i przykłady wdrożeń pozwalają stwierdzić, że korzyści z użycia systemów VR przewyższają ryzyko inwestycyjne.

Ograniczenia w użyciu VR w walidacji

Ograniczenia w walidacji efektów uczenia się za pomocą technologii VR (oraz innych technik XR) związane są wyłącznie z tzw. czynnikiem ludzkim. Wynikają z niedoskonałości budowy ludzkiego mózgu czy działania ludzkiej psychiki, które mogą wpłynąć na trafność, rzetelność i adekwatność wyników walidacji.

Wyróżniono następujące przyczyny ograniczeń użycia VR w walidacji:

Duża część potencjalnych użytkowników systemów VR może mieć problem z ich codziennym stosowaniem w zdobywaniu kompetencji oraz walidacji. Trudno jednak precyzyjnie oszacować, jak duży jest to ułamek. Ograniczenia te są realnym problemem, na który należy zwrócić uwagę podczas analizy potencjału technologii VR przed jej wdrożeniem w walidacji.

Efekty uczenia się, które można sprawdzać przy użyciu VR

VR można zastosować do sprawdzenia efektów uczenia się zarówno z zakresu wiedzy, jak i umiejętności oraz kompetencji społecznych. W większości przypadków jest to możliwe i opłacalne tylko w odniesieniu do mniej skomplikowanych / złożonych efektów uczenia się (na poziomach 1-5 PRK).

Efekty w zakresie wiedzy

Symulacja w rzeczywistości wirtualnej (lub rozszerzonej czy mieszanej) umożliwia zarówno zdobycie wiedzy i jej walidację, potencjalnie zapewniając adekwatność, trafność i rzetelność oceny.

Potencjał VR ma duże szanse na rozwinięcie i zastąpienie istniejących metod i technik walidacji w odniesieniu do wiedzy o charakterze zawodowym.

Przykładowe aplikacje VR umożliwiające taką symulację pokazano w tabeli poniżej.

Poziom PRK, na którym znajdują się efekty sprawdzane za pomocą VR Aplikacja VR Opis
1-4 aplikacja prezentująca budowę i działanie obrabiarki sterowanej numerycznie Zadaniem studentów było wskazanie w symulacji najważniejszych komponentów, nazwanie ich i wskazanie zależności między nimi a pozostałymi obiektami formującymi dany zespół, jak również omówienie teorii umożliwiającej funkcjonowanie danego układu. Więcej można znaleźć w Grajewski et al. (2019).
system do nauki budowy, działania i obsługi wózka jezdniowego W system VR wbudowano metodę testu teoretycznego – przeprowadzono badanie na grupie kilkudziesięciu użytkowników systemu. Więcej można znaleźć w Górski et al. (2018bc).
5 prototypowy system do nauki metod i technik zarządzania jakością w przedsiębiorstwie produkcyjnym Wbudowano w niego test teoretyczny, jest ona prowadzona także przez subiektywne i obiektywne obserwacje osoby uczącej się w środowisku symulowanym w aplikacji VR. Więcej można znaleźć w Starzyńska et al. (2018); Górski et al. (2018a i 2018c).
6-7 Efekty z zakresu wiedzy na poziomach 6-7 PRK można w teorii sprawdzać za pomocą VR. Jednak ze względu na złożoność faktów, teorii i metod koniecznych do zaimplementowania, takie działanie zwykle nie jest opłacalne; w literaturze także trudno odnaleźć przykłady.
8 Przy obecnym poziomie rozwoju technologii VR nie jest możliwe jej wykorzystanie do sprawdzania efektów uczenia się z zakresu wiedzy na poziomie 8 PRK.

Efekty w zakresie umiejętności

Zastosowanie VR do walidacji umiejętności jest w pełni możliwe i opłacalne w odniesieniu do poziomów 1-5 PRK. Przy obecnym poziomie technologii efekty uczenia się z wyższych poziomów lepiej sprawdzać za pomocą innych środków.

Przykładowe aplikacje VR umożliwiające taką symulację pokazano w tabeli poniżej.

Poziom PRK, na którym znajdują się efekty sprawdzane za pomocą VR Aplikacja VR Opis
1-4 Aplikacja do szkolenia elektromonterów wykonujących prace pod napięciem i czynności łączeniowe Zastosowano tutaj obserwację w warunkach symulowanych oraz analizę dowodów i deklaracji. Czynności mogą być wykonywane z instrukcją lub bez niej (na podstawie znajomości procedur). Warunki mogą być zmienne – część parametrów (np. napięcie transformatora) ma charakter losowy, część może ulec zmianie w wyniku interwencji asesora (np. symulowane warunki pogodowe). Część problemów ma charakter nietypowy i wymaga nieszablonowego myślenia. Przykład podobnej aplikacji można znaleźć na stronie https://digitalengineeringmagic.com/
Wspomniana wcześniej aplikacja do szkolenia operatorów wózków widłowych Chodzi zwłaszcza o ćwiczenia z zakresu obsługi i konserwacji wózka. Instrukcja ma charakter bardzo ogólny (sprawdzana jest znajomość procedur, tj. teorii), warunki są częściowo zmienne (losowe wartości np. parametrów mierzonych przez użytkownika), lecz przewidywalne. Więcej można znaleźć w Górski et al. (2018bc).
5 Przy obecnym poziomie rozwoju technologii VR nie jest możliwe jej wykorzystanie do sprawdzania wszystkich efektów uczenia się z zakresu umiejętności na poziomie 5 PRK.
6-8 Przy obecnym poziomie rozwoju technologii VR nie jest możliwe jej wykorzystanie do sprawdzania efektów uczenia się z zakresu umiejętności na poziomach 6-8 PRK.

Efekty w zakresie kompetencji społecznych

Techniki wirtualne, zwłaszcza VR, pozwalają na stosunkowo proste sprawdzenie niektórych kompetencji społecznych (np. zdolność do samodzielnego działania, współpracy, przyjmowania odpowiedzialności, oceny działań innych osób).

Istnieje wiele aplikacji, gdzie zadaniem użytkownika jest rozwiązanie pewnego problemu bez instrukcji i we współpracy z różnymi wirtualnymi postaciami (jak choćby organizacja zebrania zespołu pracowników w celu podjęcia decyzji).

Poziom PRK, na którym znajdują się efekty sprawdzane za pomocą VR Aplikacja VR Opis
1-4 System do nauki narzędzi jakości (wirtualną skrzynkę jakości) Umożliwia podjęcie odpowiedzialności związanej z funkcjonowaniem w różnych rolach zawodowych (pracownika liniowego, kierownika zespołu). Więcej można znaleźć w Górski et al. (2018a).
5-8 Obecnie zastosowanie VR do weryfikowania kompetencji społecznych z poziomów 5-8 PRK jest albo niemożliwe, albo wymagałoby zbyt dużych nakładów.

Wiele systemów znanych z literatury pozwala wcielić się w różne role (np. lekarza, pacjenta, klienta, sprzedawcę, kierownika zespołu, operatora maszyny). Potencjał VR w walidacji wypełniania innych ról społecznych niż związanych z pracą można z kolei udowodnić przytaczając przykłady różnych aplikacji rozrywkowych (gier), gdzie gracz wciela się w różne postacie i przeżywa różne doświadczenia.

Testowanie odpowiedzialności może odbyć się choćby poprzez obserwację użytkownika w warunkach symulowanych i weryfikację rejestrowanej liczby niewymuszonych błędów popełnianych w wirtualnym świecie, których popełnienie w świecie rzeczywistym powodowałoby poważne skutki na zdrowiu i/lub mieniu.

Część dotyczącą technik wirtualnych opracowano na postawie ekspertyzy Filipa Górskiego, przygotowanej w 2020 r. dla Instytutu Badań Edukacyjnych.


Efekt asesora

Efekt asesora można zdefiniować jako błędy i różnice w ocenianiu efektów uczenia się w procesie walidacji, które są zależne od asesora i wpływają na wyniki weryfikacji efektów uczenia się.

Efekt asesora można podzielić na następujące kategorie:

Efekt asesora zależny od zastosowanej metody walidacji Efekt asesora niezależny od zastosowanej metody walidacji (powszechne błędy oceniania)
Uwarunkowania wewnętrzne efektu asesora Uwarunkowania zewnętrzne efektu asesora Wpływ etapu weryfikacji na efekt asesora Błędy uwarunkowane cechami asesora Błędy atrybucji Błędy związane z tematyką oraz formą oceniania
Są one specyficzne dla poszczególnych metod.

Przykłady można znaleźć tutaj.
Należą do nich: osoba kandydata, czas, miejsce, kultura organizacyjna instytucji, skład komisji oceniającej.

Przykłady można znaleźć tutaj.
Inne błędy mogą się pojawić przy przygotowaniu walidacji, w przebiegu weryfikacji oraz przy podjęciu decyzji o wyniku walidacji.

Przykłady można znaleźć tutaj.
To czynniki i cechy osoby oceniającej obniżające trafność postrzegania, co w konsekwencji powoduje błędy w ocenianiu.

Przykłady można znaleźć tutaj.
Asesor przypisuje większe znaczenie cechom ocenianego niż np. niekorzystnym uwarunkowaniom zewnętrznym.

Przykłady można znaleźć tutaj.
Przykłady można znaleźć tutaj.

Minimalizacja efektu asesora ma prowadzić do zwiększenia rzetelności i obiektywności w ocenianiu efektów uczenia. Strategie minimalizowania efektu asesora można znaleźć tutaj.

Błędy specyficzne dla obserwacji w warunkach symulowanych

Uwarunkowania wewnętrzne efektu asesora

Obserwacja w warunkach symulowanych wymaga często dużych nakładów finansowych i pracy, co może zdominować ocenę kandydata. “Obcość“ miejsca może wpłynąć na zachowania kandydata i asesora.
Metoda ta umożliwia uzyskanie wiarygodnego wyniku, choć może być zagrożona skłonnościami asesora do swobodnego interpretowania lub nadinterpretowania wyników. Występuje tutaj ryzyko błędów atrybucji.

Uwarunkowania zewnętrzne efektu asesora

Wpływ na ocenę mogą mieć m.in.: stres i uczucie dezorientacji kandydata; instytucja walidująca powinna być przygotowana do udzielenia odpowiedzi na dodatkowe pytania, np. natury technicznej kandydata przed przystąpieniem do procesu i/lub w trakcie.

Wpływ etapu weryfikacji na efekt asesora

Przygotowanie walidacji

Wpływ na ocenę może mieć m.in.: przygotowanie stanowiska do symulacji z dbałością o detale odzwierciedlające stan rzeczywisty. Dodatkowo może wystąpić konieczność zaopatrzenia w aparat fotograficzny lub kamerę umożliwiające dokumentowanie przebiegu symulacji. Obligatoryjne jest przygotowanie przez asesora narzędzia pozwalającego udokumentować wyniki ocenianego np. arkusz obserwacji.

Weryfikacja

Wpływ na ocenę mogą mieć m.in.: odmienność od warunków rzeczywistych rzutująca na zachowanie kandydata; przypadkowe zakłócenia w miejscu symulacji; nieprzewidziane zakłócenia sprzętu, w tym sprzętu towarzyszącego weryfikacji (np. kamery, aparatu fotograficznego); Internet.

Decyzja o wyniku walidacji

Istotną rolę w procesie pełnią doradcy walidacyjni i asesorzy potrafiących w kompetentny sposób ocenić kandydata w warunkach symulowanych. W tym przypadku ocena zespołu jest bardziej wiarygodna niż jednostki. 

Wnioski końcowe

Przygotowanie warunków imitujących rzeczywistą sytuację często jest czasochłonne, wymaga wsparcia np. doradcy walidacyjnego, specjalistów, praktyków, a dodatkowo może wiązać się z koniecznością dokumentacji fotograficznej i/lub audio video.

Przy dużym nakładzie środków i czasu metoda obarczona ryzykiem błędów niezależnych od kandydata; istotna jest współpraca asesor-doradca walidacyjny-instytucja walidująca.

Strategia minimalizowania efektu asesora w odniesieniu do obserwacji w warunkach symulowanych

Efekt asesora można minimalizować poprzez następujące działania:

Zasady i narzędzia minimalizowania wpływu efektu asesora

Minimalizowanie ryzyka efektu asesora oznacza zapobiegania takim błędom i różnicom popełnianym przez asesora w ocenianiu efektów uczenia się w procesie walidacji, które wpływają na wyniki weryfikacji efektów uczenia się.

Ogólne zasady minimalizowania wpływu efektu asesora Narzędzia rozwojowe dla asesorów, aby zmniejszyć prawdopodobieństwo wystąpienia efektu asesora

Ryzyko występowania efektu asesora ma związek z wiedzą i umiejętnościami, jakie posiada asesor w związku z ocenianiem za pomocą różnorodnych metod oraz z postawą, jaką prezentuje, m.in. wobec norm etycznych, swojej pracy oraz samodoskonalenia.

  1. asesorów ze względu na posiadane przez nich efekty uczenia się oraz znajomość i doświadczenie w stosowaniu określonych metod walidacji.
  2. Pozytywne oczekiwania asesora wobec kandydatów, bazujące na indywidualizacji i podmiotowości w ocenianiu. Uwrażliwienie na czynniki społeczne, ale nie poddawanie ich ocenie czy uwzględnianie w ocenie (np. niepełnosprawność kandydata, narodowość itp.).
  3. Ostrożne korzystanie z informacji zawartych w dokumentach kandydata, nieuleganie opiniom osób trzecich zawartych w dokumentach kandydata; dystans do opinii np. doradców walidacyjnych na temat kandydata, czy innych osób związanych z kandydatem.
  4. Współpraca z otoczeniem procesu walidacyjnego: doradcami walidacyjnymi, moderatorami, obserwatorami. Ustalanie przebiegu weryfikacji oraz określenie, jakie metody i w jakim zakresie będą wykorzystywane w danym przypadku.
  5. Ukierunkowanie i poinformowanie kandydata o głównym celu weryfikacji, sposobach oceny i etapach weryfikacji. Gotowość do składania dodatkowych wyjaśnień i objaśnień na wniosek kandydata, dotyczących technicznego i merytorycznego przebiegu walidacji. Upewnienie, że kandydat zrozumiał przekaz.
  6. Tam gdzie to możliwe, zapewnienie anonimowości kandydata i asesora, np. przy sprawdzaniu testów.
  7. Przygotowanie i przedstawienie informacji zwrotnej niezależnie od wyniku weryfikacji z dbałością o komunikowanie pozytywnych aspektów przebiegu procesu, szczególne uzasadnienie dla aspektów niedostatecznych (negatywnych).
  8. Oddzielenie „człowieka od problemu”, uwrażliwienie na przebieg procesu a nie na osobę kandydata.
  9. Unikanie weryfikacji przez pryzmat emocji („patrzenie przez różowe okulary” versus „patrzenie przez czarne okulary”).
  10. Systematyczna samokontrola, refleksja nad własnym działaniem; korzystanie z badania opinii kandydatów na temat przebiegu walidacji (wykorzystanie np. ankiety ewaluacyjnej); ciągłe dokształcanie.


Metody rozwojowe pozwalają na minimalizowanie czynników i ryzyka występowania wypalenia zawodowego, a także efektu asesora. Należą do nich:

  • superwizja

Superwizja to udzielanie wsparcia metodycznego i merytorycznego danej osobie przez superwizora (osobę z większym doświadczeniem, której wiedza i umiejętności są potwierdzone, np. rekomendacją trenerską Polskiego Towarzystwa Psychologicznego III stopnia).

Do zadań superwizora/superwizorki należy w szczególności zbudowanie relacji kształcącej, stworzenie przestrzeni dla refleksji, rozwoju i zmiany, eksplorowanie obszarów, które do tej pory były niedostępne dla osób poddających się superwizji, pomoc przy dokonaniu zmiany w funkcjonowaniu w roli zawodowej.
Proces superwizji kończy się informacją zwrotną, w której superwizor doradza i/lub uczy konkretnych umiejętności i strategii interwencyjnych. Dzięki tej metodzie minimalizowane będzie ryzyko efektu asesora w odniesieniu do błędów uwarunkowanych cechami osoby oceniającej oraz w odniesieniu do błędów atrybucji.

  • coaching

Coaching pozwala na przyspieszenie tempa rozwoju, osiągania celów i polepszenia efektów działań. Stanowi również podstawę do zweryfikowania podejścia do wykonywanych obowiązków. Może prowadzić do podniesienia poczucia własnej wartości, co może mieć wpływ na minimalizowanie efektu asesora w odniesieniu do błędów związanych z cechami osoby oceniającej.

  • mentoring

Mentoring może być wykorzystana w początkowym okresie pracy asesora, kiedy zdobywa on doświadczenie. Skorzystanie ze wsparcia bardziej doświadczonego mentora, znającego pułapki wykonywanej funkcji, pozwoli na poznanie zagrożeń, błędów oceniania. Dzięki tej metodzie asesor będzie potrafił szybciej zauważyć popełniane przez siebie błędy w ocenianiu i wyeliminować bodźce, które do nich prowadzą.

  • tutoring

Tutoring to metoda rozwijania kreatywności i samodzielnego myślenia podczas cyklicznych spotkań tutora z podopiecznym. W odróżnieniu od mentoringu, tutoring to praca w obszarze wartości, talentów i celów. Zadaniem tutora jest wspieranie podopiecznego, aby ten pracował autentycznie, świadomie i spójnie, a nie dopasowywał się powierzchownie lub konformistycznie do jakiegoś zewnętrznego wzorca.

Tutoring bazuje na mocnych stronach podopiecznego, a jeżeli nie są w pełni uświadomione, ma za zadanie je uwypuklić. Istotna w tutoringu jest również świadomość słabych stron, nad którymi należy pracować, aby je minimalizować lub wyeliminować.

Tutoring w minimalizowaniu efektu asesora może mieć zastosowanie na każdym etapie pełnienia tej funkcji. Możliwość rozwoju czy też samouświadomienia mocnych stron stanowi kluczowy bodziec do analizy zaangażowania w pracę. Refleksja, która towarzyszy tutoringowi może mieć znaczenie w uświadomieniu sobie nieetycznych zachowań w procesie walidacji.

  • trening intrapsychiczny
Trening intrapsychiczny umożliwia poszerzenie i pogłębienie świadomości dotyczącej problemów emocjonalnych, ich przyczyn, jak i konsekwencji. Pozwala na lepsze zrozumienie siebie, efektywniejsze wykorzystywanie swoich predyspozycji, przezwyciężanie wewnętrznych ograniczeń i poznania swoich możliwości. Jego celem jest także zwiększenie samoświadomości i samoakceptacji. Pozwala na spojrzenie w głąb siebie, a w konsekwencji efektywniejsze tworzenie relacji z innymi ludźmi.

Efekt asesora niezależny od stosowanej metody walidacji - powszechne błędy oceniania

Błędy uwarunkowane cechami asesora

Należą do nich m.in.:

Błędy atrybucji

Do podstawowych błędów atrybucji zalicza się:

Błędy związane z tematyką oraz formą oceniania

Rozbieżności w ocenianiu mogą zależeć od czynników jaki jak:


Bibliografia

Azuma R.T. (1997). A survey of augmented reality. Presence: Teleoperators and Virtual Environments 6(4). 355–385.

Cedefop (2014). Use of validation by enterprises for human resource and career development purpose. Cedefop reference series No 96. Luxembourg: Publications Office. Pobrano z: http://www.cedefop.europa.eu/files/3065_en.pdf

European Commission, Cedefop i ICF International (2017). European inventory on validation of non-formal and informal learning – 2016 update. Synthesis report. Luxembourg: Publications Office.

Falah, J., Charissis, V., Khan, S., Chan, W., Alfalah, S. F. M., Harrison, D. K. (2015). Development and evaluation of virtual reality medical training system for anatomy education. [In:] Arai, K., Kapoor, S. & Bhatia, R. (Eds.). Intelligent systems in science and information 2014: Extended and selected results from the Science and Information Conference 2014. 369–383. Cham: Springer International Publishing.

Fassi F. et al. (2016). VR for Cultural Heritage. AVR 2016: Augmented Reality, Virtual Reality, and Computer Graphics. 139–157.

Górski F., Starzyńska B., Buń P., Kujawińska A. (2018a). Virtual quality toolbox - Learning of quality management in immersive environment. Proceedings of 4th International Conference of the Virtual and Augmented Reality in Education. VARE 2018. 177–182.

Górski F., Zawadzki P., Buń P. (2018b). Virtual skill teacher - Platform for effective learning of technical skills. Proceedings of 4th International Conference of the Virtual and Augmented Reality in Education. VARE 2018. 171–176.

Górski F., Zawadzki P., Buń P., Starzyńska B. (2018c). Virtual Reality Training Solutions for Hard and Soft Skills in Production. Proceedings of the 23rd International ACM Conference on 3D Web Technology, Poznan, Poland, June 2018 (WEB3D ‘18).

Górski F. (2019). Metodyka budowy otwartych systemów rzeczywistości wirtualnej: zastosowanie w inżynierii mechanicznej. Poznań: Wydawnictwo Politechniki Poznańskiej.

Grajewski D., Górski F., Pandilov Z. (2019). Virtual Simulation of Machine Tools, Advances in Manufacturing II. Volume 1 - Solutions for Industry 4.0. Springer, 127–136.

Kyaw, B.M., et al. (2019). Virtual reality for health professions education: systematic review and meta-analysis by the digital health education collaboration. Journal of medical Internet research, 21.1: e12959.

Łoś, E. i Reszka, A. (2009). Metody nauczania stosowane w kształtowaniu kompetencji kluczowych. Matematyka. Podręcznik metodyki operacyjnej. Lublin: Innovatio Press Wydawnictwo Naukowe Wyższej Szkoły Ekonomii i Innowacji.

Solarczyk-Szwec, H., Machałowska, K. (2020). Efekt asesora i minimalizowanie ryzyka efektu asesora w ZSK - ekspertyza. Warszawa: Instytut Badań Edukacyjnych [materiał niepublikowany]

Starzyńska B., Górski F., Buń P. (2018). Virtual Reality System for Learning and Selection of Quality Management Tools. WorldCIST'18 2018. Advances in Intelligent Systems and Computing. 747.

Symonenko S.V. et al. (2020). Virtual reality in foreign language training at higher educational institutions. Conference: 2nd International Workshop on Augmented Reality in Education. [At:] Kryvyi Rih, Ukraine.

Źródła internetowe:

Strony internetowe:

Cedefop. European database on validation of non-formal and informal learning [baza danych]; http://www.cedefop.europa.eu/en/publications-and-resources/data-visualisations/european-database-on-validation-of-non-formal-and-informal-learning

Digital Engineering and Magic; www.digitalengineeringmagic.com