infoEtap identyfikowania
Na etapie identyfikowania służy do rozpoznawania wiedzy, umiejętności i kompetencji społecznych kandydata.

infoEtap dokumentowania
Na etapie dokumentowania wypełnione arkusze obserwacji (bądź inne formy zapisywania wyników obserwacji) mogą być dowodami na osiągnięcie efektów uczenia się przez kandydata.

infoEtap weryfikacji
Najczęściej wykorzystuje się tę metodę na etapie weryfikacji.

infoWiedza
Odpowiednio długo prowadzona obserwacja umożliwia rozpoznanie efektów uczenia się, odnoszących się do narzędzi i materiałów wykorzystywanych w miejscu pracy.

infoUmiejętności
Obserwacja jest przydatna do sprawdzenia wszystkich umiejętności uzyskanych na każdym poziomie PRK. Nie wymaga posiłkowania się innymi metodami. Jednak im bardziej złożony efekt (im wyższy poziom PRK), tym bardziej czasochłonne i kosztowne może być zastosowanie obserwacji.

infoKompetencje społeczne
Obserwację można zastosować do wszystkich kompetencji społecznych na każdym poziomie PRK: w zakresie przestrzegania reguł, współpracy i odpowiedzialności.

infoDoradca walidacyjny
Obserwator powinien zbierać obserwacje świadczące o tym, że kandydat potrafi wykonać zlecone czynności. Nie może swojej oceny opierać na własnej intuicji lub przeświadczeniach wysnutych na podstawie obserwacji pracy kandydata w innych warunkach. Oznacza to konieczność odpowiedniego przeszkolenia kadry.

Pobierz wersję PDF
(Czarno-biały)

Obserwacja w warunkach rzeczywistych

Obserwacja w warunkach rzeczywistych

Charakterystyka

Charakterystyka

Obserwacja w warunkach rzeczywistych polega na analizie działania kandydata w rzeczywistych warunkach realizacji zadań określonych w opisie kwalifikacji.

Osoba dokonująca obserwacji – najczęściej jest to asesor – ma ograniczony wpływ na warunki, w jakich prowadzona jest obserwacja, ponieważ zapewnia je ktoś inny (najczęściej pracodawca). Obserwujący ma jednak duży wpływ na procesy zbierania i analizy informacji o efektach uczenia się uzyskanych przez kandydata.

W różnych krajach europejskich metoda ta jest wykorzystywana najczęściej do identyfikowania lub weryfikacji wybranych efektów uczenia się. Najczęściej obserwacji podlegają działania kandydata w miejscu pracy lub fragment wykonywanej przez niego pracy, jeśli konkretne czynności są istotne dla danej kwalifikacji. Tę metodę można wykorzystywać nie tylko w wypadku kwalifikacji sektorowych czy rzemieślniczych, lecz także artystycznych i sportowych.

Obserwacja w warunkach rzeczywistych pozwala na zbieranie informacji o efektach uczenia się ze wszystkich trzech kategorii: wiedzy, umiejętności i kompetencji społecznych. Jednak najbardziej trafna jest w wypadku tych efektów, które da się zaobserwować bezpośrednio (umiejętności). Do zidentyfikowania pozostałych efektów uczenia się zaleca się łączenie obserwacji z innymi metodami.

Obserwacja w warunkach rzeczywistych może przyjmować różne formy. Więcej informacji o różnych odmianach obserwacji znajdziesz w zakładce "Przykładowe techniki".

Etapy walidacji, na których rekomenduje się stosowanie danej metody

Etapy walidacji, na których rekomenduje się stosowanie danej metody 

Obserwacja – a konkretnie różne techniki tej metody – może być stosowana na wszystkich etapach walidacji.

Na etapie identyfikowania służy do rozpoznawania wiedzy, umiejętności i kompetencji społecznych kandydata. Na etapie dokumentowania wypełnione arkusze obserwacji (bądź inne formy zapisywania wyników obserwacji) mogą być dowodami na osiągnięcie efektów uczenia się przez kandydata. Najczęściej wykorzystuje się tę metodę na etapie weryfikacji.

Potwierdzają to badania prowadzone przez Cedefop (agencję zajmującą się rozwojem i promocją edukacji zawodowej i uczenia się przez całe życie w Unii Europejskiej). Wedle danych z 2016 r. w 3 z 34 państw objętych badaniem wykorzystywano tę metodę w celu identyfikowania efektów uczenia się. Bardzo rzadko (1 kraj) wybierano obserwację na etapie dokumentowania. Natomiast w 10 państwach stosowano tę metodę, często w połączeniu z innymi, na etapie weryfikacji. Gdy jest ona wykorzystywana jako metoda pomocnicza, wówczas obserwacji podlegają tylko niektóre efekty uczenia się, głównie z kategorii kompetencji społecznych i umiejętności.

Zakres efektów uczenia się, które można sprawdzać daną metodą

Zakres efektów uczenia się, które można sprawdzać daną metodą

Wskazówki dotyczące efektów uczenia się, które można sprawdzać za pomocą obserwacji w warunkach rzeczywistych mają charakter orientacyjny. Zostały opracowane na podstawie analizy wymagań zawartych w Polskiej Ramie Kwalifikacji (w charakterystykach II stopnia typowych dla kwalifikacji o charakterze zawodowym), dotyczących efektów uczenia się.

Należy pamiętać, że wybór danej metody zawsze musi wynikać z analizy efektów uczenia się zdefiniowanych dla danej kwalifikacji.

W szerokim rozumieniu obserwacja polega na zbieraniu informacji, dzięki którym można potwierdzić osiągnięcie przez kandydata efektów uczenia się właściwych dla danej kwalifikacji i analizować jego zachowanie, sposób komunikowania się i wykonywanie zadań w rzeczywistych warunkach realizacji działań zawodowych. W związku z tym jest ona polecana do sprawdzania umiejętności i kompetencji społecznych, można ją jednak zastosować również do identyfikacji zakresu i głębi wiedzy kandydata.

Wiedza

Odpowiednio długo prowadzona obserwacja umożliwia rozpoznanie efektów uczenia się, odnoszących się do narzędzi i materiałów wykorzystywanych w miejscu pracy.

W wypadku znajomości i rozumienia teorii, zasad, zjawisk i procesów, a także organizacji pracy, można tę metodę stosować samodzielnie, ale tylko na niższych poziomach ramy (1–3 PRK). Sprawdzanie wiedzy z wyższych poziomów (4–8 PRK) za pomocą obserwacji byłoby bardzo czasochłonne. Rekomenduje się więc albo połączenie jej z innymi metodami, albo zastąpienie testem teoretycznym.

Nie rekomenduje się natomiast sprawdzania za pomocą obserwacji wiedzy z zakresu organizacji pracy w aspektach „metody i technologie” oraz „rozwiązania organizacyjne” na poziomach 7 i 8 PRK.

Umiejętności

Obserwacja jest przydatna do sprawdzenia wszystkich umiejętności uzyskanych na każdym poziomie PRK. Nie wymaga posiłkowania się innymi metodami. Jednak im bardziej złożony efekt (im wyższy poziom PRK), tym bardziej czasochłonne i kosztowne może być zastosowanie obserwacji.

Zademonstrowanie niektórych efektów z kategorii wiedzy wymaga od kandydata wykonywania złożonych zadań oraz umiejętności pracy w zmiennych i nieprzewidywalnych warunkach. Dzięki odpowiednio długiej obserwacji możliwe jest zauważenie kluczowych informacji, które potwierdzają (lub nie) te umiejętności, natomiast ich sprawdzenie w warunkach rzeczywistych jest o wiele bardziej trafne niż przy zastosowaniu innych metod.

Kompetencje społeczne

Obserwację można zastosować do wszystkich kompetencji społecznych na każdym poziomie PRK: w zakresie przestrzegania reguł, współpracy i odpowiedzialności.

Metoda ta na etapie identyfikowania może być wykorzystana do rozpoznania kompetencji społecznych. Z kolei ocena tej kategorii efektów uczenia się podczas weryfikacji powinna być uzasadniona opisowo lub przedstawiona za pomocą skali.

Sprawdzenie, czy kandydat ma różnego rodzaju kompetencje społeczne jest możliwe tylko podczas dłuższej obserwacji (nie muszą być one bowiem widoczne od razu). W związku z tym w niektórych wypadkach zaleca się stosowanie innych metod, szczególnie ukierunkowanych na analizę wypowiedzi (np. wywiady) lub dokumentów.

Wskazówki dotyczące efektów uczenia się, które można sprawdzić za pomocą metody Obserwacja w warunkach rzeczywistych

Mocne i słabe strony obserwacji w warunkach rzeczywistych

Mocne i słabe strony obserwacji w warunkach rzeczywistych 

 

Mocne strony Słabe strony
  • przebieg obserwacji można dopasować do kandydata ubiegającego się o kwalifikację (np. poprzez przeprowadzenie jej w miejscu pracy danej osoby)
  • umożliwia dostosowanie walidacji do potrzeb (w tym do celu przystąpienia do walidacji) oraz ograniczeń kandydata
  • pozwala dokładniej niż inne metody rozpoznać efekty uczenia się ze wszystkich kategorii
  • można ją zastosować na wszystkich etapach walidacji
  • umożliwia obserwację działania, zachowania oraz efektów pracy kandydata
  • może być stosowana razem z innymi metodami – wówczas obserwacji podlegają niektóre efekty uczenia się
  • nie wymaga specjalnych nakładów finansowych potrzebnych do zapewnienia warunków organizacyjno-materialnych, ponieważ odbywa się w warunkach rzeczywistych, zapewnionych przez pracodawcę
  • obserwacja jest czasochłonna (zwłaszcza jeśli jest jedyną metodą walidacji): wymaga skupienia się obserwatora na jednym kandydacie oraz szczegółowego zbierania i analizy danych na jego temat
  • metoda ta nie jest odpowiednia do przeprowadzania procesu walidacji dla kilku osób jednocześnie
  • wyniki obserwacji są szczególnie podatne na zniekształcenie w wyniku tzw. efektu egzaminatora, czyli oceniania kandydata na podstawie ogólnego wrażenia lub stawiania zawsze skrajnych bądź zawsze średnich ocen
  • jawność obserwacji może wpływać na zachowanie kandydata, a w konsekwencji – zniekształcać wyniki

Ograniczenia w stosowaniu

Ograniczenia w stosowaniu 

Stosowanie obserwacji w warunkach rzeczywistych może być ograniczone lub niemożliwe z powodu konieczności przestrzegania szczególnych zasad bezpieczeństwa i higieny pracy bądź trudnych warunków, takich jak praca na wysokości czy wykonywanie zadań związanych bezpośrednio z ochroną zdrowia.

Obserwację można zakończyć dopiero wtedy, gdy zebrane dane pozwolą sprawdzić uzyskanie efektów uczenia się właściwych dla danej kwalifikacji. Tymczasem wykonywanie niektórych czynności może być uzależnione np. od pory roku lub wymagać wystąpienia nietypowych warunków. Może to ograniczyć stosowanie tej metody lub wymusić konieczność łączenia jej z innymi.

Ograniczeniem może być też wydłużenie procesu walidacji w sytuacjach, gdy obserwacja jest jedyną metodą stosowaną na etapie weryfikacji (np. z uwagi na to, że niektóre działania w miejscu pracy są wykonywane rzadko, w dużych odstępach czasu). Ograniczenie to odnosi się zwłaszcza do efektów z kategorii wiedzy i kompetencji społecznych (część z nich może być zaobserwowana dopiero w dłuższym okresie czasu, o części zaś można wnioskować tylko pośrednio na podstawie umiejętności). Występuje niezależnie od tego, jak bardzo złożone są te efekty (na jakim poziomie PRK się znajdują). Można je obejść poprzez zastosowanie dodatkowej metody (np. analizy dowodów) lub zastąpienie obserwacji inną metodą.

Konieczne zasoby kadrowe i organizacyjno-materialne

Konieczne zasoby kadrowe i organizacyjno-materialne

Obserwatorem może być doradca walidacyjny na etapie identyfikacji lub asesor na etapie weryfikacji. Do zbierania danych można także zatrudnić obserwatora zewnętrznego. Należy przy tym wziąć pod uwagę jego doświadczenie, od niego bowiem zależy, jak szczegółowe informacje uda się mu pozyskać. Ilość i jakość zebranych informacji będzie miała z kolei duże znaczenie na etapie weryfikacji. Należy pamiętać, że rola obserwatora wymaga odpowiedniego przeszkolenia w zakresie zbierania informacji (sporządzanie szczegółowych notatek, stosowanie narzędzi), rzetelnego sprawdzania efektów uczenia się i przyjęcia neutralnej postawy wobec kandydata.

Obserwator powinien zbierać obserwacje świadczące o tym, że kandydat potrafi wykonać zlecone czynności. Nie może swojej oceny opierać na własnej intuicji lub przeświadczeniach wysnutych na podstawie obserwacji pracy kandydata w innych warunkach. Oznacza to konieczność odpowiedniego przeszkolenia kadry.

Jest to szczególnie ważne w odniesieniu do obserwacji, ponieważ wpływ na wyniki może mieć szereg czynników niezależnych od efektów uczenia się, np. charakter zebranych informacji. Jeśli pojawiło się zbyt dużo sytuacji nietypowych (np. dla danego miejsca pracy), wówczas osoba obserwująca może skupić się na ocenianiu sposobu reagowania na nie, a nie na efektach uczenia się.

W zależności od celu stosowania obserwacji w procesie walidacji efektów uczenia się, informacje o kandydacie można zbierać i dokumentować za pomocą wielu narzędzi. Na etapach identyfikowania lub dokumentowania doradca walidacyjny może sporządzać notatki z przebiegu obserwacji lub wykorzystać do tego sprzęt rejestrujący dźwięk lub obraz (po uzyskaniu zgody kandydata na nagrywanie).

Ważne, aby gromadzone dane były bardzo szczegółowe i obejmowały szeroki zakres obserwowanych działań kandydata lub efektów jego pracy. Pozwala to m.in. przeciwdziałać efektowi egzaminatora. Należy dopilnować, aby ten sam arkusz był używany do oceny wszystkich kandydatów. Ważne jest również to, by kryteria oceny znajdujące się w arkuszu odnosiły się wyłącznie do sprawdzanych efektów uczenia się.

Ponieważ obserwacja przebiega w naturalnym środowisku pracy kandydata, nie trzeba stwarzać specjalnych warunków do zastosowania tej metody.

Materiały, które mogą być potrzebne: kartki papieru i długopis do sporządzania notatek; stoper lub zegarek do mierzenia czasu wykonywania czynności; dyktafon, kamera lub aparat fotograficzny do rejestrowania dźwięku lub obrazu.

Podczas obserwowania czynności, które wymagają zachowania szczególnych zasad bezpieczeństwa i higieny pracy, wskazane jest używanie odzieży ochronnej (np. czepków, kasków, okularów, gogli, masek, słuchawek, nauszników, kombinezonów, fartuchów, rękawic, ochrony na obuwie).

Możliwości łączenia obserwacji w warunkach rzeczywistych z innymi metodami

Możliwości łączenia obserwacji w warunkach rzeczywistych z innymi metodami

Obserwacja umożliwia zebranie informacji dotyczących zarówno działania, wyniku pracy, zachowania, jak również sposobu komunikowania się kandydata, dlatego na etapie weryfikacji warto ją stosować z innymi metodami właściwymi do sprawdzenia tych aspektów pracy kandydata oraz związanych z nimi efektów uczenia się.

Czynnikiem, który decyduje o możliwości zastosowania obserwacji, jest zbieżność warunków określonych w opisie kwalifikacji z warunkami rzeczywistymi, np. panującymi w pracy kandydata. Na przykład, jeśli kandydat pracuje na innych maszynach niż te, które wskazano w opisie kwalifikacji, wówczas do sprawdzenia efektów uczenia się należy wykorzystać inne metody (np. symulację, analizę dowodów i deklaracji, prezentację, wywiad swobodny lub ustrukturyzowany).

Według danych Cedefopu w 10 krajach na etapie weryfikacji obserwację łączy się z innymi metodami, np. debatami swobodnymi i ustrukturyzowanymi, wywiadami swobodnymi i ustrukturyzowanymi, analizą dowodów i deklaracji, prezentacją i obserwacją w warunkach symulowanych.

Możliwe jest także uzupełnienie tej metody przez test teoretyczny (zwłaszcza technika odpowiedzi ustnej).

Przykładowe techniki

Przykładowe techniki

Technika to podejście w ramach danej metody wykorzystywane do zbierania i analizowania danych świadczących o posiadaniu przez daną osobę efektów uczenia się.

Obserwacja kontrolowana

Informacje zbierane za pomocą tego rodzaju obserwacji służą sprawdzeniu, czy kandydat osiągnął efekty uczenia się właściwe dla danej kwalifikacji. W celu uzyskania informacji na konkretny temat asesor wpływa na warunki prowadzenia obserwacji. Na przykład uzgadnia z przełożonym kandydata zadania, które dostanie do wykonania w pracy w dniu obserwacji. Dzięki temu można faktycznie zaobserwować dane efekty uczenia się. 

Mocne strony obserwacji kontrolowanej:
  • umożliwia sprawdzenie złożonych efektów uczenia się podczas jednej obserwacji;
  • zwiększa pewność potwierdzania efektów uczenia się, niezależnie od czynników losowych;
  • dzięki ustaleniu przebiegu pozwala w krótszym czasie potwierdzić wiele efektów uczenia się (oszczędność czasu).
Słabe strony obserwacji kontrolowanej:
  • ingerencja w obserwowaną sytuację może mieć wpływ na zachowanie kandydata (zachowa się inaczej niż w zupełnie naturalnej sytuacji);
  • ustalenie z pracodawcą zadań zleconych kandydatowi może być trudne.

 

Obserwacja niekontrolowana

Jest prowadzona bez żadnej ingerencji - asesor obserwuje to, co akurat zachodzi, bez ustalania z kandydatem czy pracodawcą, co się wydarzy. Ze względu na mniejszą przewidywalność ta technika najlepiej sprawdza się na etapie identyfikowania efektów uczenia się.

Mocne strony obserwacji niekontrolowanej:
  • obserwacji poddana jest naturalna sytuacja, więc zachowania i reakcja kandydata są wiarygodne;
  • możliwa do zastosowania, gdy obserwacji poddawane jest działanie kandydata lub wytwory jego pracy.
Słabe strony obserwacji niekontrolowanej:
  • stosując tę technikę nie ma się wpływu na to, jakie zadania wykona kandydat, w związku z tym nie zawsze będzie mieć on okazję do wykazania wszystkich efektów uczenia się (z tego powodu proponuje się stosowanie tej techniki łącznie z innymi metodami);
  • ze względu na mniejszą przewidywalność jest czasochłonna;
  • za jej pomocą jeden obserwator (doradca/asesor) nie może identyfikować lub sprawdzać efektów uczenia się wielu kandydatów jednocześnie.

 

Poza powyższymi odmianami, obserwacja w warunkach rzeczywistych może występować w wielu różnych wariantach. Poniższa tabela porządkuje rodzaje obserwacji według kilku najważniejszych aspektów.

Tabela 1. Odmiany obserwacji

ASPEKT ODMIANY OBSERWACJI

Wiedza kandydata o prowadzeniu obserwacji

  • jawna – gdy kandydat wie i zgadza się na bycie obserwowanym
  • ukryta – gdy kandydat nie ma świadomości, że jest obserwowany i że jego efekty uczenia się są sprawdzane

Stopień ingerencji obserwatora (np. asesora) w otoczenie

  • uczestnicząca – gdy obserwator staje się np. jednym ze współpracowników lub klientów kandydata
  • nieuczestnicząca – gdy obserwator obserwuje otoczenie kandydata z zewnątrz

Kontakt obserwatora z kandydatem

  • pośrednia – gdy obserwacji podlegają efekty pracy kandydata (np. dokumenty, nagrania, przedmioty)
  • bezpośrednia – gdy obserwator ma kontakt z kandydatem (może przez to ingerować w proces zbierania informacji o kandydacie, np. poprzez zadawanie pytań)

Sposób zbierania informacji o kandydacie

  • kontrolowana 
  • niekontrolowana 

 

Nie wszystkie odmiany obserwacji można zastosować w walidacji efektów uczenia się. Jednym z podstawowych założeń walidacji jest jawność procedur oraz informowanie kandydata o przebiegu procesu. Wyklucza to zastosowanie obserwacji ukrytej.

Z kolei udział obserwatora (np. asesora) na niektórych etapach pracy kandydata mógłby wpłynąć na jej przebieg, zaburzyć naturalność warunków i ostateczny wynik. Są także sytuacje, w których zastosowanie obserwacji uczestniczącej jest ograniczone przez wymogi sanitarne lub szczególne zasady bezpieczeństwa. W związku z tym do przeprowadzenia walidacji rekomenduje się zastosowanie obserwacji nieuczestniczącej.

Niekiedy obserwacja pośrednia bywa pomocna w analizowaniu danych, a bezpośrednia – w trakcie debaty ustrukturyzowanej i swobodnej, prezentacji, wywiadu ustrukturyzowanego i swobodnego.

Przykłady zastosowania obserwacji w warunkach rzeczywistych

Przykłady zastosowania obserwacji w warunkach rzeczywistych

Przykład na zastosowanie obserwacji w warunkach rzeczywistych jest zawarty w Bazie Dobrych Praktyk. Walidacja, zapewnianie jakości walidacji i certyfikowania. Dotyczy kwalifikacji zarządzanie gospodarowaniem odpadami: transport – odpady niebezpieczne w Szkocji – technika portfolio.

Efekt asesora

Efekt asesora

Efekt asesora można zdefiniować jako błędy i różnice w ocenianiu efektów uczenia się w procesie walidacji, które są zależne od asesora i wpływają na wyniki weryfikacji efektów uczenia się.

Efekt asesora można podzielić na następujące kategorie:

efekt asesora zależny od zastosowanej metody walidacji efekt asesora niezależny od zastosowanej metody walidacji (powszechne błędy oceniania)
uwarunkowania wewnętrzne efektu asesora uwarunkowania zewnętrzne efektu asesora wpływ etapu weryfikacji na efekt asesora błędy uwarunkowane cechami asesora błędy atrybucji błędy związane z tematyką oraz formą oceniania
Są one specyficzne dla poszczególnych metod.

Przykłady można znaleźć tutaj.
Należą do nich: osoba kandydata, czas, miejsce, kultura organizacyjna instytucji, skład komisji oceniającej.

Przykłady można znaleźć tutaj.
Inne błędy mogą się pojawić przy przygotowaniu walidacji, w przebiegu weryfikacji oraz przy podjęciu decyzji o wyniku walidacji.

Przykłady można znaleźć tutaj.
To czynniki i cechy osoby oceniającej obniżające trafność postrzegania, co w konsekwencji powoduje błędy w ocenianiu.

Przykłady można znaleźć tutaj.
Asesor przypisuje większe znaczenie cechom ocenianego niż np. niekorzystnym uwarunkowaniom zewnętrznym.

Przykłady można znaleźć tutaj.
Przykłady można znaleźć tutaj.

Minimalizacja efektu asesora ma prowadzić do zwiększenia rzetelności i obiektywności w ocenianiu efektów uczenia. Strategie minimalizowania efektu asesora można znaleźć tutaj.

Błędy specyficzne dla obserwacji w warunkach rzeczywistych

Uwarunkowania wewnętrzne efektu asesora

Obserwacja w warunkach rzeczywistych jest realizowana w miejscu pracy kandydata, co może wywołać u asesora efekt “obcego“. Wpływ na ocenę może mieć też: duża liczba bodźców oraz zakłócenia (np. hałas, obecność innych osób), powodująca zaburzenie percepcji asesora; skłonność asesora do swobodnego interpretowania lub nadinterpretowania wyników; ryzyko błędów atrybucji w stosunku do kandydata, prestiżu miejsca.

Uwarunkowania zewnętrzne efektu asesora

Przed zastosowaniem tej metody należy sprawdzić, czy warunki w których ma odbyć się proces, są właściwe i pozwolą na przeprowadzenie walidacji bez zakłóceń.
Obserwacja w warunkach rzeczywistych, np. w miejscu pracy, jest mniej stresująca dla kandydata, co zapobiega efektowi asesora. Może jednak zwiększać stres u asesora ze względu na nieznane mu miejsce przeprowadzenia weryfikacji.
Instytucja, w której przeprowadza się obserwację w warunkach rzeczywistych, powinna być przygotowana do udzielenia odpowiedzi na dodatkowe pytania (np. natury technicznej) przed rozpoczęciem walidacji i/lub w trakcie.  Niechęć instytucji do tego może zaburzyć przygotowania do przeprowadzenia weryfikacji, co może zniekształcić efekt weryfikacji.    

Wpływ etapu weryfikacji na efekt asesora

przygotowanie walidacji

Wpływ na ocenę mogą mieć m.in.: współpraca z pracodawcą; przygotowanie stanowiska do obserwacji z dbałością o zapewnienie komfortu sytuacyjnego kandydata (np. ograniczenie kontaktu z przełożonym); przygotowanie przez asesora narzędzia pozwalającego udokumentować i ocenić wyniki weryfikacji, np. arkusz obserwacji.

weryfikacja

Wpływ na ocenę mogą mieć m.in.: błędne, niezależne od kandydata procedury stosowane w miejscu pracy; przypadkowe zakłócenia w miejscu obserwacji; nieprzewidziane zakłócenia sprzętu, w tym sprzętu towarzyszącego weryfikacji (np. kamery, aparatu fotograficznego); internet; zaburzona/nieudana współpraca z pracodawcą podczas weryfikacji; presja czasu.

decyzja o wyniku walidacji

Ze względu  na niepowtarzalność sytuacji, nakład sił i środków w przygotowaniu miejsca do przeprowadzenia obserwacji rośnie presja dot. decyzji asesora; duża liczba bodźców i kwestii podlegających obserwacji dają preferencję dla oceny zespołowej – ta niesie ryzyko różnic w standardach oceny; wymuszonej przewagi jakiejś opinii.

Wnioski końcowe

Przygotowanie do obserwacji w warunkach rzeczywistych często jest czasochłonne i wymaga wsparcia (np. doradcy walidacyjnego, specjalistów, praktyków). Dodatkowo może wiązać się z koniecznością dokumentacji fotograficznej i/lub audio video. Istotna jest udana współpraca asesor-doradca walidacyjny-pracodawca.

Strategia minimalizowania efektu asesora w odniesieniu do obserwacji w warunkach rzeczywistych

Efekt asesora można minimalizować poprzez następujące działania:

  • konsultowanie opracowanych zadań z praktykami w danej dziedzinie (zwłaszcza dotyczących wiedzy);
  • współpraca asesorów z doradcami walidacyjnymi;
  • ustalenie i poinformowanie kandydata o stopniu ingerencji asesora, tzn. czy będzie również uczestniczył w procesie, np. zadając pytania, czy będzie tylko obserwatorem;
  • uwrażliwienie asesora na wyciąganie wniosków z obserwacji, które np. były przeprowadzone wcześniej lub przy wykorzystaniu np. obserwacji w warunkach symulowanych – stosowanie zasady „tu i teraz”.

Zasady i narzędzia minimalizowania wpływu efektu asesora

Minimalizowanie ryzyka efektu asesora oznacza zapobiegania takim błędom i różnicom popełnianym przez asesora w ocenianiu efektów uczenia się w procesie walidacji, które wpływają na wyniki weryfikacji efektów uczenia się.

ogólne zasady minimalizowania wpływu efektu asesora narzędzia rozwojowe dla asesorów, aby zmniejszyć prawdopodobieństwo wystąpienia efektu asesora

Ryzyko występowania efektu asesora ma związek z wiedzą i umiejętnościami, jakie posiada asesor w związku z ocenianiem za pomocą różnorodnych metod oraz z postawą, jaką prezentuje, m.in. wobec norm etycznych, swojej pracy oraz samodoskonalenia.

  1. Dobór asesorów ze względu na posiadane przez nich efekty uczenia się oraz znajomość i doświadczenie w stosowaniu określonych metod walidacji.
  2. Pozytywne oczekiwania asesora wobec kandydatów, bazujące na indywidualizacji i podmiotowości w ocenianiu. Uwrażliwienie na czynniki społeczne, ale nie poddawanie ich ocenie czy uwzględnianie w ocenie (np. niepełnosprawność kandydata, narodowość itp.).
  3. Ostrożne korzystanie z informacji zawartych w dokumentach kandydata, nieuleganie opiniom osób trzecich zawartych w dokumentach kandydata; dystans do opinii np. doradców walidacyjnych na temat kandydata, czy innych osób związanych z kandydatem.
  4. Współpraca z otoczeniem procesu walidacyjnego: doradcami walidacyjnymi, moderatorami, obserwatorami. Ustalanie przebiegu weryfikacji oraz określenie, jakie metody i w jakim zakresie będą wykorzystywane w danym przypadku.
  5. Ukierunkowanie i poinformowanie kandydata o głównym celu weryfikacji, sposobach oceny i etapach weryfikacji. Gotowość do składania dodatkowych wyjaśnień i objaśnień na wniosek kandydata, dotyczących technicznego i merytorycznego przebiegu walidacji. Upewnienie, że kandydat zrozumiał przekaz.
  6. Tam gdzie to możliwe, zapewnienie anonimowości kandydata i asesora, np. przy sprawdzaniu testów.
  7. Przygotowanie i przedstawienie informacji zwrotnej niezależnie od wyniku weryfikacji z dbałością o komunikowanie pozytywnych aspektów przebiegu procesu, szczególne uzasadnienie dla aspektów niedostatecznych (negatywnych).
  8. Oddzielenie „człowieka od problemu”, uwrażliwienie na przebieg procesu a nie na osobę kandydata.
  9. Unikanie weryfikacji przez pryzmat emocji („patrzenie przez różowe okulary” versus „patrzenie przez czarne okulary”).
  10. Systematyczna samokontrola, refleksja nad własnym działaniem; korzystanie z badania opinii kandydatów na temat przebiegu walidacyji (wykorzystanie np. ankiety ewaluacyjnej); ciągłe dokształcanie.


Metody rozwojowe pozwalają na minimalizowanie czynników i ryzyka występowania wypalenia zawodowego, a także efektu asesora. Należą do nich:
  • superwizja
Superwizja to udzielanie wsparcia metodycznego i merytorycznego danej osobie przez superwizora (osobę z większym doświadczeniem, której wiedza i umiejętności są potwierdzone, np. rekomendacją trenerską Polskiego Towarzystwa Psychologicznego III stopnia).

Do zadań superwizora/superwizorki należy w szczególności zbudowanie relacji kształcącej, stworzenie przestrzeni dla refleksji, rozwoju i zmiany, eksplorowanie obszarów, które do tej pory były niedostępne dla osób poddających się superwizji, pomoc przy dokonaniu zmiany w funkcjonowaniu w roli zawodowej.
Proces superwizji kończy się informacją zwrotną, w której superwizor doradza i/lub uczy konkretnych umiejętności i strategii interwencyjnych. Dzięki tej metodzie minimalizowane będzie ryzyko efektu asesora w odniesieniu do błędów uwarunkowanych cechami osoby oceniającej oraz w odniesieniu do błędów atrybucji.

  • coaching
Coaching pozwala na przyspieszenie tempa rozwoju, osiągania celów i polepszenia efektów działań. Stanowi również podstawę do zweryfikowania podejścia do wykonywanych obowiązków. Może prowadzić do podniesienia poczucia własnej wartości, co może mieć wpływ na minimalizowanie efektu asesora w odniesieniu do błędów związanych z cechami osoby oceniającej.

  • mentoring
Mentoring może być wykorzystana w początkowym okresie pracy asesora, kiedy zdobywa on doświadczenie. Skorzystanie ze wsparcia bardziej doświadczonego mentora, znającego pułapki wykonywanej funkcji, pozwoli na poznanie zagrożeń, błędów oceniania. Dzięki tej metodzie asesor będzie potrafił szybciej zauważyć popełniane przez siebie błędy w ocenianiu i wyeliminować bodźce, które do nich prowadzą.

  • tutoring
Tutoring to metoda rozwijania kreatywności i samodzielnego myślenia podczas cyklicznych spotkań tutora z podopiecznym. W odróżnieniu od mentoringu, tutoring to praca w obszarze wartości, talentów i celów. Zadaniem tutora jest wspieranie podopiecznego, aby ten pracował autentycznie, świadomie i spójnie, a nie dopasowywał się powierzchownie lub konformistycznie do jakiegoś zewnętrznego wzorca.

Tutoring bazuje na mocnych stronach podopiecznego, a jeżeli nie są w pełni uświadomione, ma za zadanie je uwypuklić. Istotna w tutoringu jest również świadomość słabych stron, nad którymi należy pracować, aby je minimalizować lub wyeliminować.

Tutoring w minimalizowaniu efektu asesora może mieć zastosowanie na każdym etapie pełnienia tej funkcji. Możliwość rozwoju czy też samouświadomienia mocnych stron stanowi kluczowy bodziec do analizy zaangażowania w pracę. Refleksja, która towarzyszy tutoringowi może mieć znaczenie w uświadomieniu sobie nieetycznych zachowań w procesie walidacji.

  • trening intrapsychiczny
Trening intrapsychiczny umożliwia poszerzenie i pogłębienie świadomości dotyczącej problemów emocjonalnych, ich przyczyn, jak i konsekwencji. Pozwala na lepsze zrozumienie siebie, efektywniejsze wykorzystywanie swoich predyspozycji, przezwyciężanie wewnętrznych ograniczeń i poznania swoich możliwości. Jego celem jest także zwiększenie samoświadomości i samoakceptacji. Pozwala na spojrzenie w głąb siebie, a w konsekwencji efektywniejsze tworzenie relacji z innymi ludźmi.

Efekt asesora niezależny od stosowanej metody walidacji - powszechne błędy oceniania

Błędy uwarunkowane cechami asesora

Należą do nich m.in.:

  • mała złożoność struktur poznawczych – człowiek słabo różnicuje świat, przecenia podobieństwa pomiędzy sobą a innymi;
  • niski poziom inteligencji poznawczej i emocjonalnej prowadzi do problemów ze stosowaniem wiedzy do poznawania innych oraz trudności w rozpoznawaniu emocji innych;
  • wysoki poziom neurotyczności i nieakceptowanie samego siebie prowadzi m.in. do negatywnych stanów emocjonalnych, co ogranicza zasoby poznawcze wykorzystywane do oceny innych;
  • konkretność umysłu, spostrzeganie innych na zasadzie "czarno-białej", mała tolerancja na wieloznaczność – schematyzm w myśleniu i działaniu, powielanie opinii;
  • stany napięć i konfliktów wewnętrznych prowadzą do tzw. widzenia przez „czarne okulary” – dostrzegania przede wszystkim słabszych stron osób ocenianych;
  • wysoki poziom autorytarności wyraża się m.in. w destruktywności i cynizmie, co przekłada się na uogólnioną wrogość w stosunku do ludzi oraz skłonność do deprecjacji innych;
  • egocentryzm czyli koncentracja na własnej osobie nie sprzyja przejmowaniu perspektywy innego, uwzględniania złożonych uwarunkowań wpływających na zachowania innych;
  • uległa bądź agresywna postawa życiowa: uległość sprzyja manipulowaniu przez innych; agresywna postawa wywołuje konflikty z otoczeniem i ogranicza zdolność do kompromisu;
  • zależność od autorytetów i stereotypów prowadzi do niesamodzielności w ocenie innych, sprzyja manipulowaniu przez innych oraz wrogości wobec innych;
  • machiawelizm jako cecha osobowości (siła nastawienia do manipulowania innymi) to tendencja do działania egoistycznego, instrumentalnego traktowania innych, u podstaw czego leży trafność spostrzegania, oceny innych;
  • zaniżona lub zawyżona samoocena prowadzi do nieadekwatnej oceny siebie i innych;
  • niechęć do wglądu we własną psychikę, brak motywacji do doskonalenia siebie ogranicza samowiedzę, prowadzi m.in. do schematyzmu i konserwatyzmu w ocenie innych;
  • rutyna zawodowa prowadzi do stopniowego ograniczania wiedzy o sobie i innych.

Błędy atrybucji

Do podstawowych błędów atrybucji zalicza się:

  • uleganie stereotypom: postrzeganie innych przez pryzmat utartych sądów, np. dotyczących płci, wykształcenia, wykonywanego zawodu, pochodzenia, religii;
  • efekt halo i efekt aureoli: tendencja do automatycznego, pozytywnego lub negatywnego przypisywania cech osobowościowych na podstawie pierwszego wrażenia. Na efekt halo/ aureoli duży wpływ ma wygląd zewnętrzny, którego uogólniona ocena może powodować obniżenie lub podwyższenie oceny w innych obszarach;
  • błąd łagodności i surowości: błąd łagodności polega na przecenianiu zalet innych ludzi i niedocenianiu wad, występuje częściej w stosunku do osób, które oceniający (asesor) zna dłużej; błąd surowości objawia się zaniżaniem oceny osób wcześniej nieznanych (pojawia się rzadziej, niż błąd łagodności);
  • błąd tendencji centralnej: polega na unikaniu ekstremalnych stopni charakterystycznych dla danej skali ocen, czyli na wykluczaniu ocen najwyższych i najniższych; błąd ten jest spowodowany jej najczęściej nadmierną ostrożnością i niepewnością oraz przekonaniem o braku wystarczających informacji o osobach ocenianych.

Błędy związane z tematyką oraz formą oceniania

Rozbieżności w ocenianiu mogą zależeć od czynników jaki jak:

  • forma weryfikacji efektów uczenia się: w zależności od tego, czy weryfikacja jest ustna, pisemna, czy mieszana, może być obarczona różnymi błędami (np. na weryfikację ustną mogą mieć wpływ błędy atrybucji, na weryfikację pisemną - np. styl opisu, poprawność językowa, charakter pisma);
  • charakter efektów uczenia się: jeśli do oceny wiedzy, umiejętności lub kompetencji społecznych zastosuje się niewłaściwą (niedopasowaną do tego) metodę, ostateczny wynik będzie błędny; prace pisemne, zadania oraz wypowiedzi ustne w dziedzinach związanych z humanistyką ocenia się różnorodnie ze względu na niejednoznaczny charakter tematyki w dziedzinach humanistycznych (w naukach ścisłych najczęściej nie ma takiego problemu);
  • efekt kontrastu: wystawienie wyższej oceny za poprawną odpowiedź po serii odpowiedzi słabych i odwrotnie – wystawianie niższej oceny po serii dobrych odpowiedzi; przy ocenianiu osób w zespole (np. debata) ocena tej samej osoby może różnić się w zależności od pozostałych uczestników - dodatni kontekst powoduje obniżenie oceny, zaś ujemny jej podwyższenie;
  • efekt pierwszeństwa i świeżości: surowiej oceniane są błędy, które pojawiają się na początku, a nie na końcu pracy pisemnej czy wypowiedzi ustnej; w debatach: argumenty mówcy, który przemawia jako pierwszy, wywierają większy wpływ na słuchaczy niż argumenty dalszych mówców; w wywiadzie pierwsze poprawne/ oczekiwane odpowiedzi prowadzą do wyższej oceny ogólnej i odwrotnie – niepoprawne/ niezgodne z oczekiwaniami odpowiedzi prowadzą do zaniżania oceny;
  • reputacja miejsca: nazwa instytucji (miejsca), z której pochodzi kandydat może mieć wpływa na ocenę, np. „ośrodek zagraniczny”; firma o dużym prestiżu;
  • patrzenie przez różowe i czarne okulary: uczucia i nastrój oceniającego (asesora) mają wpływ na ocenę innych osób i ich wytworów;
  • projekcja zachowań/ kompetencji: asesor wyżej ocenia kompetencje, które sam posiada, ponieważ mimowolnie lubimy ludzi podobnych do siebie;
  • skrajne reakcje oceniającego (asesora): pragnienie bycia bardzo profesjonalnym, bądź bardzo przyjacielskim powoduje popadanie w skrajności (od bycia zbyt pobłażliwym i nieformalnym do wysoko rozwiniętej surowości);
  • błędy w metodach i narzędziach weryfikacji efektów uczenia się:
    • niewłaściwy dobór metody/ narzędzia do przedmiotu oceny,
    • różne predyspozycje kandydata do poszczególnych form weryfikacji;
  • niekorzystne warunki towarzyszące weryfikacji powodujące dyskomfort fizyczny.

Bibliografia

Bibliografia 

Dubiecka, A., Szaleniec, H. i Węziak, D. (2006). Efekt egzaminatora. Pobrane z: www.oke.krakow.pl/inf/filemgmt/visit.php?lid=1509

European Commission, Cedefop i ICF International (2017). European inventory on validation of non-formal and informal learning – 2016 update. Synthesis report. Luxembourg: Publications Office.

Łoś, E. i Reszka, A. (2009). Metody nauczania stosowane w kształtowaniu kompetencji kluczowych. Matematyka. Podręcznik metodyki operacyjnej. Lublin: Innovatio Press Wydawnictwo Naukowe Wyższej Szkoły Ekonomii i Innowacji.

Frankfort-Nachmias, Ch. i Nachmias, D. (2001). Metody badawcze w naukach społecznych. Poznań: Zysk.

Szaleniec, H., Kondratek, B., Kulon, F., Pokropek, A., Skórska, P., Świst, K., Wołodźko, T. i Żółtak, M. (2015). Efekt egzaminatora w ocenianiu prac maturalnych z języka polskiego i matematyki. Warszawa: Instytut Badań Edukacyjnych. Pobrane z: http://pwe.ibe.edu.pl/opisy/efektEgzaminatora/Efekt%20egzaminatora.pdf

Strony internetowe

Cedefop. European database on validation of non-formal and informal learning [baza danych]; http://www.cedefop.europa.eu/en/publications-and-resources/data-visualisations/european-database-on-validation-of-non-formal-and-informal-learning