infoEtap identyfikowania
Na etapie identyfikowania służy do rozpoznawania wiedzy, umiejętności i kompetencji społecznych kandydata.

infoEtap dokumentowania
Na etapie dokumentowania wypełnione arkusze obserwacji (bądź inne formy zapisywania wyników obserwacji) mogą być dowodami na osiągnięcie efektów uczenia się przez kandydata.

infoEtap weryfikacji
Najczęściej wykorzystuje się tę metodę na etapie weryfikacji.

infoWiedza
Odpowiednio długo prowadzona obserwacja umożliwia rozpoznanie efektów uczenia się, odnoszących się do narzędzi i materiałów wykorzystywanych w miejscu pracy.

infoUmiejętności
Obserwacja jest przydatna do sprawdzenia wszystkich umiejętności uzyskanych na każdym poziomie PRK. Nie wymaga posiłkowania się innymi metodami. Jednak im bardziej złożony efekt (im wyższy poziom PRK), tym bardziej czasochłonne i kosztowne może być zastosowanie obserwacji.

infoKompetencje społeczne
Obserwację można zastosować do wszystkich kompetencji społecznych na każdym poziomie PRK: w zakresie przestrzegania reguł, współpracy i odpowiedzialności.

infoDoradca walidacyjny
Obserwator powinien zbierać obserwacje świadczące o tym, że kandydat potrafi wykonać zlecone czynności. Nie może swojej oceny opierać na własnej intuicji lub przeświadczeniach wysnutych na podstawie obserwacji pracy kandydata w innych warunkach. Oznacza to konieczność odpowiedniego przeszkolenia kadry.

Pobierz wersję PDF
(Czarno-biały)

Obserwacja w warunkach rzeczywistych

Obserwacja w warunkach rzeczywistych

Charakterystyka

Charakterystyka

Obserwacja w warunkach rzeczywistych polega na analizie działania kandydata w rzeczywistych warunkach realizacji zadań określonych w opisie kwalifikacji.

Osoba dokonująca obserwacji – najczęściej jest to asesor – ma ograniczony wpływ na warunki, w jakich prowadzona jest obserwacja, ponieważ zapewnia je ktoś inny (najczęściej pracodawca). Obserwujący ma jednak duży wpływ na procesy zbierania i analizy informacji o efektach uczenia się uzyskanych przez kandydata.

W różnych krajach europejskich metoda ta jest wykorzystywana najczęściej do identyfikowania lub weryfikacji wybranych efektów uczenia się. Najczęściej obserwacji podlegają działania kandydata w miejscu pracy lub fragment wykonywanej przez niego pracy, jeśli konkretne czynności są istotne dla danej kwalifikacji. Tę metodę można wykorzystywać nie tylko w wypadku kwalifikacji sektorowych czy rzemieślniczych, lecz także artystycznych i sportowych.

Obserwacja w warunkach rzeczywistych pozwala na zbieranie informacji o efektach uczenia się ze wszystkich trzech kategorii: wiedzy, umiejętności i kompetencji społecznych. Jednak najbardziej trafna jest w wypadku tych efektów, które da się zaobserwować bezpośrednio (umiejętności). Do zidentyfikowania pozostałych efektów uczenia się zaleca się łączenie obserwacji z innymi metodami.

Obserwacja w warunkach rzeczywistych może przyjmować różne formy. Więcej informacji o różnych odmianach obserwacji znajdziesz w zakładce "Przykładowe techniki".

Etapy walidacji, na których rekomenduje się stosowanie danej metody

Etapy walidacji, na których rekomenduje się stosowanie danej metody 

Obserwacja – a konkretnie różne techniki tej metody – może być stosowana na wszystkich etapach walidacji.

Na etapie identyfikowania służy do rozpoznawania wiedzy, umiejętności i kompetencji społecznych kandydata. Na etapie dokumentowania wypełnione arkusze obserwacji (bądź inne formy zapisywania wyników obserwacji) mogą być dowodami na osiągnięcie efektów uczenia się przez kandydata. Najczęściej wykorzystuje się tę metodę na etapie weryfikacji.

Potwierdzają to badania prowadzone przez Cedefop (agencję zajmującą się rozwojem i promocją edukacji zawodowej i uczenia się przez całe życie w Unii Europejskiej). Wedle danych z 2016 r. w 3 z 34 państw objętych badaniem wykorzystywano tę metodę w celu identyfikowania efektów uczenia się. Bardzo rzadko (1 kraj) wybierano obserwację na etapie dokumentowania. Natomiast w 10 państwach stosowano tę metodę, często w połączeniu z innymi, na etapie weryfikacji. Gdy jest ona wykorzystywana jako metoda pomocnicza, wówczas obserwacji podlegają tylko niektóre efekty uczenia się, głównie z kategorii kompetencji społecznych i umiejętności.

Zakres efektów uczenia się, które można sprawdzać daną metodą

Zakres efektów uczenia się, które można sprawdzać daną metodą

Wskazówki dotyczące efektów uczenia się, które można sprawdzać za pomocą obserwacji w warunkach rzeczywistych mają charakter orientacyjny. Zostały opracowane na podstawie analizy wymagań zawartych w Polskiej Ramie Kwalifikacji (w charakterystykach II stopnia typowych dla kwalifikacji o charakterze zawodowym), dotyczących efektów uczenia się.

Należy pamiętać, że wybór danej metody zawsze musi wynikać z analizy efektów uczenia się zdefiniowanych dla danej kwalifikacji.

W szerokim rozumieniu obserwacja polega na zbieraniu informacji, dzięki którym można potwierdzić osiągnięcie przez kandydata efektów uczenia się właściwych dla danej kwalifikacji i analizować jego zachowanie, sposób komunikowania się i wykonywanie zadań w rzeczywistych warunkach realizacji działań zawodowych. W związku z tym jest ona polecana do sprawdzania umiejętności i kompetencji społecznych, można ją jednak zastosować również do identyfikacji zakresu i głębi wiedzy kandydata.

Wiedza

Odpowiednio długo prowadzona obserwacja umożliwia rozpoznanie efektów uczenia się, odnoszących się do narzędzi i materiałów wykorzystywanych w miejscu pracy.

W wypadku znajomości i rozumienia teorii, zasad, zjawisk i procesów, a także organizacji pracy, można tę metodę stosować samodzielnie, ale tylko na niższych poziomach ramy (1–3 PRK). Sprawdzanie wiedzy z wyższych poziomów (4–8 PRK) za pomocą obserwacji byłoby bardzo czasochłonne. Rekomenduje się więc albo połączenie jej z innymi metodami, albo zastąpienie testem teoretycznym.

Nie rekomenduje się natomiast sprawdzania za pomocą obserwacji wiedzy z zakresu organizacji pracy w aspektach „metody i technologie” oraz „rozwiązania organizacyjne” na poziomach 7 i 8 PRK.

Umiejętności

Obserwacja jest przydatna do sprawdzenia wszystkich umiejętności uzyskanych na każdym poziomie PRK. Nie wymaga posiłkowania się innymi metodami. Jednak im bardziej złożony efekt (im wyższy poziom PRK), tym bardziej czasochłonne i kosztowne może być zastosowanie obserwacji.

Zademonstrowanie niektórych efektów z kategorii wiedzy wymaga od kandydata wykonywania złożonych zadań oraz umiejętności pracy w zmiennych i nieprzewidywalnych warunkach. Dzięki odpowiednio długiej obserwacji możliwe jest zauważenie kluczowych informacji, które potwierdzają (lub nie) te umiejętności, natomiast ich sprawdzenie w warunkach rzeczywistych jest o wiele bardziej trafne niż przy zastosowaniu innych metod.

Kompetencje społeczne

Obserwację można zastosować do wszystkich kompetencji społecznych na każdym poziomie PRK: w zakresie przestrzegania reguł, współpracy i odpowiedzialności.

Metoda ta na etapie identyfikowania może być wykorzystana do rozpoznania kompetencji społecznych. Z kolei ocena tej kategorii efektów uczenia się podczas weryfikacji powinna być uzasadniona opisowo lub przedstawiona za pomocą skali.

Sprawdzenie, czy kandydat ma różnego rodzaju kompetencje społeczne jest możliwe tylko podczas dłuższej obserwacji (nie muszą być one bowiem widoczne od razu). W związku z tym w niektórych wypadkach zaleca się stosowanie innych metod, szczególnie ukierunkowanych na analizę wypowiedzi (np. wywiady) lub dokumentów.

Wskazówki dotyczące efektów uczenia się, które można sprawdzić za pomocą metody Obserwacja w warunkach rzeczywistych

Mocne i słabe strony obserwacji w warunkach rzeczywistych

Mocne i słabe strony obserwacji w warunkach rzeczywistych 

 

Mocne strony Słabe strony
  • przebieg obserwacji można dopasować do kandydata ubiegającego się o kwalifikację (np. poprzez przeprowadzenie jej w miejscu pracy danej osoby)
  • umożliwia dostosowanie walidacji do potrzeb (w tym do celu przystąpienia do walidacji) oraz ograniczeń kandydata
  • pozwala dokładniej niż inne metody rozpoznać efekty uczenia się ze wszystkich kategorii
  • można ją zastosować na wszystkich etapach walidacji
  • umożliwia obserwację działania, zachowania oraz efektów pracy kandydata
  • może być stosowana razem z innymi metodami – wówczas obserwacji podlegają niektóre efekty uczenia się
  • nie wymaga specjalnych nakładów finansowych potrzebnych do zapewnienia warunków organizacyjno-materialnych, ponieważ odbywa się w warunkach rzeczywistych, zapewnionych przez pracodawcę
  • obserwacja jest czasochłonna (zwłaszcza jeśli jest jedyną metodą walidacji): wymaga skupienia się obserwatora na jednym kandydacie oraz szczegółowego zbierania i analizy danych na jego temat
  • metoda ta nie jest odpowiednia do przeprowadzania procesu walidacji dla kilku osób jednocześnie
  • wyniki obserwacji są szczególnie podatne na zniekształcenie w wyniku tzw. efektu egzaminatora, czyli oceniania kandydata na podstawie ogólnego wrażenia lub stawiania zawsze skrajnych bądź zawsze średnich ocen
  • jawność obserwacji może wpływać na zachowanie kandydata, a w konsekwencji – zniekształcać wyniki

Ograniczenia w stosowaniu

Ograniczenia w stosowaniu 

Stosowanie obserwacji w warunkach rzeczywistych może być ograniczone lub niemożliwe z powodu konieczności przestrzegania szczególnych zasad bezpieczeństwa i higieny pracy bądź trudnych warunków, takich jak praca na wysokości czy wykonywanie zadań związanych bezpośrednio z ochroną zdrowia.

Obserwację można zakończyć dopiero wtedy, gdy zebrane dane pozwolą sprawdzić uzyskanie efektów uczenia się właściwych dla danej kwalifikacji. Tymczasem wykonywanie niektórych czynności może być uzależnione np. od pory roku lub wymagać wystąpienia nietypowych warunków. Może to ograniczyć stosowanie tej metody lub wymusić konieczność łączenia jej z innymi.

Ograniczeniem może być też wydłużenie procesu walidacji w sytuacjach, gdy obserwacja jest jedyną metodą stosowaną na etapie weryfikacji (np. z uwagi na to, że niektóre działania w miejscu pracy są wykonywane rzadko, w dużych odstępach czasu). Ograniczenie to odnosi się zwłaszcza do efektów z kategorii wiedzy i kompetencji społecznych (część z nich może być zaobserwowana dopiero w dłuższym okresie czasu, o części zaś można wnioskować tylko pośrednio na podstawie umiejętności). Występuje niezależnie od tego, jak bardzo złożone są te efekty (na jakim poziomie PRK się znajdują). Można je obejść poprzez zastosowanie dodatkowej metody (np. analizy dowodów) lub zastąpienie obserwacji inną metodą.

Konieczne zasoby kadrowe i organizacyjno-materialne

Konieczne zasoby kadrowe i organizacyjno-materialne

Obserwatorem może być doradca walidacyjny na etapie identyfikacji lub asesor na etapie weryfikacji. Do zbierania danych można także zatrudnić obserwatora zewnętrznego. Należy przy tym wziąć pod uwagę jego doświadczenie, od niego bowiem zależy, jak szczegółowe informacje uda się mu pozyskać. Ilość i jakość zebranych informacji będzie miała z kolei duże znaczenie na etapie weryfikacji. Należy pamiętać, że rola obserwatora wymaga odpowiedniego przeszkolenia w zakresie zbierania informacji (sporządzanie szczegółowych notatek, stosowanie narzędzi), rzetelnego sprawdzania efektów uczenia się i przyjęcia neutralnej postawy wobec kandydata.

Obserwator powinien zbierać obserwacje świadczące o tym, że kandydat potrafi wykonać zlecone czynności. Nie może swojej oceny opierać na własnej intuicji lub przeświadczeniach wysnutych na podstawie obserwacji pracy kandydata w innych warunkach. Oznacza to konieczność odpowiedniego przeszkolenia kadry.

Jest to szczególnie ważne w odniesieniu do obserwacji, ponieważ wpływ na wyniki może mieć szereg czynników niezależnych od efektów uczenia się, np. charakter zebranych informacji. Jeśli pojawiło się zbyt dużo sytuacji nietypowych (np. dla danego miejsca pracy), wówczas osoba obserwująca może skupić się na ocenianiu sposobu reagowania na nie, a nie na efektach uczenia się.

W zależności od celu stosowania obserwacji w procesie walidacji efektów uczenia się, informacje o kandydacie można zbierać i dokumentować za pomocą wielu narzędzi. Na etapach identyfikowania lub dokumentowania doradca walidacyjny może sporządzać notatki z przebiegu obserwacji lub wykorzystać do tego sprzęt rejestrujący dźwięk lub obraz (po uzyskaniu zgody kandydata na nagrywanie).

Ważne, aby gromadzone dane były bardzo szczegółowe i obejmowały szeroki zakres obserwowanych działań kandydata lub efektów jego pracy. Pozwala to m.in. przeciwdziałać efektowi egzaminatora. Należy dopilnować, aby ten sam arkusz był używany do oceny wszystkich kandydatów. Ważne jest również to, by kryteria oceny znajdujące się w arkuszu odnosiły się wyłącznie do sprawdzanych efektów uczenia się.

Ponieważ obserwacja przebiega w naturalnym środowisku pracy kandydata, nie trzeba stwarzać specjalnych warunków do zastosowania tej metody.

Materiały, które mogą być potrzebne: kartki papieru i długopis do sporządzania notatek; stoper lub zegarek do mierzenia czasu wykonywania czynności; dyktafon, kamera lub aparat fotograficzny do rejestrowania dźwięku lub obrazu.

Podczas obserwowania czynności, które wymagają zachowania szczególnych zasad bezpieczeństwa i higieny pracy, wskazane jest używanie odzieży ochronnej (np. czepków, kasków, okularów, gogli, masek, słuchawek, nauszników, kombinezonów, fartuchów, rękawic, ochrony na obuwie).

Możliwości łączenia obserwacji w warunkach rzeczywistych z innymi metodami

Możliwości łączenia obserwacji w warunkach rzeczywistych z innymi metodami

Obserwacja umożliwia zebranie informacji dotyczących zarówno działania, wyniku pracy, zachowania, jak również sposobu komunikowania się kandydata, dlatego na etapie weryfikacji warto ją stosować z innymi metodami właściwymi do sprawdzenia tych aspektów pracy kandydata oraz związanych z nimi efektów uczenia się.

Czynnikiem, który decyduje o możliwości zastosowania obserwacji, jest zbieżność warunków określonych w opisie kwalifikacji z warunkami rzeczywistymi, np. panującymi w pracy kandydata. Na przykład, jeśli kandydat pracuje na innych maszynach niż te, które wskazano w opisie kwalifikacji, wówczas do sprawdzenia efektów uczenia się należy wykorzystać inne metody (np. symulację, analizę dowodów i deklaracji, prezentację, wywiad swobodny lub ustrukturyzowany).

Według danych Cedefopu w 10 krajach na etapie weryfikacji obserwację łączy się z innymi metodami, np. debatami swobodnymi i ustrukturyzowanymi, wywiadami swobodnymi i ustrukturyzowanymi, analizą dowodów i deklaracji, prezentacją i obserwacją w warunkach symulowanych.

Możliwe jest także uzupełnienie tej metody przez test teoretyczny (zwłaszcza technika odpowiedzi ustnej).

Przykładowe techniki

Przykładowe techniki

Technika to podejście w ramach danej metody wykorzystywane do zbierania i analizowania danych świadczących o posiadaniu przez daną osobę efektów uczenia się.

Obserwacja kontrolowana

Informacje zbierane za pomocą tego rodzaju obserwacji służą sprawdzeniu, czy kandydat osiągnął efekty uczenia się właściwe dla danej kwalifikacji. W celu uzyskania informacji na konkretny temat asesor wpływa na warunki prowadzenia obserwacji. Na przykład uzgadnia z przełożonym kandydata zadania, które dostanie do wykonania w pracy w dniu obserwacji. Dzięki temu można faktycznie zaobserwować dane efekty uczenia się. 

Mocne strony obserwacji kontrolowanej:
  • umożliwia sprawdzenie złożonych efektów uczenia się podczas jednej obserwacji;
  • zwiększa pewność potwierdzania efektów uczenia się, niezależnie od czynników losowych;
  • dzięki ustaleniu przebiegu pozwala w krótszym czasie potwierdzić wiele efektów uczenia się (oszczędność czasu).
Słabe strony obserwacji kontrolowanej:
  • ingerencja w obserwowaną sytuację może mieć wpływ na zachowanie kandydata (zachowa się inaczej niż w zupełnie naturalnej sytuacji);
  • ustalenie z pracodawcą zadań zleconych kandydatowi może być trudne.

 

Obserwacja niekontrolowana

Jest prowadzona bez żadnej ingerencji - asesor obserwuje to, co akurat zachodzi, bez ustalania z kandydatem czy pracodawcą, co się wydarzy. Ze względu na mniejszą przewidywalność ta technika najlepiej sprawdza się na etapie identyfikowania efektów uczenia się.

Mocne strony obserwacji niekontrolowanej:
  • obserwacji poddana jest naturalna sytuacja, więc zachowania i reakcja kandydata są wiarygodne;
  • możliwa do zastosowania, gdy obserwacji poddawane jest działanie kandydata lub wytwory jego pracy.
Słabe strony obserwacji niekontrolowanej:
  • stosując tę technikę nie ma się wpływu na to, jakie zadania wykona kandydat, w związku z tym nie zawsze będzie mieć on okazję do wykazania wszystkich efektów uczenia się (z tego powodu proponuje się stosowanie tej techniki łącznie z innymi metodami);
  • ze względu na mniejszą przewidywalność jest czasochłonna;
  • za jej pomocą jeden obserwator (doradca/asesor) nie może identyfikować lub sprawdzać efektów uczenia się wielu kandydatów jednocześnie.

 

Poza powyższymi odmianami, obserwacja w warunkach rzeczywistych może występować w wielu różnych wariantach. Poniższa tabela porządkuje rodzaje obserwacji według kilku najważniejszych aspektów.

Tabela 1. Odmiany obserwacji

ASPEKT ODMIANY OBSERWACJI

Wiedza kandydata o prowadzeniu obserwacji

  • jawna – gdy kandydat wie i zgadza się na bycie obserwowanym
  • ukryta – gdy kandydat nie ma świadomości, że jest obserwowany i że jego efekty uczenia się są sprawdzane

Stopień ingerencji obserwatora (np. asesora) w otoczenie

  • uczestnicząca – gdy obserwator staje się np. jednym ze współpracowników lub klientów kandydata
  • nieuczestnicząca – gdy obserwator obserwuje otoczenie kandydata z zewnątrz

Kontakt obserwatora z kandydatem

  • pośrednia – gdy obserwacji podlegają efekty pracy kandydata (np. dokumenty, nagrania, przedmioty)
  • bezpośrednia – gdy obserwator ma kontakt z kandydatem (może przez to ingerować w proces zbierania informacji o kandydacie, np. poprzez zadawanie pytań)

Sposób zbierania informacji o kandydacie

  • kontrolowana 
  • niekontrolowana 

 

Nie wszystkie odmiany obserwacji można zastosować w walidacji efektów uczenia się. Jednym z podstawowych założeń walidacji jest jawność procedur oraz informowanie kandydata o przebiegu procesu. Wyklucza to zastosowanie obserwacji ukrytej.

Z kolei udział obserwatora (np. asesora) na niektórych etapach pracy kandydata mógłby wpłynąć na jej przebieg, zaburzyć naturalność warunków i ostateczny wynik. Są także sytuacje, w których zastosowanie obserwacji uczestniczącej jest ograniczone przez wymogi sanitarne lub szczególne zasady bezpieczeństwa. W związku z tym do przeprowadzenia walidacji rekomenduje się zastosowanie obserwacji nieuczestniczącej.

Niekiedy obserwacja pośrednia bywa pomocna w analizowaniu danych, a bezpośrednia – w trakcie debaty ustrukturyzowanej i swobodnej, prezentacji, wywiadu ustrukturyzowanego i swobodnego.

Przykłady zastosowania obserwacji w warunkach rzeczywistych

Przykłady zastosowania obserwacji w warunkach rzeczywistych

Przykład na zastosowanie obserwacji w warunkach rzeczywistych jest zawarty w Bazie Dobrych Praktyk. Walidacja, zapewnianie jakości walidacji i certyfikowania. Dotyczy kwalifikacji zarządzanie gospodarowaniem odpadami: transport – odpady niebezpieczne w Szkocji – technika portfolio.

Bibliografia

Bibliografia 

Dubiecka, A., Szaleniec, H. i Węziak, D. (2006). Efekt egzaminatora. Pobrane z: www.oke.krakow.pl/inf/filemgmt/visit.php?lid=1509

European Commission, Cedefop i ICF International (2017). European inventory on validation of non-formal and informal learning – 2016 update. Synthesis report. Luxembourg: Publications Office.

Łoś, E. i Reszka, A. (2009). Metody nauczania stosowane w kształtowaniu kompetencji kluczowych. Matematyka. Podręcznik metodyki operacyjnej. Lublin: Innovatio Press Wydawnictwo Naukowe Wyższej Szkoły Ekonomii i Innowacji.

Frankfort-Nachmias, Ch. i Nachmias, D. (2001). Metody badawcze w naukach społecznych. Poznań: Zysk.

Szaleniec, H., Kondratek, B., Kulon, F., Pokropek, A., Skórska, P., Świst, K., Wołodźko, T. i Żółtak, M. (2015). Efekt egzaminatora w ocenianiu prac maturalnych z języka polskiego i matematyki. Warszawa: Instytut Badań Edukacyjnych. Pobrane z: http://pwe.ibe.edu.pl/opisy/efektEgzaminatora/Efekt%20egzaminatora.pdf

Strony internetowe

Cedefop. European database on validation of non-formal and informal learning [baza danych]; http://www.cedefop.europa.eu/en/publications-and-resources/data-visualisations/european-database-on-validation-of-non-formal-and-informal-learning