Wywiad ustrukturyzowany

Wywiad ustrukturyzowany

Charakterystyka

Charakterystyka

Wywiad ustrukturyzowany polega na zadawaniu serii wystandaryzowanych pytań zamkniętych i analizie odpowiedzi.

Struktura wywiadu ustrukturyzowanego jest podporządkowana celom określonym przez osobę projektującą walidację. Wybór poruszanych tematów jest z góry narzucony i służy pozyskaniu konkretnych informacji. Pytania zazwyczaj są identyczne dla wszystkich kandydatów i zadaje się je w tej samej kolejności.

Poziom ustrukturyzowania wywiadu może być różny i uwzględniać formy pośrednie, w których pojawia się więcej pytań otwartych. W miarę potrzeb poszczególne wątki mogą być rozwijane poprzez zadawanie pytań pogłębiających lub doprecyzowujących. Zwykle nie są one z góry zaplanowane, a ich treść i forma zależą od odpowiedzi (lub pytań) formułowanych przez kandydata. Dopuszcza się jednak sytuacje, w których zarówno pytania główne, jak i pytania pogłębiające są wcześniej przygotowane.

Ze względu na rodzaj i sposób zbierania informacji, wywiady ustrukturyzowane można podzielić na:

• biograficzne (częściowo ustrukturyzowane),
• kompetencyjne/behawioralne (częściowo ustrukturyzowane),
• kwestionariuszowe (przeważnie w pełni ustrukturyzowane).

Zastosowanie pytań zamkniętych ułatwia porównywanie wyników wywiadów przeprowadzonych z różnymi kandydatami. Z jednej strony pozwala na zminimalizowanie subiektywnej oceny prowadzącego wywiad, z drugiej zaś pozwala na zapewnienie odpowiedniej jakości zastosowanych narzędzi.

Ramka 1. Wykorzystanie wywiadu ustrukturyzowanego

Wywiad ustrukturyzowany na etapie weryfikacji może być wykorzystywany np. do:

1. analizowania przypadku – kandydat jest proszony o wybranie spośród otrzymanych przykładów i kontrprzykładów tych, które pasują do określonej koncepcji oraz o uzasadnienie swojej decyzji;
2. analizy przyczynowo-skutkowej – kandydat jest proszony o przewidzenie wyniku danej sytuacji, a następnie wyjaśnienia lub uzasadnienia swoich przewidywań;
3. uporządkowania obiektów – kandydat proszony jest o zapoznanie się z grupą obiektów i uporządkowanie ich według określonych instrukcji;
4. rozwiązywania problemów – kandydat proszony jest o próbę rozwiązania problemu, z jednoczesnym wyjaśnianiem na głos co robi, dlaczego to robi i co oznaczają jego działania.

Należy przy tym pamiętać, że gdy weryfikacji podlega wypowiedź kandydata, wszelkie zaburzenia w rozmowie (np. zmiana tematu), mogą mieć wpływ na ostateczny wynik. Jest to szczególnie szkodliwe, gdy nowy wątek dotyczy efektów uczenia się, które nie były ujęte w scenariuszu wywiadu. Asesor, który postępuje w ten sposób, nierzetelnie wykonuje swoje obowiązki. Jednak nawet w przypadku mniej istotnych zaburzeń, efekt takiego postępowania może np. zmienić atmosferę sprawdzania. W rezultacie kandydat może przestać odpowiadać tak szczegółowo lub szczerze. Rodzi to stres u osoby podchodzącej do walidacji, co może skutkować gorszym wynikiem.

Przestrzeganie reguł wynikających z ról asesora, kandydata oraz dodatkowych (narzuconych przez daną metodę i technikę) jest jednym z czynników pomagających w zachowaniu neutralności i obiektywności walidacji. W gestii asesora prowadzącego wywiad leży m.in. dbanie o swobodę wypowiedzi oraz o poruszenie wszystkich tematów dyskusji.

Etapy walidacji, na których rekomenduje się stosowanie danej metody

Etapy walidacji, na których rekomenduje się stosowanie danej metody

Wywiad ustrukturyzowany jest najczęściej stosowany jako metoda uzupełniająca, pogłębiająca zasób informacji o wiedzy, umiejętnościach i kompetencjach społecznych osoby przystępującej do walidacji oraz jako metoda weryfikacji efektów uczenia się.

Potwierdzają to wyniki badania Cedefopu (agencji zajmującej się rozwojem i promocją edukacji zawodowej i uczenia się przez całe życie w Unii Europejskiej). Wskazują one, że wywiad – niezależnie od jego odmiany (ustrukturyzowany, swobodny) – jest uznawany za metodę najbardziej odpowiednią na etapach weryfikacji (21 krajów) i identyfikowania (17 krajów) efektów uczenia się.

Jednocześnie z danych zebranych przez tę instytucję wynika, że wywiad jest najbardziej akceptowaną metodą identyfikowania efektów uczenia się uzyskanych poza edukacją formalną. Badanie przeprowadzone w firmach w 10 krajach pokazuje, że do sprawdzania wiedzy, umiejętności i kompetencji społecznych pracowników najczęściej stosowane są wywiady i rozmowy. Jest to możliwe w wypadku rekrutacji zewnętrznej (96,5% przypadków) i oceny okresowej (w 98,5% przypadków).

Zakres efektów uczenia się, które można sprawdzać daną metodą

Zakres efektów uczenia się, które można sprawdzać daną metodą

Wskazówki dotyczące efektów uczenia się, które można sprawdzać za pomocą wywiadu ustrukturyzowanego, mają charakter orientacyjny. Zostały opracowane na podstawie analizy wymagań, zawartych w Polskiej Ramie Kwalifikacji (w charakterystykach II stopnia typowych dla kwalifikacji o charakterze zawodowym), dotyczących efektów uczenia się.

Należy pamiętać, że wybór danej metody zawsze musi wynikać z analizy efektów uczenia się zdefiniowanych dla danej kwalifikacji.

Wywiad ustrukturyzowany można wykorzystać do badania zarówno umiejętności i kompetencji społecznych, jak i wiedzy (w tym wiedzy ukrytej) osób przystępujących do walidacji.

Wiedza

Za pomocą wywiadu ustrukturyzowanego można sprawdzić efekty uczenia się z zakresu wiedzy na wszystkich poziomach Polskiej Ramy Kwalifikacji.

Umiejętności

Metoda ta jest polecana głównie do sprawdzania umiejętności dotyczących:

• obliczania, analizy, syntezy i prognozowania informacji na poziomach 4–7 PRK;
• organizowania pracy w zakresie korygowania działań (na poziomach 6–7 PRK) oraz obiegu informacji (odbiór i przekaz informacji na 3 poziomie PRK;
• działania związane z pracą w zespole i z klientem na poziomach 4–6 PRK);
• użytkowania dóbr na 5 poziomie PRK;
• uczenia się i rozwoju zawodowego w zakresie własnego rozwoju (na wszystkich poziomach PRK) i wspierania rozwoju innych osób (na 5 i 7 poziomie PRK).

Kompetencje społeczne

Wywiad ustrukturyzowany (zwłaszcza technikę wywiadu kompetencyjnego) można zastosować przede wszystkim do efektów uczenia się związanych z:

• przestrzeganiem reguł na poziomach 1–3 PRK;
• przyjmowaniem odpowiedzialności (na poziomach 3–5 PRK) i podejmowaniem decyzji (na poziomach 6–7 PRK).

Wskazówki dotyczące efektów uczenia się, które można sprawdzić za pomocą metody Wywiad ustrukturyzowany

Mocne i słabe strony wywiadu ustrukturyzowanego

Mocne i słabe strony wywiadu ustrukturyzowanego

Mocne strony

Słabe strony

umożliwia zbadanie umiejętności kognitywnych w szerszym zakresie niż testy teoretyczne w zależności od zastosowanej techniki umożliwia bieżące dostosowanie przebiegu walidacji ze względu na odpowiedzi udzielone przez kandydata; dzięki temu pozwala dokładniej zbadać efekty uczenia się osoby przystępującej do walidacji asesor może się na bieżąco upewniać, czy kandydat właściwie zrozumiał pytanie, co pozwala zmniejszyć ryzyko podawania błędnej odpowiedzi lub pomijania pytań z powodu ich niewłaściwej interpretacji metoda jest uznawana za odpowiednią do sprawdzania wiedzy ukrytej

w wypadku wywiadów częściowo ustrukturyzowanych rezultaty mogą zależeć od stylu komunikowania się, doświadczenia, cech osobowości oraz subiektywnych ocen asesorów (zwiększona podatność na tzw. efekt asesora), a także od cech osobowości kandydata

Ograniczenia w stosowaniu

Ograniczenia w stosowaniu 

Cechy osobowości i umiejętności komunikacyjne osoby prowadzącej wywiad (doradcy walidacyjnego, asesora) oraz osoby przystępującej do walidacji mogą być czynnikami ograniczającymi stosowanie wywiadu ustrukturyzowanego. Znaczenie czynników subiektywnych można zmniejszać poprzez odpowiednie sformułowanie pytań.

Przeprowadzenie wywiadu wymaga czasu. Za jego pomocą można sprawdzić tylko jedną osobę i niezbędne są to tego odpowiednie warunki.

Konieczne zasoby kadrowe i organizacyjno-materialne

Konieczne zasoby kadrowe i organizacyjno-materialne

W stosowaniu tej metody kluczowe są doświadczenie i umiejętności komunikacyjne osób prowadzących wywiad, jak również ich dogłębna znajomość efektów uczenia się, tak by mogli wyodrębnić informacje istotne i podlegające weryfikacji. Sposobem na zmniejszenie wpływu czynników subiektywnych na wyniki wywiadu jest odpowiednie przeszkolenie prowadzących, stworzenie odpowiednich procedur oraz przygotowanie scenariusza wywiadu w taki sposób, by pozwalał na zadawanie pytań pogłębiających, upewnianie się, że kandydat zrozumiał pytania itp.

Przygotowanie wywiadu ustrukturyzowanego (zwłaszcza kwestionariuszowego) może wymagać czasu i znacznych środków (m.in. na opracowanie i standaryzację kwestionariuszy, zatrudnienie osób do opracowania narzędzi). W kosztach stosowania tej metody należy uwzględnić także konieczność przygotowania metodologicznie poprawnego i standaryzowanego kwestionariusza. Wymaga to zatrudnienia przynajmniej jednego eksperta w dziedzinie projektowania wywiadów. Może też zaistnieć konieczność przeprowadzenia badania pilotażowego. Jeśli procedura walidacji ma objąć większą liczbę kandydatów, to do prowadzenia wywiadów ustrukturyzowanych potrzebny jest zespół asesorów, którzy potrafią stosować tę metodę. Praca nad klasyfikacją i interpretacją odpowiedzi na pytania otwarte wymaga także zatrudnienia koderów.

W celu zwiększenia porównywalności wyników oraz zmniejszenia stresu i stworzenia atmosfery sprzyjającej skupieniu się kandydatów na odpowiedziach, zwłaszcza na pytania otwarte, istotne jest prowadzenie walidacji w środowisku przyjaznym dla osób przystępujących do walidacji. Przygotowując zasoby organizacyjne i materialne na potrzeby przeprowadzania wywiadu ustrukturyzowanego, należy pamiętać o zapewnieniu odpowiedniego miejsca spotkania, środkach technicznych potrzebnych do zarejestrowania jego przebiegu (dyktafony, mikrofony, kamery, lustra weneckie), oprogramowaniu wspomagającym proces kodowania wyników i uzyskaniu zgody kandydata na rejestrowanie przebiegu wywiadu.

Instytucje certyfikujące powinny liczyć się z koniecznością zaangażowania dodatkowych zasobów w przypadku kandydatów z niepełnosprawnością słuchu. Przeprowadzenie wywiadu może wymagać dodatkowych umiejętności zarówno od asesorów, jak i od kandydatów (np. znajomość języka migowego).

Możliwości łączenia wywiadu ustrukturyzowanego z innymi metodami

Możliwości łączenia wywiadu ustrukturyzowanego z innymi metodami

Wywiad ustrukturyzowany może być stosowany w ramach bilansu kompetencji do identyfikowania efektów uczenia się danej osoby.

Na etapie weryfikacji ta metoda może służyć do sprawdzania wiedzy i uzupełnić lub nawet zastąpić testy teoretyczne (technika rozmowy). Wywiad ustrukturyzowany może być wykorzystany także do weryfikacji umiejętności praktycznych, zwłaszcza w połączeniu z obserwacją w warunkach rzeczywistych i w warunkach symulowanych. W ten sposób można zadawać kandydatowi pytania w trakcie lub po zakończeniu wykonywania przez niego zadań zawodowych.

Z danych Cedefopu wynika, że często stosuje się połączenie wywiadu (w tym ustrukturyzowanego) z analizą dowodów i deklaracji. Jest to podstawowa metoda walidacji m.in. w Szwajcarii, Francji, Holandii i Luksemburgu.

Przykładowe techniki

Przykładowe techniki

Technika to podejście w ramach danej metody wykorzystywane do zbierania i analizowania danych świadczących o posiadaniu przez daną osobę efektów uczenia się.

Wywiad biograficzny (narracyjny)

Istotą wywiadu biograficznego jest analiza przebiegu życia kandydata rozpatrywanego w określonym kontekście: pracy zawodowej, życia rodzinnego, społecznego, edukacji pozaformalnej. Jest połączona ze wskazaniem sukcesów i niepowodzeń danej osoby.

Wywiad biograficzny pozwala na uzyskanie szczegółowych informacji na temat czynników wpływających na życie i zachowanie kandydata oraz o jego funkcjonowaniu w różnych sferach życia. Jego celem jest zdiagnozowanie potencjalnych obszarów, które mogą być źródłem wiedzy, umiejętności i kompetencji społecznych. W związku z tym wywiad biograficzny może służyć do identyfikowania efektów uczenia się osiągniętych przez daną osobę.

Ten typ wywiadu może być również punktem wyjścia do zdobycia ogólnych informacji o kandydacie, wypełnianiu obowiązków zawodowych oraz pełnieniu ról zawodowych.

Zadaniem osoby przeprowadzającej wywiad jest wywołanie otwartej, pogłębionej odpowiedzi nakierowanej na fakty, które wydają się kandydatowi istotne z punktu widzenia jego życia i kariery (np. przebieg edukacji, doświadczenia pozazawodowe). Od kandydata zależy, jakich informacji udzieli i jak bardzo będą one szczegółowe.

Ramka 2. Cechy charakterystyczne wywiadu biograficznego

Można wyróżnić następujące cechy charakterystyczne wywiadu biograficznego:

• istotą wywiadu jest uzyskanie wypowiedzi na temat całego życia kandydata lub określonego fragmentu,
• zadaniem osoby prowadzącej wywiad jest uzyskanie spontanicznej i swobodnej narracji; na początku pełni ona jedynie funkcję słuchacza,
• efektem spontanicznej narracji ma być opowieść o życiu danej osoby,
• zasady analizy danych są ściśle określone.

Wywiad biograficzny przebiega zazwyczaj w pięciu fazach:

1. rozpoczęcie – pozwala m.in. na nawiązanie kontaktu pomiędzy kandydatem i prowadzącym wywiad oraz stworzenie odpowiedniej atmosfery w celu prowadzenia swobodnej rozmowy;
2. zachęcenie do opowiadania – podczas którego prowadzący wyjaśnia rozmówcy, jaki jest cel wywiadu;
3. faza narracji – w tej fazie kandydat opowiada o swoim życiu; jego narracja powinna mieć określoną strukturę, być logicznie uporządkowana i dogłębna (kandydat powinien ze szczegółami od początku do końca opowiadać o danym zdarzeniu); prowadzący nie powinien zakłócać toku wywodu kandydatowi;
4. zakończenie narracji – prowadzący wywiad może zadawać pytania (m.in. w celu wyjaśnienia niejasności, dokończenia wątków, uzyskania dodatkowych komentarzy kandydata);
5. zakończenie wywiadu – pozwala m.in. na dyskusję na temat przedstawionych treści.

Wywiad biograficzny jest prowadzony z uwzględnieniem założenia dotyczącego zgodności pomiędzy doświadczeniami osoby a prowadzoną narracją, kandydat zaś opowiada o swoich doświadczeniach z zachowaniem określonej ciągłości.

Jest to technika wspierająca, którą należy stosować razem z innymi metodami pozyskiwania informacji o osobie przystępującej do walidacji. Może być wykorzystywana np. w bilansie kompetencji jako punkt wyjścia do dalszych działań.

Wywiad kompetencyjny (behawioralny)

W standardowym wywiadzie kompetencyjnym punktem wyjścia jest zdefiniowanie zestawu kompetencji, które tworzą określony profil kompetencyjny.

Według Słownika Zintegrowanego Systemu Kwalifikacji termin ten oznacza szeroko rozumianą zdolność podejmowania określonych działań i wykonywania zadań z wykorzystaniem efektów uczenia się i własnych doświadczeń. W zależności od kontekstu, kompetencje mogą obejmować np. zakres działania, zakres uprawnień do podejmowania decyzji, merytoryczne przygotowanie do wykonania określonego zadania, predyspozycje danej osoby, jej uzdolnienia oraz dotychczasowe doświadczenie.

Kompetencje bazują w dużym stopniu na określonych efektach uczenia się, ale wykraczają poza nie. Z tego powodu nie można utożsamiać tych terminów, mimo że czasem są one stosowane zamiennie.

Wywiad kompetencyjny prowadzony jest za pomocą określonej sekwencji pytań, niezależnie od profilu kompetencyjnego, według schematu: „od kompetencji do zachowania”. Kandydatowi zadawane się pytania otwarte, na podstawie których prowadzący może stworzyć profil zachowania się danej osoby, świadczący o uzyskaniu przez nią określonych kompetencji. Celem tego działania jest zidentyfikowanie powtarzających się wzorców zachowania i poziomu rozwoju kompetencji występujących u konkretnego kandydata.

Metoda ta opiera się na założeniu, że na podstawie zachowania i osiągniętych w przeszłości przez kandydata rezultatów, można prognozować jego przyszłe zachowania w podobnej sytuacji.

Ponieważ rolą kandydata jest opis rzeczywistych zdarzeń ze swojego życia, a ich analiza należy do osoby prowadzącej wywiad, zmniejsza się ryzyko podawania nieprawdziwych informacji oraz subiektywność samooceny kandydata. Dzięki temu informacje uzyskane za pomocą tej techniki są rzetelne.

Powszechnie stosowane są dwa modele prowadzenia wywiadu kompetencyjnego:

1. model STAR (situation – zdarzenie, task – zadanie, action – działanie, result – wynik),
2. model lejka (ewentualnie model odwróconego lejka).

Warto podkreślić, że oba te modele mogą się wzajemnie uzupełniać, można więc je ze sobą łączyć.

Wywiad kwestionariuszowy

Technika ta opiera się na kwestionariuszu, który jest uporządkowanym zbiorem pytań zadawanych w tej samej kolejności każdemu kandydatowi. Odpowiedzi udzielane przez kandydatów są często podobne.

Ten rodzaj wywiadu jest prowadzony według ustalonych zasad – wszystkie elementy (w tym zachowanie zadającego pytania, sposoby na uzyskanie istotnych odpowiedzi, miejsce przeprowadzania wywiadu, zastosowane środki techniczne) są z góry określone. Celem takiego podejścia jest uzyskanie takiego samego zbioru informacji o poszczególnych kandydatach. Jest to zatem technika o wysokim stopniu standaryzacji.

Wywiad kwestionariuszowy przebiega zwykle według następującego schematu:

1. Osoba przeprowadzająca wywiad (np. doradca walidacyjny) dostaje kwestionariusz z zestawem pytań i instrukcją, w jaki sposób ma je zadawać. Twórca narzędzia przygotowuje warianty odpowiedzi i miejsce na ich zapis; informuje też prowadzącego wywiad, jaki jest cel zadawania każdego z pytań.
2. Prowadzący wywiad najczęściej zadaje pytania w formie ustnej, choć może się też posłużyć tzw. kartą respondenta.
3. Osoba, z którą jest prowadzony wywiad, reaguje na pytanie (nie zawsze jest to konkretna odpowiedź).
   
   Istotne w tym wypadku jest zachowanie kontaktu (także wzrokowego) między osobą zadającą pytania a odpowiadającą na nie. Daje to możliwość obserwacji reakcji kandydata.
4. Prowadzący wywiad zapisuje odpowiedzi w kwestionariuszu według tzw. instrukcji kodowej (zawierającej zasady przyporządkowania odpowiedzi do ustalonych klas oraz zasady ich numerycznego symbolizowania).

Zapis stanowi materiał źródłowy, który będzie poddany dalszej analizie.

Mocne strony wywiadu kwestionariuszowego:

• Wysoka rzetelność dzięki standaryzacji, zwłaszcza w wypadku zastosowania odpowiedzi zamkniętych.
• Kwestionariusze wypełniane w czasie wywiadu nie mają wad takich jak kwestionariusze wypełniane samodzielnie przez respondentów np. możliwość opuszczania pytań, niski stopień zwrotu wypełnionych ankiet.
• Jest to technika stosunkowo efektywna pod względem czasu i wysiłku, jaki trzeba na nią poświęcić.

Budowa kwestionariusza

Kwestionariusze wywiadów ustrukturyzowanych powinny zawierać pewne ustalone elementy. 

Przykłady zastosowania wywiadu ustrukturyzowanego

Przykłady zastosowania wywiadu ustrukturyzowanego 

Przykład na zastosowanie obserwacji w warunkach rzeczywistych jest zawarty w Bazie Dobrych Praktyk. Walidacja, zapewnianie jakości walidacji i certyfikowania.

Dotyczy kwalifikacji:

• asystenta administracyjnego we Włoszech,
• wykwalifikowanego pracownika obróbki metalu w Niemczech. 

 

Nazwa instytucji	Associatie KU Leuven www: http://associatie.kuleuven.be/contact
Kraj pochodzenia	Belgia (Flandria)
Kontekst funkcjonowania instytucji	We Flandrii istnieje system walidacji efektów uczenia się uzyskanych poza edukacją formalną. Jest definiowany w prawie jako „całość wiedzy, umiejętności i postaw nabytych w procesie uczenia się, które nie zostały wcześniej potwierdzone żadnym certyfikatem”. KU Leuven Associate jest stowarzyszeniem pięciu szkół wyższych we Flandrii i Brukseli z Katolickim Uniwersytetem Lowańskim (KU Leuven). Powstało w 2002 roku. Obejmuje ponad 100 tys. studentów, co stanowi 43% osób uczących się we flamandzkim szkolnictwie wyższym. Szkoły należące do stowarzyszenia stosują walidację efektów uczenia się uzyskanych poza edukacją formalną. Służy ona głównie do zwalniania kandydatów z egzaminów. Dzięki temu studenci mogą łączyć naukę z pracą zawodową.
Nazwa kwalifikacji	Magister psychologii
Krótki opis stosowania danej metody	Celem walidacji jest zazwyczaj zwolnienie z egzaminów lub części zajęć. Możliwe jest także uzyskanie kwalifikacji (tytuł licencjata lub magistra). Proces walidacji w szkołach wyższych należących do stowarzyszenia zaczyna się zazwyczaj od analizy portfolio kandydata, dołączanego do wniosku o wszczęcie procedury walidacji. Metodę wywiadu ustrukturyzowanego stosuje się zarówno na etapie identyfikowania efektów uczenia się (wywiad kompetencyjny), jak i ich weryfikacji (wywiad kwestionariuszowy - jest techniką wspomagającą inne metody, m.in. test i obserwację).
Możliwości samodzielnego zdobycia informacji o metodzie/z pomocą doradcy	Osoba przystępująca do walidacji powinna samodzielnie przejrzeć program studiów, opisy poszczególnych kursów punktowanych i zakres wymaganych efektów uczenia się. Może zasięgnąć informacji i porady u koordynatora walidacji, pracującego w Centrum Doradztwa dla Studentów. Informacji udziela też Sekretarz Komitetu Ośrodka Egzaminacyjnego.
Czynniki, jakie stały za wyborem danej metody w danych okolicznościach	Wywiad ustrukturyzowany jest dobrym uzupełnieniem i pogłębieniem informacji, które kandydat zamieścił w swoim portfolio. Pytanie o konkretne przykłady z życia kandydata, które pokazują, że faktycznie ma deklarowane przez siebie kompetencje efekty uczenia się, pozwala stosunkowo rzetelnie ocenić podawane przez niego informacje.
Przebieg procedury	Przed przystąpieniem do walidacji, kandydat powinien uzyskać szczegółowe informacje na temat tego procesu (np. w Centrum Doradztwa dla Studentów). Procedurę rozpoczyna wywiad wstępny (etap identyfikowania efektów uczenia się). Na tym etapie sprawdza się, czy wniosek o przeprowadzenie walidacji jest zasadny oraz proponuje możliwe metody weryfikacji efektów uczenia się (np. wywiad, test, obserwację, symulację, połączenie metod), uwzględniając informacje zawarte w portfolio, które kandydat przekazał wraz z wnioskiem o walidację. Jeśli kandydat zgodzi się na zastosowanie wskazanych metod, przechodzi się do etapu weryfikacji. Będzie on przebiegał inaczej dla każdego kandydata, w zależności od wybranych do zastosowania metod.
Wyniki procesu walidacji	Wynik pozytywny Osoba, która pozytywnie przeszła proces weryfikacji, uzyskuje tzw. świadectwo nabycia umiejętności (formalne poświadczenie efektów uczenia się uzyskanych poza edukacją formalną) oraz: zwolnienie z części zajęć, lub zwolnienie z części egzaminów, albo dyplom licencjacki/magisterski, jeśli przeszła walidację całego programu studiów. Wynik negatywny Jeśli weryfikacja efektów uczenia się zakończyła się niepowodzeniem, kandydatowi przysługuje odwołanie. Należy je złożyć w ciągu pięciu dni kalendarzowych do prodziekana ds. studenckich.
Zasoby organizacyjne i materialne	Procedura walidacji (w tym wywiady z kandydatami) jest płatna. Całkowity koszt to min. 105 €, w tym: koszt wywiadu wstępnego – 55€, prosty test – 50 €, testy kompleksowe i rozległe – 150 €. Możliwa jest weryfikacja efektów uczenia się z całego programu studiów. Wówczas koszty walidacji wyglądają następująco: licencjat – maksymalnie 590 €, magister (jeśli kandydat ma już tytuł licencjata) – maksymalnie 230 €, magister (jeśli sprawdzeniu podlegają także efekty uczenia się na poziomie studiów licencjackich) – 770€. Do walidacji można przystępować przez cały rok. Jeśli jednak kandydat chce uzyskać zwolnienie w nadchodzącym roku akademickim, to musi aplikować o przystąpienie do walidacji przed 31 maja. Późniejsze terminy dotyczą tylko poziomu biegłości w językach obcych, np. chińskim, japońskim, arabskim.
Ograniczenia w stosowaniu	Procedura walidacji jest długa i odpłatna, dlatego nie jest korzystna wtedy, gdy ktoś chce zaliczyć tylko niewielkie części kursu lub zdobyć punkty ECTS. Oficjalne zwolnienie z zajęć lub egzaminów nie daje też oceny w programie studiów. Wówczas lepiej przystępować do egzaminów ze wszystkimi studentami.

 

Efekt asesora

Efekt asesora

Efekt asesora można zdefiniować jako błędy i różnice w ocenianiu efektów uczenia się w procesie walidacji, które są zależne od asesora i wpływają na wyniki weryfikacji efektów uczenia się.

Efekt asesora można podzielić na następujące kategorie:

Efekt asesora zależny od zastosowanej metody walidacji			Efekt asesora niezależny od zastosowanej metody walidacji (powszechne błędy oceniania)
Uwarunkowania wewnętrzne efektu asesora	Uwarunkowania zewnętrzne efektu asesora	Wpływ etapu weryfikacji na efekt asesora	Błędy uwarunkowane cechami asesora	Błędy atrybucji	Błędy związane z tematyką oraz formą oceniania
Są one specyficzne dla poszczególnych metod. Przykłady można znaleźć tutaj.	Należą do nich: osoba kandydata, czas, miejsce, kultura organizacyjna instytucji, skład komisji oceniającej. Przykłady można znaleźć tutaj.	Inne błędy mogą się pojawić przy przygotowaniu walidacji, w przebiegu weryfikacji oraz przy podjęciu decyzji o wyniku walidacji. Przykłady można znaleźć tutaj.	To czynniki i cechy osoby oceniającej obniżające trafność postrzegania, co w konsekwencji powoduje błędy w ocenianiu. Przykłady można znaleźć tutaj.	Asesor przypisuje większe znaczenie cechom ocenianego niż np. niekorzystnym uwarunkowaniom zewnętrznym. Przykłady można znaleźć tutaj.	Przykłady można znaleźć tutaj.

Minimalizacja efektu asesora ma prowadzić do zwiększenia rzetelności i obiektywności w ocenianiu efektów uczenia. Strategie minimalizowania efektu asesora można znaleźć tutaj.

Błędy specyficzne dla wywiadu ustrukturyzowanego

Uwarunkowania wewnętrzne efektu asesora

W zależności od osobowości asesora może on ulegać pokusie pomagania kandydatowi lub koncentrować się na błędach w wypowiedzi.

Przy zastosowani tej metody istnieje ryzyko wystąpienia  błędów atrybucji.

Uwarunkowania zewnętrzne efektu asesora

Wpływ na ocenę mogą mieć m.in.: styl mówienia i  formułowania myśli przez kandydata; brak precyzji w udzielaniu odpowiedzi na pytania; oczekiwania instytucji walidacyjnej dotyczące zdawalności; niedopasowanie czasu trwania wywiadu do przedmiotu oceny lub osobowości kandydata.

Wpływ etapu weryfikacji na efekt asesora

Przygotowanie walidacji

Wpływ na ocenę mogą mieć m.in.: brak wiedzy o różnych typach wywiadów i ich specyfice; niewłaściwy dobór metody wywiadu do celu i przedmiotu oceny; charakter pytań (zbyt ogólne lub zamknięte/wąskie).

Weryfikacja

Wpływ na ocenę mogą mieć m.in.: konieczność bieżącego dopasowania scenariusza wywiadu do kandydata i udzielanych odpowiedzi; pokusa pytania o szczegóły, podpowiadania; trudność w dzieleniu uwagi pomiędzy słuchaniem i robieniem notatek z wywiadu; lepiej zapamiętuje się początek i koniec wypowiedzi; niedocenianie odpowiedzi udzielonych w środkowej części wywiadu.

Decyzja o wyniku walidacji

Wpływ na ocenę mogą mieć m.in.: ulotność ustnej wypowiedzi; brak możliwości powrotu do wypowiedzi lub niechęć sięgania do nagrania ze względu na czas; dominacja ogólnego wrażenia; różnice w odbiorze wypowiedzi przez asesorów; większy wpływ końcowych wypowiedzi na podjęcie decyzji o wyniku walidacji. 

Wnioski końcowe

Wywiad nie jest neutralną metodą oceny – jest wynikiem interakcji między asesorem i egzaminowanym, między asesorem a instytucją certyfikującą oraz asesorów między sobą.

Mimo starannie sformułowanych pytań i  uważności podczas wywiadu, słowo mówione zawiera zawsze pewną dozę niejednoznaczności, przez co wywiad może być odmiennie odbierany i oceniany przez asesorów.

Strategia minimalizowania efektu asesora w odniesieniu do wywiadu ustrukturyzowanego

Efekt asesora można minimalizować poprzez następujące działania:

• konsultowanie pytań do wywiadu z praktykami w danej dziedzinie, koncepcji wywiadu i pytań z innym asesorem lub ekspertem w dziedzinie projektowania wywiadów;
• przeprowadzenie pre-testu wywiadu;
• nagrywanie wywiadów;
• przygotowanie karty oceny wywiadu (kategorii oceny, metody kodowania);
• zapewnienie dobrej atmosfery podczas wywiadu (w tym dobre warunki lokalowe, estetyka wnętrza).

Zasady i narzędzia minimalizowania wpływu efektu asesora

Minimalizowanie ryzyka efektu asesora oznacza zapobiegania takim błędom i różnicom popełnianym przez asesora w ocenianiu efektów uczenia się w procesie walidacji, które wpływają na wyniki weryfikacji efektów uczenia się.

Ogólne zasady minimalizowania wpływu efektu asesora

Narzędzia rozwojowe dla asesorów, aby zmniejszyć prawdopodobieństwo wystąpienia efektu asesora

Ryzyko występowania efektu asesora ma związek z wiedzą i umiejętnościami, jakie posiada asesor w związku z ocenianiem za pomocą różnorodnych metod oraz z postawą, jaką prezentuje, m.in. wobec norm etycznych, swojej pracy oraz samodoskonalenia. Dobór asesorów ze względu na posiadane przez nich efekty uczenia się oraz znajomość i doświadczenie w stosowaniu określonych metod walidacji. Pozytywne oczekiwania asesora wobec kandydatów, bazujące na indywidualizacji i podmiotowości w ocenianiu. Uwrażliwienie na czynniki społeczne, ale nie poddawanie ich ocenie czy uwzględnianie w ocenie (np. niepełnosprawność kandydata, narodowość itp.). Ostrożne korzystanie z informacji zawartych w dokumentach kandydata, nieuleganie opiniom osób trzecich zawartych w dokumentach kandydata; dystans do opinii np. doradców walidacyjnych na temat kandydata, czy innych osób związanych z kandydatem. Współpraca z otoczeniem procesu walidacyjnego: doradcami walidacyjnymi, moderatorami, obserwatorami. Ustalanie przebiegu weryfikacji oraz określenie, jakie metody i w jakim zakresie będą wykorzystywane w danym przypadku. Ukierunkowanie i poinformowanie kandydata o głównym celu weryfikacji, sposobach oceny i etapach weryfikacji. Gotowość do składania dodatkowych wyjaśnień i objaśnień na wniosek kandydata, dotyczących technicznego i merytorycznego przebiegu walidacji. Upewnienie, że kandydat zrozumiał przekaz. Tam gdzie to możliwe, zapewnienie anonimowości kandydata i asesora, np. przy sprawdzaniu testów. Przygotowanie i przedstawienie informacji zwrotnej niezależnie od wyniku weryfikacji z dbałością o komunikowanie pozytywnych aspektów przebiegu procesu, szczególne uzasadnienie dla aspektów niedostatecznych (negatywnych). Oddzielenie „człowieka od problemu”, uwrażliwienie na przebieg procesu a nie na osobę kandydata. Unikanie weryfikacji przez pryzmat emocji („patrzenie przez różowe okulary” versus „patrzenie przez czarne okulary”). Systematyczna samokontrola, refleksja nad własnym działaniem; korzystanie z badania opinii kandydatów na temat przebiegu walidacji (wykorzystanie np. ankiety ewaluacyjnej); ciągłe dokształcanie.

Metody rozwojowe pozwalają na minimalizowanie czynników i ryzyka występowania wypalenia zawodowego, a także efektu asesora. Należą do nich: superwizja Superwizja to udzielanie wsparcia metodycznego i merytorycznego danej osobie przez superwizora (osobę z większym doświadczeniem, której wiedza i umiejętności są potwierdzone, np. rekomendacją trenerską Polskiego Towarzystwa Psychologicznego III stopnia). Do zadań superwizora/superwizorki należy w szczególności zbudowanie relacji kształcącej, stworzenie przestrzeni dla refleksji, rozwoju i zmiany, eksplorowanie obszarów, które do tej pory były niedostępne dla osób poddających się superwizji, pomoc przy dokonaniu zmiany w funkcjonowaniu w roli zawodowej. Proces superwizji kończy się informacją zwrotną, w której superwizor doradza i/lub uczy konkretnych umiejętności i strategii interwencyjnych. Dzięki tej metodzie minimalizowane będzie ryzyko efektu asesora w odniesieniu do błędów uwarunkowanych cechami osoby oceniającej oraz w odniesieniu do błędów atrybucji. coaching Coaching pozwala na przyspieszenie tempa rozwoju, osiągania celów i polepszenia efektów działań. Stanowi również podstawę do zweryfikowania podejścia do wykonywanych obowiązków. Może prowadzić do podniesienia poczucia własnej wartości, co może mieć wpływ na minimalizowanie efektu asesora w odniesieniu do błędów związanych z cechami osoby oceniającej. mentoring Mentoring może być wykorzystana w początkowym okresie pracy asesora, kiedy zdobywa on doświadczenie. Skorzystanie ze wsparcia bardziej doświadczonego mentora, znającego pułapki wykonywanej funkcji, pozwoli na poznanie zagrożeń, błędów oceniania. Dzięki tej metodzie asesor będzie potrafił szybciej zauważyć popełniane przez siebie błędy w ocenianiu i wyeliminować bodźce, które do nich prowadzą. tutoring Tutoring to metoda rozwijania kreatywności i samodzielnego myślenia podczas cyklicznych spotkań tutora z podopiecznym. W odróżnieniu od mentoringu, tutoring to praca w obszarze wartości, talentów i celów. Zadaniem tutora jest wspieranie podopiecznego, aby ten pracował autentycznie, świadomie i spójnie, a nie dopasowywał się powierzchownie lub konformistycznie do jakiegoś zewnętrznego wzorca. Tutoring bazuje na mocnych stronach podopiecznego, a jeżeli nie są w pełni uświadomione, ma za zadanie je uwypuklić. Istotna w tutoringu jest również świadomość słabych stron, nad którymi należy pracować, aby je minimalizować lub wyeliminować. Tutoring w minimalizowaniu efektu asesora może mieć zastosowanie na każdym etapie pełnienia tej funkcji. Możliwość rozwoju czy też samouświadomienia mocnych stron stanowi kluczowy bodziec do analizy zaangażowania w pracę. Refleksja, która towarzyszy tutoringowi może mieć znaczenie w uświadomieniu sobie nieetycznych zachowań w procesie walidacji. trening intrapsychiczny Trening intrapsychiczny umożliwia poszerzenie i pogłębienie świadomości dotyczącej problemów emocjonalnych, ich przyczyn, jak i konsekwencji. Pozwala na lepsze zrozumienie siebie, efektywniejsze wykorzystywanie swoich predyspozycji, przezwyciężanie wewnętrznych ograniczeń i poznania swoich możliwości. Jego celem jest także zwiększenie samoświadomości i samoakceptacji. Pozwala na spojrzenie w głąb siebie, a w konsekwencji efektywniejsze tworzenie relacji z innymi ludźmi.

Efekt asesora niezależny od stosowanej metody walidacji - powszechne błędy oceniania

Błędy uwarunkowane cechami asesora

Należą do nich m.in.:

• mała złożoność struktur poznawczych – człowiek słabo różnicuje świat, przecenia podobieństwa pomiędzy sobą a innymi;
• niski poziom inteligencji poznawczej i emocjonalnej prowadzi do problemów ze stosowaniem wiedzy do poznawania innych oraz trudności w rozpoznawaniu emocji innych;
• wysoki poziom neurotyczności i nieakceptowanie samego siebie prowadzi m.in. do negatywnych stanów emocjonalnych, co ogranicza zasoby poznawcze wykorzystywane do oceny innych;
• konkretność umysłu, spostrzeganie innych na zasadzie "czarno-białej", mała tolerancja na wieloznaczność – schematyzm w myśleniu i działaniu, powielanie opinii;
• stany napięć i konfliktów wewnętrznych prowadzą do tzw. widzenia przez „czarne okulary” – dostrzegania przede wszystkim słabszych stron osób ocenianych;
• wysoki poziom autorytarności wyraża się m.in. w destruktywności i cynizmie, co przekłada się na uogólnioną wrogość w stosunku do ludzi oraz skłonność do deprecjacji innych;
• egocentryzm czyli koncentracja na własnej osobie nie sprzyja przejmowaniu perspektywy innego, uwzględniania złożonych uwarunkowań wpływających na zachowania innych;
• uległa bądź agresywna postawa życiowa: uległość sprzyja manipulowaniu przez innych; agresywna postawa wywołuje konflikty z otoczeniem i ogranicza zdolność do kompromisu;
• zależność od autorytetów i stereotypów prowadzi do niesamodzielności w ocenie innych, sprzyja manipulowaniu przez innych oraz wrogości wobec innych;
• machiawelizm jako cecha osobowości (siła nastawienia do manipulowania innymi) to tendencja do działania egoistycznego, instrumentalnego traktowania innych, u podstaw czego leży trafność spostrzegania, oceny innych;
• zaniżona lub zawyżona samoocena prowadzi do nieadekwatnej oceny siebie i innych;
• niechęć do wglądu we własną psychikę, brak motywacji do doskonalenia siebie ogranicza samowiedzę, prowadzi m.in. do schematyzmu i konserwatyzmu w ocenie innych;
• rutyna zawodowa prowadzi do stopniowego ograniczania wiedzy o sobie i innych.

Błędy atrybucji

Do podstawowych błędów atrybucji zalicza się:

• uleganie stereotypom: postrzeganie innych przez pryzmat utartych sądów, np. dotyczących płci, wykształcenia, wykonywanego zawodu, pochodzenia, religii;
• efekt halo: tendencja do automatycznego, pozytywnego (efekt aureoli) lub negatywnego (efekt Golema) przypisywania cech osobowościowych na podstawie pierwszego wrażenia. Na efekt halo duży wpływ ma wygląd zewnętrzny, którego uogólniona ocena może powodować obniżenie lub podwyższenie oceny w innych obszarach;
• błąd łagodności i surowości: błąd łagodności polega na przecenianiu zalet innych ludzi i niedocenianiu wad, występuje częściej w stosunku do osób, które oceniający (asesor) zna dłużej; błąd surowości objawia się zaniżaniem oceny osób wcześniej nieznanych (pojawia się rzadziej, niż błąd łagodności);
• błąd tendencji centralnej: polega na unikaniu ekstremalnych stopni charakterystycznych dla danej skali ocen, czyli na wykluczaniu ocen najwyższych i najniższych; błąd ten jest spowodowany jej najczęściej nadmierną ostrożnością i niepewnością oraz przekonaniem o braku wystarczających informacji o osobach ocenianych.

Błędy związane z tematyką oraz formą oceniania

Rozbieżności w ocenianiu mogą zależeć od czynników jaki jak:

• forma weryfikacji efektów uczenia się: w zależności od tego, czy weryfikacja jest ustna, pisemna, czy mieszana, może być obarczona różnymi błędami (np. na weryfikację ustną mogą mieć wpływ błędy atrybucji, na weryfikację pisemną - np. styl opisu, poprawność językowa, charakter pisma);
• charakter efektów uczenia się: jeśli do oceny wiedzy, umiejętności lub kompetencji społecznych zastosuje się niewłaściwą (niedopasowaną do tego) metodę, ostateczny wynik będzie błędny; prace pisemne, zadania oraz wypowiedzi ustne w dziedzinach związanych z humanistyką ocenia się różnorodnie ze względu na niejednoznaczny charakter tematyki w dziedzinach humanistycznych (w naukach ścisłych najczęściej nie ma takiego problemu);
• efekt kontrastu: wystawienie wyższej oceny za poprawną odpowiedź po serii odpowiedzi słabych i odwrotnie – wystawianie niższej oceny po serii dobrych odpowiedzi; przy ocenianiu osób w zespole (np. debata) ocena tej samej osoby może różnić się w zależności od pozostałych uczestników - dodatni kontekst powoduje obniżenie oceny, zaś ujemny jej podwyższenie;
• efekt pierwszeństwa i świeżości: surowiej oceniane są błędy, które pojawiają się na początku, a nie na końcu pracy pisemnej czy wypowiedzi ustnej; w debatach: argumenty mówcy, który przemawia jako pierwszy, wywierają większy wpływ na słuchaczy niż argumenty dalszych mówców; w wywiadzie pierwsze poprawne/ oczekiwane odpowiedzi prowadzą do wyższej oceny ogólnej i odwrotnie – niepoprawne/ niezgodne z oczekiwaniami odpowiedzi prowadzą do zaniżania oceny;
• reputacja miejsca: nazwa instytucji (miejsca), z której pochodzi kandydat może mieć wpływa na ocenę, np. „ośrodek zagraniczny”; firma o dużym prestiżu;
• patrzenie przez różowe i czarne okulary: uczucia i nastrój oceniającego (asesora) mają wpływ na ocenę innych osób i ich wytworów;
• projekcja zachowań/ kompetencji: asesor wyżej ocenia kompetencje, które sam posiada, ponieważ mimowolnie lubimy ludzi podobnych do siebie;
• skrajne reakcje oceniającego (asesora): pragnienie bycia bardzo profesjonalnym, bądź bardzo przyjacielskim powoduje popadanie w skrajności (od bycia zbyt pobłażliwym i nieformalnym do wysoko rozwiniętej surowości);
• błędy w metodach i narzędziach weryfikacji efektów uczenia się:
  • niewłaściwy dobór metody/ narzędzia do przedmiotu oceny,
  • różne predyspozycje kandydata do poszczególnych form weryfikacji;
• niekorzystne warunki towarzyszące weryfikacji powodujące dyskomfort fizyczny.

Bibliografia

Bibliografia 

Białek M., Budny M., Matysiak W. i Wykrotka M. (2015). Opis metody i narzędzia do identyfikacji efektów uczenia się zgodnie z metodologią bilansu kompetencji [niepublikowany raport]. Kraków: Wojewódzki Urząd Pracy.

Bodzińska-Guzik E., Gmaj I., Grzeszczak J. i Leyk A. (2015). Metoda bilansu kompetencji. Warszawa: Instytut Badań Edukacyjnych.

European Commission, Cedefop i ICF International (2014a). European inventory on validation of validation of non-formal and informal learning 2014. Thematic report: validation methods. Luxembourg: Publication Office.

European Commission, Cedefop i ICF International (2014b). European inventory on validation of non-formal and informal learning 2014. Country report Belgium (NL). Luxembourg: Publication Office.

Łobocki M. (2009). Metody i techniki badań pedagogicznych. Kraków: Oficyna Wydawnicza „Impuls”.

Niemierko B. (red.). (2009). Diagnostyka edukacyjna. Podręcznik akademicki. Warszawa: Wydawnictwo Naukowe PWN.

Sławiński, S. (2017). Słownik Zintegrowanego Systemu Kwalifikacji. Warszawa: Instytut Badań Edukacyjnych.

Solarczyk-Szwec, H., Machałowska, K. (2020). Efekt asesora i minimalizowanie ryzyka efektu asesora w ZSK - ekspertyza. Warszawa: Instytut Badań Edukacyjnych [materiał niepublikowany]

Spencer L. M., McClelland, D. C. i Spencer S. M. (1994). Competency assessment methods: history and state of the art. Hay/McBer Research Press.

Włodarek, J. i Ziółkowski, M. (1990). Teoretyczny i empiryczny status metody biograficznej we współczesnej socjologii. W: J. Włodarek, M. Ziółkowski (red.), Metoda biograficzna w socjologii. Warszawa–Poznań: Państwowe Wydawnictwo Naukowe.

Strony internetowe:

Cedefop. European database on validation of non-formal and informal learning [baza danych]; http://www.cedefop.europa.eu/en/publications-and-resources/data-visualisations/european-database-on-validation-of-non-formal-and-informal-learning.

HKU Assessment Resources: http://ar.cetl.hku.hk/am_si.htm.