Drukuj

Dobór metod walidacji


Wprowadzenie do zagadnienia doboru metod walidacji

Ta część Katalogu Metod Walidacji efektów uczenia się ma odpowiedzieć na pytanie: „W jaki sposób dobrać metody, aby umożliwiały zidentyfikowanie, udokumentowanie i weryfikację wiedzy, umiejętności i kompetencji społecznych?”.

Pytanie to można postawić zarówno podczas przygotowywania opisu kwalifikacji (i tym samym określania warunków, które muszą spełnić wszystkie podmioty nadające kwalifikacje), jak i w trakcie projektowania scenariusza walidacji w konkretnej instytucji certyfikującej.

Kwalifikacje, o których mowa, są z reguły przeznaczone dla osób dorosłych. Często chcą one kontynuować naukę, oficjalnie potwierdzić już posiadane kompetencje, przekwalifikować się czy wrócić na rynek pracy.

Walidacja umożliwia realizację tych celów poprzez postawienie kandydata w sytuacji, w której może on pokazać co wie i umie. Rodzaj sytuacji, w której dana osoba może udowodnić posiadanie wiedzy, umiejętności i kompetencji społecznych zależy od metody.

Celem materiału jest ukazanie procesu doboru metod i czynników, które za tym stoją.

 

Główne elementy, na które należy zwrócić uwagę podczas przygotowywania opisu kwalifikacji i scenariusza walidacji

W trakcie przygotowywania opisu kwalifikacji

Wskazówki dotyczące elementów w opisie kwalifikacji, na jakie należy zwrócić uwagę podczas przygotowywania wymagań dotyczących walidacji, są zawarte w materiale Walidacja. Nowe możliwości zdobywania kwalifikacji (aneks II). Zalecany przebieg procesu doboru metod w trakcie przygotowywania opisu kwalifikacji został przedstawiony w części Dobór metod w trakcie przygotowania opisu kwalifikacji (zakładka proces doboru metod walidacji).

Warto pamiętać, że na poszczególnych etapach walidacji (identyfikowania, dokumentowania i weryfikacji efektów uczenia się) można proponować różne metody.

W trakcie przygotowywania scenariusza walidacji

Przygotowując konkretny scenariusz walidacji należy pamiętać o tym, że:

Kryteria zapewniania jakości walidacji

Ramka 1. Kryteria dotyczące zapewniania jakości walidacji

Trafność walidacji oznacza, że identyfikowane, dokumentowane i weryfikowane są efekty uczenia się określone dla danej kwalifikacji, a metody i narzędzia są dostosowane do charakteru efektów uczenia się.

Rzetelność walidacji oznacza, że wyniki procesu walidacji przeprowadzanej przez różne instytucje lub w ramach tej samej instytucji będą takie same lub zbliżone, bez względu na przyjęte procedury, metody i narzędzia stosowane w walidacji.

Adekwatność walidacji oznacza, że jest ona dostosowana do indywidualnych potrzeb oraz uwzględnia sposób, w jaki osoba przystępująca do walidacji zdobyła kompetencje (formalny, pozaformalny, nieformalny), by likwidować bariery w dostępie do kwalifikacji.

Wybranie odpowiednich metod ma wpływ na efekt procesu walidacji oraz pośrednio – na jakość nadanej kwalifikacji. Jeśli metody zostaną źle dobrane do efektów uczenia się, wyniki nie będą wiarygodne. Zastosowanie niewłaściwych metod może doprowadzić do następujących sytuacji:

Trafność

Co można zrobić podczas procesu doboru metod, aby zwiększyć prawdopodobieństwo, że walidacja będzie trafna? W pierwszej kolejności należy upewnić się, że metoda, która ma być zastosowana, jest właściwa do wybranych efektów uczenia się (niezależnie od tego, czy chodzi o wszystkie efekty dla danej kwalifikacji, czy o wybrany zestaw). Można m.in.:

Należy także zwrócić uwagę na to, by metody stosowane na kolejnych etapach były ze sobą spójne. Jeśli na etapie weryfikacji jest przewidziana analiza dowodów i deklaracji, to na etapie dokumentowania warto przewidzieć np. tworzenie portfolio, a na etapie identyfikowania – metody, których wyniki mogą być w tym portfolio zawarte (np. obserwacja w warunkach symulowanych bądź w warunkach rzeczywistych, test teoretycznych).

Rzetelność

Rzetelność rozumiana jako porównywalność wyników walidacji prowadzonej w różnych kontekstach i w różnym czasie, przede wszystkim zależy od:

Adekwatność

Zwiększenie szansy na adekwatną walidację poprzez dobór właściwej metody jest możliwe wtedy, gdy pozna się cele, potrzeby i ograniczenia kandydata. W związku z tym przygotowując opis kwalifikacji warto w wymaganiach dotyczących walidacji uwzględnić etap identyfikowania efektów uczenia się.

Z kolei w scenariuszu procesu walidacji można uwzględnić:

Większość z tych czynników zależy od odpowiedniego sformułowania wymagań dotyczących walidacji w opisie kwalifikacji i ich interpretacji przez instytucje certyfikujące na poziomie tworzenia scenariusza walidacji (więcej na ten temat można znaleźć w materiale Zapewnianie jakości procesu nadawania kwalifikacji spoza systemów oświaty i szkolnictwa wyższego).

Jednocześnie należy pamiętać, że trafność, rzetelność i adekwatność walidacji zależy również od tego, czy metody są stosowane indywidualnie, czy w połączeniu z innymi.


Czynniki warunkujące dobór metod walidacji

Wybierając metody, które mają być zastosowane w walidacji, w pierwszej kolejności powinno się wziąć pod uwagę:

  1. charakter efektów uczenia się,
  2. etap walidacji,
  3. potrzeby osoby przystępującej do walidacji.

Poniżej przedstawiono poszczególne czynniki i sposób, w jaki wpływają na dobór metod walidacji.

infoIdentyfikowanie – określanie i analiza wiedzy, umiejętności i kompetencji społecznych, które już zostały osiągnięte przez kandydata; może być przeprowadzane samodzielnie lub przy wsparciu doradcy walidacyjnego;

infoDokumentowanie – gromadzenie dowodów świadczących o osiągnięciu wybranych efektów uczenia się (np. w formie certyfikatów, zaświadczeń o odbytych praktykach, próbek pracy, nagrań wideo, rekomendacji, opisu wykonywanej pracy itp.); może przebiegać samodzielnie lub przy wsparciu doradcy walidacyjnego;

infoWeryfikacja – sprawdzenie przy zastosowaniu odpowiednich metod, czy określone efekty uczenia się zostały osiągnięte. W wypadku walidacji mającej na celu nadanie określonej kwalifikacji – porównanie tych wyników z efektami uczenia się wymaganymi dla tej kwalifikacji.

Pobierz wersję PDF
(Czarno-biały)

Charakter efektów uczenia się

Efekty uczenia się to wiedza, umiejętności oraz kompetencje społeczne nabyte w procesie uczenia się. Metody – a przez to także techniki i narzędzia zastosowane w walidacji – powinny odpowiadać efektom uczenia się zawartym w kwalifikacji i określonym dla nich kryteriom weryfikacji. Jest to podstawowy warunek prawidłowo przeprowadzonej walidacji, w tym także warunek zachowania trafności tego procesu.

Każda z metod stosowanych w walidacji sprawdza się w odniesieniu do konkretnej kategorii efektów uczenia się.

Na etapie weryfikacji warto przyjrzeć się także, na którym poziomie Polskiej Ramy Kwalifikacji znajdują się określone efekty uczenia. Niektóre metody lepiej się sprawdzą na niższych poziomach PRK, niektóre – na wyższych.

Etap walidacji

Schemat 1. Etapy walidacji

 

W procesie walidacji wyróżniamy następujące etapy:

Niektóre metody mogą być stosowane na każdym z etapów walidacji (np. wywiad swobodny). Inne są właściwe tylko dla określonych etapów (np. bilans kompetencji na etapie identyfikowania i dokumentowania). Pewne metody – choć można ich użyć na wszystkich etapach – najlepiej sprawdzą się na jednym z nich (np. test teoretyczny na etapie weryfikacji).

 

Potrzeby osoby uczącej się

 

Potrzeby osoby uczącej się w kontekście walidacji obejmują wiele kwestii, m.in. ułatwienie dostępu do procesu (w tym np. osobom powracającym na rynek pracy) i zapewnienie kompleksowej informacji o walidacji. Jednak przy doborze metod należy wziąć pod uwagę tylko:

  1. sposób uczenia się (osiągnięcia efektów uczenia się) kandydata,
  2. cel przystąpienia do walidacji.

Uwzględnienie powyższych czynników pomaga w odpowiednim zaprojektowaniu walidacji, np. skróceniu jej przebiegu w czasie i zmniejszeniu ryzyka niepowodzenia z przyczyn innych niż brak wymaganych efektów uczenia się u kandydata. Z drugiej strony – pozwala na dostęp do walidacji większej liczbie osób.

Informacje dotyczące potrzeb osób uczących się można zbierać już w trakcie przygotowywania opisu kwalifikacji. Wskazując grupy docelowe kwalifikacji, warto zastanowić się nad typowymi kandydatami (np. czy będą to osoby, które niedawno zakończyły edukację formalną, czy raczej z doświadczeniem na rynku pracy). Na tej podstawie można podjąć decyzję odnośnie do formułowania wymagań dla etapów identyfikowania i dokumentowania efektów uczenia się w opisie. Może to być też pomocne w wyborze potencjalnych metod.

W scenariuszu walidacji warto uwzględnić rozpoznanie potrzeb kandydata, np. w trakcie wstępnej rozmowy z doradcą walidacyjnym.

Sposób uczenia się

Wyróżnia się trzy podstawowe sposoby osiągnięcia efektów uczenia się:

  1. w drodze edukacji formalnej (szkoła, uczelnia),
  2. w drodze edukacji pozaformalnej (szkolenia),
  3. poprzez uczenie się nieformalne (np. samodzielne dokształcanie się, zdobywanie wiedzy i umiejętności w pracy oraz w ramach hobby).

Każdy z tych sposobów może wymagać innego podejścia w procesie walidacji. Warto wziąć to pod uwagę, tworząc wymagania dotyczące walidacji w opisie kwalifikacji, np. poprzez uwzględnienie możliwości zastosowania różnorodnych metod.

Z kolei scenariusz walidacji, który respektuje różne sposoby uczenia się, powinien obejmować kilka wariantów (alternatywnych ścieżek) dla kandydatów. Dla osób, które osiągnęły efekty uczenia się głównie poza edukacją formalną, może być przewidziana np. analiza dowodów i deklaracji (portfolio), ponieważ pozwala na wykorzystanie ich dotychczasowego dorobku. Kandydaci mniej doświadczeni mogą być skierowani np. na test teoretyczny bądź obserwację w warunkach symulowanych. Możliwe jest też dalsze różnicowanie metod w ramach konkretnej ścieżki walidacji.

Sposób uczenia się może też wpływać na konieczność uwzględnienia w walidacji etapów identyfikowania i dokumentowania efektów uczenia się. Jest to szczególnie istotne w wypadku osób, które znaczną część wiedzy, umiejętności i kompetencji społecznych uzyskały poprzez doświadczenie praktyczne. Może to wynikać z tego, że:

  1. w pracy często uczymy się nieintencjonalnie, skupiając się przede wszystkim na wykonaniu zadania;
  2. wiedza, umiejętności i kompetencje społeczne wykorzystywane w pracy lub na potrzeby hobby nie zawsze będą miały proste przełożenie na efekty uczenia się zawarte w kwalifikacjach, a jeśli mają, to nie zawsze jesteśmy tego świadomi lub uważamy to za istotne;
  3. czasem zakres czynności, które są wykonywane w pracy, nie ma odpowiednika w systemie szkolnym lub rzemieślniczym (np. wiąże się z wykorzystaniem najnowszych technologii); utrudnia to samodzielne powiązanie wiedzy, umiejętności i kompetencji społecznych wykorzystywanych w pracy z istniejącymi kwalifikacjami, a przez to – może wymagać pomocy doradcy walidacyjnego.

Należy też pamiętać, że wykorzystanie określonej metody na danym etapie walidacji może dać różne rezultaty w zależności od sposobu osiągnięcia efektów uczenia się przez kandydata.

Istnieje ryzyko, że u osób, które przez długi czas nabywały efekty uczenia się poza edukacją formalną, pisanie testu teoretycznego wywoła stres i opór. To może mieć wpływ na wynik weryfikacji. Strach przed niepowodzeniem i osądem może „zafałszować wyniki” lub nawet spowodować wycofanie się kandydata z procesu walidacji przed uzyskaniem kwalifikacji. W takiej sytuacji warto raczej zastosować obserwację w warunkach rzeczywistych (np. miejscu pracy), wywiad swobodny lub analizę dowodów i deklaracji.

Z kolei osoby, które stosunkowo niedawno ukończyły edukację formalną, nie muszą mieć takich trudności z pisaniem testu teoretycznego ze względu na efekt doświadczenia i wprawy. Natomiast z racji mniejszego doświadczenia zawodowego zastosowanie obserwacji czy analizy dowodów i deklaracji w ich wypadku mogłyby spowodować osiągnięcie słabszych wyników walidacji.

Cel przystąpienia do walidacji

W Zintegrowanym Systemie Kwalifikacji celem walidacji jest uzyskanie kwalifikacji. Jednak każdy etap tego procesu przynosi rezultaty, które mogą prowadzić do podjęcia kroków służących dodatkowym celom, takim jak np. dalsze uczenie się bądź przekwalifikowanie (por. schemat 2).

Schemat 2. Rezultaty kolejnych etapów walidacji i dalsze kroki

 

Oznacza to, że ktoś, kto chce określić swoje luki kompetencyjne (bądź oszacować swoje szanse na uzyskanie kwalifikacji) może podejść tylko do etapu identyfikowania efektów uczenia się i, być może, ich dokumentowania. Może to także pozwolić na określenie, jak wiele udało się komuś nauczyć (zobaczyć przyrost efektów uczenia się). W związku z tym metody stosowane na tych etapach powinny pozwolić na przekazanie kandydatowi wyczerpującej informacji zwrotnej na temat aktualnego stanu jego wiedzy, umiejętności i kompetencji społecznych. Warto też pamiętać, że instytucja certyfikująca może wykorzystać te metody także w procesie doradztwa.

Możliwa jest także sytuacja odwrotna – kandydat zechce przystąpić tylko do weryfikacji, pomijając etapy identyfikowania i dokumentowania efektów uczenia się (jeśli są one przewidziane). Projektując zarówno opis kwalifikacji, jak i scenariusz walidacji, warto na etapie weryfikacji uwzględnić takie metody, które nie są zależne od innych, stosowanych na wcześniejszych etapach (np. poprzez przygotowanie kilku ścieżek walidacji, z których jedna uwzględnia rezultaty rozpoznania efektów uczenia się kandydata).


Czynniki ograniczające dobór metod walidacji

Po określeniu dopuszczalnych metod należy rozpatrzeć istotne elementy, które mogą część z nich wykluczyć z danego etapu walidacji.

W trakcie przygotowywania opisu kwalifikacji

Poniżej przedstawiono czynniki, które powinny być wzięte pod uwagę już w momencie określania wymagań dotyczących walidacji w opisie kwalifikacji. Ponieważ jednak są one ramowe, w momencie tworzenia scenariusza walidacji należałoby je rozpatrzeć ponownie, tym razem biorąc pod uwagę warunki panujące w danej instytucji certyfikującej.

Czynniki te obejmują:

  1. zasoby kadrowe, jakimi powinna dysponować instytucja certyfikująca, w tym wymagania kompetencyjne stawiane praktykom walidacyjnym;
  2. konieczne zasoby organizacyjne i materialne;
  3. nakłady, które trzeba ponieść na walidację - ten czynnik można szczegółowo określić dopiero na poziomie przygotowywania scenariusza walidacji w konkretnej instytucji. Jednak już tworząc opis kwalifikacji, w celu wstępnego oszacowania można skorzystać z informacji dotyczących koniecznych zasobów kadrowych i organizacyjno-materialnych w opisach poszczególnych metod walidacji.
W trakcie przygotowywania scenariusza walidacji

Wszystkie instytucje certyfikujące muszą spełniać wymagania kadrowe, organizacyjne i materialne zawarte w opisie kwalifikacji. Jednak przy opracowywaniu scenariusza walidacji należy uwzględnić ich odpowiednie rozlokowanie w czasie. Pozwala to na właściwe rozplanowanie procesu i zwiększenie jego efektywności. Dzięki temu można uniknąć długiego czasu oczekiwania na walidację albo jej nadmiernego rozciągnięcia w czasie (co może się zdarzyć np. wtedy, gdy do stosowania danej metody oddelegowany jest zaledwie jeden pracownik/zespół).

Nakłady, które trzeba ponieść na walidację obejmują m.in. koszty zastosowania konkretnej metody w danym środowisku. Chodzi nie tylko o orientacyjny koszt uzyskania certyfikatu przez kandydata, ale także koszt przygotowania i stosowania narzędzi do konkretnych metod. Niektóre metody (np. obserwacja w warunkach symulowanych) mogą być bardzo kosztowne w użyciu, podczas gdy inne (np. wywiad swobodny) mogą być relatywnie tanie.

Pod uwagę należy wziąć również koszt przygotowania i ciągłego doskonalenia narzędzi – np. opracowanie odpowiednio wystandaryzowanego testu teoretycznego z rozległą bazą pytań jest pracochłonne i kosztowne. Z drugiej strony, jeśli jest prawdopodobne, że walidacja będzie się cieszyć dużym zainteresowaniem (np. w wypadku kwalifikacji nadawanych w sektorach przemysłowych), można wybrać takie metody, które pozwolą na sprawdzanie większej liczby kandydatów jednocześnie. W takiej sytuacji konieczne jest wyważenie kosztów i korzyści stosowania różnych metod.

Ponadto, warto uwzględnić następujące czynniki:

  1. spodziewana liczba kandydatów, którzy w danym okresie mogą przystąpić do walidacji – jest to powiązane z odpowiednim rozlokowaniem zasobów kadrowych i organizacyjno-materialnych w czasie;
  2. wymagania związane z zapewnieniem szczególnych środków bezpieczeństwa osób uczestniczących w walidacji;

    O ile zasad BHP należy przestrzegać w każdej sytuacji, to nie zawsze mają one wpływ na dobór metod. Jednak w środowisku niebezpiecznym bądź w sytuacjach związanych z ochroną zdrowia i życia, weryfikacja efektów uczenia się powinna być tak przeprowadzona, aby minimalizować ryzyko wypadku. Zaleca się wówczas zamiast obserwacji w warunkach rzeczywistych zastosowanie np. obserwacja w warunkach symulowanych (symulacji).

  3. miejsce przeprowadzenia walidacji;

    Na przykład obserwacja w warunkach rzeczywistych wymaga poczynienia ustaleń z pracodawcą i nie zawsze będzie możliwa (np. ze względu na niebezpieczne środowisko pracy bądź konieczność zachowania tajemnicy służbowej). Z kolei obserwacja w warunkach symulowanych (symulacja) może wymagać użycia konkretnego, specjalistycznego sprzętu. Jeśli takie zasoby ma zaledwie jedna placówka instytucji certyfikującej, ograniczy to znacznie możliwości zastosowania tej metody. Należy też pamiętać, że instytucja certyfikująca może zlecić prowadzenie walidacji innemu podmiotowi, co może warunkować dobór metod, jeśli wymagania dotyczące walidacji w opisie kwalifikacji dopuszczają różnorodność w tym względzie.

Czynniki ograniczające stosowanie metod będą wpływać na decyzje osób tworzących scenariusz walidacji. Jednak ich uwzględnienie nie będzie uniwersalne dla wszystkich kwalifikacji. Ponadto w niektórych przypadkach o zastosowaniu danej metody mogą zadecydować dodatkowe względy, takie jak chęć wyróżnienia się na tle konkurencji, pozyskanie specyficznych grup odbiorców czy realizacja misji społecznej danej instytucji certyfikującej.


Proces doboru metod walidacji

Dobór metod stosowanych w walidacji może nastąpić w czasie:

  1. przygotowania opisu kwalifikacji – w momencie określania wymogów dotyczących walidacji,
  2. opracowywania scenariusza walidacji w konkretnej instytucji certyfikującej na podstawie wymagań określonych w opisie danej kwalifikacji.

Poniżej przedstawiono sekwencję działań, które należy podjąć podczas dobierania metod walidacji.

Dobór metod w trakcie przygotowania opisu kwalifikacji

Przygotowując opis kwalifikacji, należy się zastanowić nad jej celem (zapotrzebowanie, grupy docelowe), zawartością (efekty uczenia się i kryteria weryfikacji) oraz sposobem nadawania (wymagania dotyczące walidacji). Więcej na ten temat można znaleźć w materiale Opisywanie kwalifikacji nadawanych poza systemami oświaty i szkolnictwa wyższego. Poradnik.

Podmioty opisujące kwalifikacje powinny poświęcić szczególną uwagę walidacji, ponieważ określając sposób uzyskania kwalifikacji, wyznaczają standardy obowiązujące wszystkie instytucje certyfikujące.

Wymagania dotyczące walidacji w opisie kwalifikacji powinny uwzględniać tylko elementy niezbędne do tego, by wynik walidacji był wiarygodny. W związku z tym czasami celowe może być uogólnienie opisu poprzez:

  1. określenie jedynie ogólnych wskazań w zakresie walidacji, zamiast konkretnych metod;
  2. wskazanie metod zalecanych zamiast wymaganych.

Wymagania dotyczące metod (a także technik i narzędzi) bezpośrednio przekładają się na wymogi organizacyjno-materialne i kadrowe.

Poniżej przedstawiono propozycję sekwencji działań, które należałoby podjąć podczas dobierania metod w czasie przygotowywania opisu kwalifikacji. Opiera się ona na założeniu, że w opisie kwalifikacji mają się znaleźć wymagania dotyczące konkretnych metod (wskazanych bądź zalecanych).

Schemat 3. Działania mające na celu dobranie odpowiednich metod walidacji, które należy podjąć w trakcie przygotowywania opisu kwalifikacji

1

2

3

4

5

Krok 1 – zapoznanie się z efektami uczenia się

Zastanawiając się nad doborem metod, na każdym etapie walidacji należy wziąć pod uwagę efekty uczenia się i określone dla nich kryteria weryfikacji.

Pomocne może być też przeanalizowanie zastosowanych czasowników operacyjnych. Nazywają one czynności, które powinien wykonać kandydat, aby zademonstrować, że ma wymagane umiejętności, wiedzę i kompetencje społeczne.

Rozpatrując efekty uczenia się w kontekście metod, jakie można zastosować, warto odpowiedzieć sobie na następujące pytania:

  1. Jakiego rodzaju metody umożliwiają stwierdzenie, że osoba ubiegająca się o kwalifikację ma efekty uczenia się [wymagane dla kwalifikacji]?
  2. Jakiego rodzaju metody nie dają możliwości stwierdzenia, czy osoba ubiegająca się o kwalifikację ma efekty uczenia się [wymagane dla kwalifikacji]?
  3. Które metody umożliwiają kandydatowi wykonanie czynności wskazywanych przez czasowniki operacyjne zawarte w opisie kwalifikacji?

Wróć do schematu

Krok 2 – decyzja o uwzględnieniu etapów w walidacji

Następnie warto się zastanowić, czy w opisie kwalifikacji należy sformułować wymagania dla etapów identyfikowania i dokumentowania efektów uczenia się, czy tylko dla weryfikacji.

Etap identyfikowania pozwala na:

W rezultacie kandydat – i potencjalnie instytucja certyfikująca – są lepiej poinformowani o szansach danej osoby na potwierdzenie efektów uczenia się w określonej procedurze walidacji. W wypadku stwierdzenia luk kompetencyjnych można opracować plan dalszego uczenia się, co z kolei może być jednym z czynników zachęcających potencjalnych kandydatów do skorzystania z walidacji w danej instytucji certyfikującej.

Etap dokumentowania pozwala na zgromadzenie i opracowanie dowodów potwierdzających osiągnięcie przez kandydata wymaganych efektów uczenia się w sposób, który umożliwia przedstawienie ich osobie trzeciej, np. do oceny. Jest to szczególnie przydatne, jeśli weryfikacja przebiega na podstawie analizy dowodów i deklaracji.

Opisując kwalifikację można:

W podjęciu decyzji może pomóc odpowiedź na następujące pytania:

  1. Czy ze względu na grupę docelową bądź charakter kwalifikacji konieczne jest zaproponowanie konkretnych metod, za pomocą których należy identyfikować lub dokumentować efekty uczenia się kandydata?
  2. Czy ze względu na grupę docelową bądź charakter kwalifikacji nie powinno się stosować konkretnych metod do identyfikowania lub dokumentowania efektów uczenia się kandydata?

Wróć do schematu

Krok 3 – określenie wymagań dotyczących metod dla etapu weryfikacji

Wpływ na dobór metod stosowanych na etapie weryfikacji mają przede wszystkim efekty uczenia się i określone dla nich kryteria weryfikacji (patrz krok 2).

Ramka 2. Elementy pomocne w określeniu metod weryfikacji

W dobraniu metod weryfikacji może pomóc zastanowienie się nad tym, czy do oceny efektów uczenia się potrzebna jest głównie:

  • analiza działania kandydata (obserwacja procesu i zachowania) - w tym wypadku przydatne będą obserwacja w warunkach rzeczywistych i w warunkach symulowanych,
  • analiza wyników tego działania - przydatny może być np. test teoretyczny,
  • analiza wypowiedzi kandydata - przydatne mogą być debaty (swobodna i ustrukturyzowana), wywiady (swobodny i ustrukturyzowany) i prezentacja,
  • ocena dostarczonych przez kandydata dowodów i deklaracji na osiągnięcie wymaganych efektów uczenia się - przydatna będzie wtedy analiza dowodów i deklaracji,
  • połączenie powyższych.

Warto pamiętać, że na etapie weryfikacji można zastosować kilka metod jednocześnie. Jest to szczególnie wskazane, gdy efekty uczenia się w kwalifikacji są pogrupowane w różniące się od siebie zestawy (np. związany z planowaniem działań, związany z ich wykonaniem oraz związany z ewaluacją wyników). Ponadto wiele metod może być stosowanych łącznie w celu wzajemnego uzupełnienia się, np. analiza dowodów i deklaracji wraz z wywiadem swobodnym.

Formułując wymagania dotyczące walidacji, opisujący kwalifikację starają się czasem ograniczyć do jednej, podstawowej metody, nawet jeśli z analizy opisu wynika, że chodzi o kilka metod. Przykładem takiego działania może być zapis: „weryfikacji dokonuje się za pomocą rozmowy z elementami prezentacji, prowadzonej na podstawie obserwacji lub samodzielnie wykonanego dzieła”.

Zaletą takiego sformułowania jest jego zwięzłość. Jednak istnieje ryzyko, że w momencie tworzenia scenariusza walidacji zostanie on odmiennie zinterpretowany przez różne instytucje certyfikujące. Mimo że opis sugeruje użycie jednej metody – wywiadu swobodnego (rozmowa), wyszczególniono w nim trzy dodatkowe: prezentację, obserwację w warunkach rzeczywistych oraz analizę dowodów i deklaracji (technika – ocena dzieła). Ponadto zapoznając się z tym opisem, kandydat może mieć trudność z określeniem, jakie wymagania musi spełnić przed etapem weryfikacji (przygotowanie dzieła, na postawie którego prowadzony jest wywiad), a jakie – w trakcie.

W procesie doboru metod istotną rolę może odegrać także specyfika grup docelowych danej kwalifikacji. Na przykład wiedzę i umiejętności osób z wieloletnim doświadczeniem zawodowym czasem można efektywniej sprawdzić za pomocą analizy dowodów i deklaracji (np. portfolio) niż testów . Natomiast w wypadku osób, które niedawno skończyły edukację obowiązkową, może być odwrotnie.

Zastanawiając się nad doborem metod na etapie weryfikacji, warto odpowiedzieć sobie na następujące pytania:

  1. Jakiego rodzaju metody umożliwiają sprawdzenie, czy osoba ubiegająca się o kwalifikację osiągnęła efekty uczenia się wymagane dla kwalifikacji?
  2. Jakiego rodzaju metody nie dają możliwości sprawdzenia, czy osoba ubiegająca się o kwalifikację osiągnęła efekty uczenia się wymagane dla kwalifikacji?
  3. Które metody umożliwiają kandydatowi wykonanie czynności wskazywanych przez czasowniki operacyjne zawarte w opisie kwalifikacji?
  4. Czy metody wskazane dla etapu weryfikacji są zgodne z metodami wskazanymi dla etapów identyfikowania i dokumentowania efektów uczenia się (jeśli w opisie są ujęte wymagania dla tych etapów)?
  5. Czy wybrana metoda(y) pozwala na sprawdzenie efektów uczenia się niezależnie od sposobu ich uzyskania?
  6. Czy ze względu na specyfikę grup docelowych danej kwalifikacji wskazane jest zastosowanie określonej metody (bardziej niż innych metod)?
  7. Czy w odniesieniu do konkretnej kwalifikacji wskazane jest określenie metod weryfikacji dla poszczególnych zestawów efektów uczenia się (np. zestawy w kwalifikacji mają odmienny charakter, część dotyczy teorii a część praktyki)?
  8. Czy wskazane jest, aby zastosować do weryfikacji jedną metodę, czy bardziej efektywne będzie zastosowanie kilku metod łącznie?

Wróć do schematu

Krok 4 – określenie wymagań dotyczących metod dla etapów identyfikowania i dokumentowania efektów uczenia się

Na etapach identyfikowania i dokumentowania efektów uczenia się można zastosować różne metody. Warto o tym pamiętać zwłaszcza w sytuacji, w której między etapami przewidziana jest przerwa lub następują w odmiennych warunkach (np. są prowadzone w różnych miejscach lub przez różne osoby). Jednocześnie istnieją także metody odpowiednie do zastosowania na obydwu etapach, np. bilans kompetencji.

Ponadto podmioty opisujące powinny zadbać o to, by metody zastosowane na poszczególnych etapach walidacji były ze sobą zgodne. Na przykład portfolio pozwala gromadzić dowody na osiągnięcie efektów uczenia się, które zostały zidentyfikowane u kandydata. Jeśli ta metoda pojawia się na etapie dokumentowania, to na etapie weryfikacji powinna być przewidziana analiza dowodów i deklaracji, w ramach której zawartość portfolio jest oceniana.

Indywidualne potrzeby kandydata powinny także mieć wpływ na dobór metod na etapach identyfikowania i dokumentowania. Część potrzeb można przewidzieć już w momencie opisywania kwalifikacji, o ile weźmie się pod uwagę specyfikę grup docelowych, do których skierowana jest dana kwalifikacja.

Zastanawiając się nad doborem metod na etapach identyfikowania i dokumentowania, warto odpowiedzieć sobie na następujące pytania:

  1. Jakiego rodzaju metody umożliwiają zidentyfikowanie efektów osiągniętych przez daną osobę w toku uczenia się w różny sposób?
  2. Jakiego rodzaju metody umożliwiają udokumentowanie osiągnięcia efektów uczenia się?
  3. Czy metody wskazane dla etapu identyfikowania i dla etapu dokumentowania pozwalają na wygenerowanie dowodów na osiągnięcie efektów uczenia się, które można następnie poddać ocenie?
  4. Czy ze względu na specyfikę grup docelowych danej kwalifikacji wskazane jest zastosowanie określonej metody na etapie identyfikowania lub dokumentowania efektów uczenia się (bardziej niż innych metod)?
  5. Czy ze względu na charakter efektów uczenia się wskazane jest zastosowanie różnych metod na etapach identyfikowania i dokumentowania, czy jedna i ta sama metoda pozwoli na diagnozę wiedzy, umiejętności i kompetencji społecznych oraz zebranie dowodów na ich osiągnięcie?
  6. Czy metoda(y) zastosowana na etapach identyfikowania i dokumentowania efektów uczenia się jest zgodna z metodami wskazanymi dla etapu weryfikacji?

Wróć do schematu

Krok 5 – sprawdzenie poprawności doboru metod do poszczególnych etapów walidacji

Ostatnim krokiem w procesie doboru metod przy formułowaniu wymagań dotyczących walidacji w opisie kwalifikacji jest upewnienie się, że proces ten przebiegł poprawnie.
Metody zastosowane na poszczególnych etapach powinny przyczyniać się do tego, że walidacja jest:

Pomocne może być w tym momencie ponowne odpowiedzenie na pytania zaproponowane w krokach 3 i 4.

Na końcu należy sprawdzić, czy wymagania dotyczące metod są spójne z wymaganiami dotyczącymi zasobów organizacyjno-materialnych i kadrowych (np. czy z opisu metody nie wynika konieczność zaangażowania osoby o określonych kompetencjach, która nie została uwzględniona w scenariuszu walidacji). Opis każdej metody zawiera informacje na ten temat.

Wróć do schematu

 

Dobór metod w trakcie tworzenia scenariusza walidacji

Scenariusz walidacji powinien wskazywać jej kierunek i ułatwiać poruszanie się podczas tego procesu wszystkim zaangażowanym stronom: osobom przeprowadzającym walidację, kandydatom i instytucjom.

Podstawowym źródłem wiedzy na temat wymagań dotyczących metod walidacji jest opis danej kwalifikacji (por. materiał Opisywanie kwalifikacji nadawanych poza systemami oświaty i szkolnictwa wyższego. Poradnik). Ponadto:

 Uwzględnienie potrzeb kandydata w procesie doboru metod

W scenariuszu walidacji, w przeciwieństwie do opisu kwalifikacji, należy dobrać i opisać konkretne metody, techniki i narzędzia stosowane w procesie walidacji. W związku z tym konieczne jest doprecyzowanie wymagań dotyczących walidacji zawartych w opisie kwalifikacji.

Oznacza to także, że w momencie tworzenia scenariusza powinno się wziąć pod uwagę potrzeby osoby uczącej się, w tym:

  1. sposób uczenia się,
  2. cel przystąpienia do walidacji (por. zakładkę czynniki warunkujące dobór metod walidacji).

Informacje na ten temat można uzyskać np. poprzez rozmowę z kandydatem lub szczegółowy kwestionariusz na stronie internetowej. Rozmowa może zostać przeprowadzona w ramach obsługi kandydatów

Ramka 3. Obsługa kandydatów

Obsługa kandydatów zaczyna się w chwili zgłoszenia kandydata do instytucji certyfikującej i trwa przez cały proces walidacji, aż do jego zakończenia.

Obejmuje m.in. poinformowanie kandydata o całym procesie (od strony merytorycznej i organizacyjnej), zapewnienie dostępu do niezbędnych materiałów (np. przewodników) i umożliwienie stałego kontaktowania się z kompetentnym przedstawicielem instytucji.

Odpowiednia obsługa osób przystępujących do walidacji przez instytucje certyfikujące ma duże znaczenie dla zapewniania jakości tego procesu.

Proponowana sekwencja działań

Proponowana sekwencja działań, które należy podjąć w ramach dobierania metod, została przedstawiona na poniższym schemacie.

Schemat 4. Działania mające na celu dobranie odpowiednich metod walidacji, które należy podjąć w trakcie przygotowywania scenariusza walidacji

1

2

3

4

Krok 1 – zapoznanie się z opisem kwalifikacji

Określając metody, które powinny zostać zastosowane w procesie walidacji, należy zapoznać się z opisem kwalifikacji zawierającym efekty uczenia się, kryteria weryfikacji oraz wymagania dotyczące walidacji.

Pomocne może być przeanalizowanie zastosowanych w opisie (głównie w kryteriach weryfikacji) czasowników operacyjnych. Nazywają one czynności, które powinien wykonać kandydat, aby zademonstrować osiągnięcie wymaganych umiejętności, wiedzy i kompetencji społecznych.

Warto także określić potrzeby kandydata.

Zapoznając się z efektami uczenia się w kontekście metod, jakie można zastosować, warto odpowiedzieć sobie na następujące pytania:

  1. Jakie są potrzeby kandydata w odniesieniu do walidacji? Czy potrzeby i możliwości kandydata mają wpływ na dobór metod (np. cel przystąpienia do walidacji, sposób uzyskania efektów uczenia się, doświadczenie zawodowe, osiągnięcia)?
  2. Które efekty uczenia się należy poddać walidacji w tym konkretnym postępowaniu – wszystkie czy tylko część?
  3. Czy w opisie danej kwalifikacji określono wymagania dotyczące etapów identyfikowania i dokumentowania efektów uczenia się? Jeśli nie, to czy instytucja certyfikująca zamierza je przeprowadzać?
  4. Jakie jest przewidywane zainteresowanie walidacją w danej instytucji w określonym przedziale czasu (np. w skali miesiąca/kwartału/roku)? Czy można przewidzieć, ile osób będzie zainteresowanych tylko weryfikacją, a ile identyfikowaniem i dokumentowaniem efektów uczenia się w tym okresie? Odpowiedzi na te pytania wpływają na kolejne:
    1. Czy biorąc pod uwagę przewidywane zainteresowanie walidacją w danym czasie, instytucja dysponuje wystarczającą liczbą osób mających kompetencje niezbędne do zastosowania wybranych metod, czy też konieczne jest podjęcie dodatkowych działań (np. zwiększenie zatrudnienia, zmiana metody na inną)?
    2. Czy biorąc pod uwagę przewidywane zainteresowanie walidacją w danym czasie, instytucja ma wystarczające zasoby organizacyjne i materialne, potrzebne do stosowania wybranych metod, czy też konieczne jest podjęcie dodatkowych działań?

Wróć do schematu

Krok 2 – wybranie metod właściwych dla etapów identyfikowania i dokumentowania efektów uczenia się

Jeśli w ramach walidacji efektów uczenia się danej kwalifikacji przewidziano etapy identyfikowania i dokumentowania, należy to uwzględnić przy dobieraniu metod. Kluczowe jest przy tym zachowanie spójności metod na etapach identyfikowania, dokumentowania i weryfikacji, jeśli w całym procesie ma być zastosowana więcej niż jedna metoda.

Ponadto tworząc scenariusz walidacji, warto zastanowić się nad tym, czy:

Należy też określić, czy etapy te z założenia mogą przebiegać w różnym czasie i odmiennych warunkach (np. kandydat samodzielnie identyfikuje swoje efekty uczenia się, korzystając z dedykowanego narzędzia internetowego, a doradca walidacyjny wspiera go w zgromadzeniu właściwych dowodów). W takiej sytuacji może się okazać, że metody stosowane do identyfikowania będą inne niż te stosowane do dokumentowania.

Zastanawiając się nad doborem metod na etapach identyfikowania i dokumentowania, warto odpowiedzieć sobie na następujące pytania:

  1. Czy metody zastosowane na etapach identyfikowania i dokumentowania są inne niż metody zastosowane na etapie weryfikacji?
  2. Które metody najlepiej umożliwią rozpoznanie efektów osiągniętych przez daną osobę w toku uczenia się w różny sposób?
  3. Które metody umożliwią najlepsze udokumentowanie osiągnięcia efektów uczenia się?
  4. Czy dla zapewnienia trafności, rzetelności i adekwatności walidacji należy zastosować na każdym z tych etapów więcej niż jedną metodę?
  5. Czy metody są ze sobą spójne? Jeśli na różnych etapach walidacji zaplanuje się wykorzystanie kilku metod, to czy użycie którejś z nich na jednym etapie nie wyklucza zastosowania innej na kolejnych etapach? Czy dla zastosowania konkretnej metody nie jest konieczne wykorzystanie innej metody na etapie wcześniejszym? Czy istnieją metody, których użycie możliwe jest jedynie po zastosowaniu innej metody/innych metod na wcześniejszym etapie?

Wróć do schematu

 Krok 3 – wybranie metod właściwych do weryfikacji efektów uczenia się

Krok 3 dotyczy weryfikacji efektów uczenia się. Na tym etapie walidacji dobór metod powinien być podyktowany przede wszystkim charakterem efektów uczenia się (i kryteriów weryfikacji) oraz metodami rekomendowanymi albo wyznaczonymi w opisie kwalifikacji.

Zastanawiając się nad doborem metod na etapie weryfikacji warto odpowiedzieć sobie na następujące pytania (są zasadne wtedy, gdy opis kwalifikacji pozostawia instytucjom certyfikującym swobodę w doborze metod weryfikacji):

  1. Czy wybrana metoda(y) odpowiada charakterowi efektów uczenia się i pozwala na sprawdzenie kryteriów weryfikacji określonych dla danej kwalifikacji?
  2. Czy wybrana metoda(y) jest optymalna pod względem zakresu sprawdzanych efektów uczenia się i ich poziomu Polskiej Ramy Kwalifikacji?
  3. Czy dla zachowania trafności, rzetelności i adekwatności wykorzystywanych metod należy zastosować na tym etapie więcej niż jedną metodę?
  4. Czy wybrana metoda(y) uwzględnia potrzeby kandydata?
  5. Czy metody, w tym także te zastosowane na różnych etapach, są ze sobą spójne? Jeśli dana procedura walidacji obejmuje także etapy identyfikowania i dokumentowania, to czy metoda(y) wybrana na etapie weryfikacji pozwala na uwzględnienie wyników poprzednich etapów?
  6. Czy zastosowanie danej metody pozwala na zachowanie szczególnych środków bezpieczeństwa kandydatów i asesorów (jeśli wymaga tego konkretna kwalifikacja)?

Wróć do schematu

Krok 4 – sprawdzenie poprawności doboru metod do poszczególnych etapów walidacji

Ostatnim krokiem w procesie doboru metod przy tworzeniu scenariusza walidacji jest upewnienie się, że proces ten przebiegł poprawnie.
Metody zastosowane na poszczególnych etapach powinny przyczyniać się do tego, że walidacja jest:

Pomocne może być w tym momencie ponowne odpowiedzenie na pytania ukierunkowujące zaproponowane w kroku 2 i 3.

Należy także upewnić się, że:

W określeniu tego pomocny będzie opis każdej metody.

Wróć do schematu


Bibliografia

Dybaś, M. (red.). (2015). Zapewnianie jakości procesu nadawania kwalifikacji spoza systemów oświaty i szkolnictwa wyższego. Warszawa: Instytut Badań Edukacyjnych.

European Commission; Cedefop; ICF International (2014). European inventory on validation of non-formal and informal learning 2014. Thematic report: validation methods. Luxembourg: Publications Office. Pobrane z: https://cumulus.cedefop.europa.eu/files/vetelib/2014/87240.pdf

Gmaj, I., Grzeszczak, J., Leyk, A. Pierwieniecka, R., Sławiński, S., Tauber, M. i Walicka, S. (2016). Walidacja – nowe możliwości zdobywania kwalifikacji. Warszawa: Instytut Badań Edukacyjnych.

Sławiński, S. (2017). Słownik Zintegrowanego Systemu Kwalifikacji. Warszawa: Instytut Badań Edukacyjnych.

Ziewiec-Skokowska, G., Danowska-Florczyk, E., Stęchły, W. (red.). (2016). Opisywanie kwalifikacji nadawanych poza systemami oświaty i szkolnictwa wyższego. Poradnik. Warszawa: Instytut Badań Edukacyjnych.

Strony internetowe:

Cedefop (2016). European inventory on validation of non-formal and informal learning. Pobrane z: http://www.cedefop.europa.eu/en/publications-and-resources/country-reports/european-inventory-on-validation