Studia wyższe

• Nowa Zelandia
• Nowozelandzki Urząd Kwalifikacji – New Zealand Qualification Authority (NZQA)

Dyplom ukończenia pozauniwersyteckiej instytucji szkolnictwa wyższego

4.1. Wprowadzenie

Dobra praktyka dotyczy zapewniania jakości w pozauniwersyteckich instytucjach szkolnictwa wyższego w Nowej Zelandii. Obejmuje wszystkie instytucje edukacyjne działające w tej dziedzinie (wyższe szkoły zawodowe, prywatne instytucje treningowe i szkoleniowe, politechniki, instytuty techniczne).

Ten system w obecnym kształcie funkcjonuje od 2009 r. Odpowiada za niego rządowa agencja – Nowozelandzki Urząd Kwalifikacji (New Zealand Qualifications Authority – NZQA). Obecność wspomnianych instytucji edukacyjnych w tym systemie, a także stosowanie procedur autoewaluacji i poddawanie się cyklicznej ewaluacji zewnętrznej jest ich prawnym obowiązkiem wynikającym z ustawy edukacyjnej z 29 września 1989 r.[1] Każda taka placówka i realizowane przez nią programy kształcenia muszą być zarejestrowane i zaakceptowane przez NZQA.

W kontekście poszukiwania dobrych praktyk kluczowym aspektem tego systemu jest nastawienie na współpracę instytucji z NZQA, a także zaangażowanie ich w proces ewaluacji oraz wypracowywanie zestandaryzowanych wytycznych.

4.2. Nowozelandzki Urząd Kwalifikacji (NZQA)

NZQA jest agencją, która pełni kluczową rolę w całym systemie. Głównym celem jej działania jest wsparcie osób uczących się i rozwój społeczny Nowej Zelandii poprzez zapewnianie wiarygodności i podnoszenie zdobywanych kwalifikacji oraz zwiększanie ich rozpoznawalności na arenie krajowej i międzynarodowej.

Agencja NZQA:

• zajmuje się zapewnianiem jakości w sektorze pozauniwersyteckiego szkolnictwa wyższego;
• monitoruje system ewaluacji wewnętrznej w szkolnictwie średnim;
• zarządza systemem certyfikatów określających kompetencje i kwalifikacje uczniów państwowego szkolnictwa średniego;
• określa standardy edukacyjne we wszystkich obszarach, do których nie są przypisane inne instytucje rządowe;
• występuje jako ciało eksperckie odpowiedzialne za definiowanie i opisywanie kwalifikacji.

Za działania agencji NZQA odpowiada Dział Zapewniania Jakości. W jego skład wchodzi 6 zespołów, którym przydzielono następujące obszary:

• strategia zapewniania jakości,
• ewaluacja,
• zarządzanie ryzykiem,
• akredytacja instytucji,
• Nowozelandzka Rama Kwalifikacji (która zarazem pełni funkcję rejestru kwalifikacji),
• programy edukacyjne dla ludności maoryskiej.

4.3. Założenia systemu

System zapewniania jakości kształcenia i ewaluacji zewnętrznej w pozauniwersyteckich instytucjach edukacyjnych w Nowej Zelandii opiera się na 4 założeniach, wyznaczających ramy podejmowanych przez NZQA działań:

• Wysoki poziom zaufania – duża odpowiedzialność. Fundamentem funkcjonowania systemu jest współpraca i komunikacja oraz budowanie atmosfery zaufania i współodpowiedzialności za efekty kształcenia w całym sektorze szkolnictwa wyższego. Oznacza to, że NZQA szanuje autonomię ocenianych instytucji, respektuje ich kontrolę nad wewnętrznymi procesami, a tym samym ogranicza swoje interwencje do niezbędnego minimum. Jednocześnie agencja uznaje, że każda instytucja jest odpowiedzialna za zapewnianie wysokiej jakości kształcenia, wyniki osiągane przez studentów i kursantów oraz ciągłe doskonalenie usług. Warunkiem przyznania szerokiej autonomii jest pewność co do wysokiego poziomu kompetencji poszczególnych instytucji, sprawdzana w ewaluacji zewnętrznej.
• Dynamiczne rozumienie jakości. Definiowanie jakości zależy od konkretnych sytuacji i kontekstów, a w kształceniu wyższym kluczowym elementem jest wiedza zdobywana przez osoby uczące się, użyteczność uzyskiwanych kwalifikacji oraz stopień, w jakim kształcenie przekłada się na długofalowe pozytywne rezultaty (dla osób uczących się i całego społeczeństwa). Dynamiczne ujęcie jakości jest zgodne z międzynarodowymi tendencjami, w których widoczne jest odejście od kontroli jakości (zgodności działań edukacyjnych z wyznaczonymi standardami) na rzecz ciągłego rozwoju i dążenia do doskonałości.
• Skupienie się na rezultatach. Klasyczne podejście do zapewniania jakości koncentruje się na potencjale instytucjonalnym, podejmowanych przez instytucje działaniach oraz kwestiach o charakterze systemowym, przy założeniu, że spełnianie wyznaczonych standardów jest równoznaczne z wysoką jakością kształcenia. Ewaluacyjne podejście do zapewniania jakości kładzie nacisk na rezultaty kształcenia i kluczowe procesy przyczyniające się do ich osiągnięcia. Badaniu podlega proces nauczania i działania realizowane przez instytucję, jednak punktem odniesienia są zawsze końcowe rezultaty. Głównymi kryteriami oceny funkcjonowania instytucji nadal są efektywność i użyteczność wewnętrznego systemu w osiąganiu zakładanych wyników edukacyjnych. Na efekty kształcenia wpływają m.in. kompetencje studentów i kursantów, kwalifikacje kadry czy budżet instytucji.
• Elastyczność ewaluacji. Ewaluacja ma być elastyczna i adaptowalna do różnych warunków. Dzięki temu możliwe jest uchwycenie szerokiego spektrum placówek edukacyjnych i ocena ich działań. Proces ewaluacji jest dostosowany do specyfiki poszczególnych instytucji, stawianych przed nimi celów, przy równoczesnym zachowaniu poprawności metodologicznej badań i porównywalności wyników. Jest to szczególnie istotne w kontekście instytucji wspierających społeczność maoryską, która kieruje się odmiennymi kryteriami sukcesu i wartościami. NZQA wypracowało dla nich osobny system ewaluacji i monitoringu, co wskazuje na to, że system dopasowuje się do specyficznych potrzeb jednostek.

Jak widać, ewaluowane instytucje angażują się w proces oceny swojego funkcjonowania i akredytacji. Ich rola nie ogranicza się wyłącznie do przekazywania dokumentów i danych. Są zobligowane do systematycznej samooceny, której rezultaty – jeśli spełniają przyjęte kryteria i standardy – są uznawane przez NZQA. To, jak przeprowadzany jest proces ewaluacji wewnętrznej, ma odzwierciedlenie w ocenie rzetelności danej placówki – im kompetencje w wewnętrznym zapewnianiu jakości są wyższe, tym jej wyniki w większym zakresie będą uwzględnianie w ocenie jakości kształcenia danych instytucji. Jednocześnie sprzyja to budowaniu zaufania między nimi i NZQA. Efektywne i sprawdzone placówki są również zachęcane do dzielenia się wnioskami i wypracowanymi przez siebie rozwiązaniami, aby mogli z nich skorzystać również inni. NZQA skupia się wówczas na poprawie jakości kształcenia w instytucjach borykających się z problemami lub nowych w systemie.

Zewnętrzna ewaluacja instytucji jest prowadzona za pomocą zestandaryzowanych wskaźników jakości kształcenia i skali ocen, co umożliwia porównywanie jakości kształcenia w różnych placówkach i monitorowanie zachodzących zmian w dłuższej perspektywie czasu. Certyfikowane instytucje uczą się samooceny nakierowanej na ciągłe doskonalenie się. Co ważne, odbywa się to w atmosferze, w której znajdowanie i rozwiązywanie problemów nie podważa wiarygodności instytucji w oczach NZQA.

4.4. System ewaluacji w pozauniwersyteckich organizacjach szkolnictwa wyższego (OSW)

Każda instytucja podlega stałej, realizowanej w 4-letnich cyklach ewaluacji ze strony NZQA. Agencja tworzy i publikuje ogólnodostępny spis instytucji podlegających ocenie w danym roku. Ewaluacja może także zostać zainicjowana na prośbę samej organizacji szkolnictwa wyższego (np. w sytuacji zmiany kierownictwa) lub na życzenie innej agencji rządowej (np. wówczas gdy otrzyma skargi i zażalenia na funkcjonowanie danej instytucji).

Proces autoewaluacji jednostki edukacyjnej jest punktem wyjścia do ewaluacji zewnętrznej. Włączanie przedstawicieli ocenianych placówek edukacyjnych w proces ewaluacji i zapewniania jakości odbywa się na każdym etapie poprzez informowanie, konsultowanie i współpracę.

Funkcjonowanie nowozelandzkiego systemu zapewniania jakości kształcenia pozauniwersyteckiego szkolnictwa wyższego można podzielić na 4 główne etapy:

1. Etap wejścia– rozpoznanie i certyfikowanie pozauniwersyteckich instytucji szkolnictwa wyższego, opisanie i zidentyfikowanie nadawanych w danej instytucji kwalifikacji oraz zaakceptowanie przedstawionych programów edukacyjnych. Na tym etapie instytucja wyraża również zgodę na nadzór ze strony NZQA i uczestniczenie w procesie ewaluacji i oceny.
2. Etap zapewniania jakości– monitoring efektów kształcenia (bieżących wyników edukacyjnych, wewnętrznej spójności programów nauczania) na różnych poziomach zdefiniowanych w Nowozelandzkiej Ramie Kwalifikacji, prowadzony przez zewnętrznych ekspertów.
3. Etap ewaluacji zewnętrznej– badanie ewaluacyjne, którego celem jest ogólna ocena instytucji (wyników kształcenia, procesu edukacyjnego), ale także wyodrębnienie ewentualnych problemów i obszarów, w których możliwa jest poprawa. Na podstawie badania powstaje ogólnodostępny raport, a instytucja jest zaliczana do jednej z czterech kategorii „solidności” (na podstawie osiąganych wyników edukacyjnych i kompetencji w samoocenie).
4. Etap szacowania ryzyka i zarządzania nim– zebrane dane (pochodzące z ewaluacji zewnętrznej, wizytacji, dostarczanych dokumentów oraz ewentualnych skarg) są podstawą do określenia poziomu ryzyka związanego z możliwością nieutrzymania przez określoną instytucję standardów kształcenia, ochrony praw konsumenta i przestrzegania nowozelandzkiego prawodawstwa.

Założeniem ewaluacji zewnętrznej nie jest uzyskanie wyników w pełni reprezentatywnych i istotnych statystycznie. Byłoby to w zasadzie niemożliwe, bo badanie i stosowane w nim techniki mają charakter jakościowy. Dlatego też ostateczna ocena instytucji (aspekt kompetencji w samoocenie i uzyskiwane wyniki edukacyjne) formułowana jest jako stopień pewności (confidence level) zespołu badawczego co do spełniania przez instytucję określonych kryteriów. Zastosowanie jednolitych narzędzi ma zagwarantować możliwie największą wiarygodność ostatecznych wyników i zapobiec sytuacjom, w którym jeden aspekt funkcjonowania instytucji bądź opinia konkretnego ewaluatora prowadzi do zniekształcenia ogólnej oceny instytucji.

Proces jest kompromisem między elastycznością schematu badawczego i dostosowaniem go do specyfiki danej instytucji a standaryzacją wyników badania, umożliwiającą porównywanie poszczególnych instytucji. Finalnie zatem, szereg badań o charakterze jakościowym prowadzi do powstania obszernej bazy danych o charakterze ilościowym, zawierającej najważniejsze informacje o wszystkich pozauniwersyteckich instytucjach szkolnictwa wyższego w Nowej Zelandii.

4.5. Autoewaluacja

Instytucje edukacyjne mają obowiązek dokonywać samooceny skoncentrowanej na:       

• identyfikacji potrzeb uczniów, studentów, kursantów oraz interesariuszy,      
• ocenie procesów i praktyk organizacyjnych,        
• wykorzystaniu zdobytej wiedzy do rzeczywistych ulepszeń wyników i osiągnięć uczniów, studentów i kursantów.

Rozwiązania stosowane przez konkretne instytucje nie są regulowane, ale muszą spełniać ogólne założenia. Powinny być przejrzyste, rzetelne i spójne, a ich zakres winien dotyczyć diagnozowania potrzeb interesariuszy, oceny efektywności procesów w ramach instytucji (stosowanych praktyk, rozwiązań, regulaminów dotyczących nauczania i aspektów administracyjnych), a także osiąganych wyników edukacyjnych (zgodnych z założeniami programu nauczania) i ich wpływu na osoby uczące się (szanse na rynku pracy, użyteczność zdobytych kwalifikacji itp.). Uzyskane w toku samooceny dane służą zidentyfikowaniu obszarów, w których możliwe jest wprowadzenie ulepszeń oraz sformułowaniu precyzyjnych i wcielanych w życie rekomendacji. NZQA nie określa i nie zaleca konkretnych metod i schematów samooceny. Wymaga tylko udzielenia odpowiedzi na sześć poniższych głównych pytań badawczych, które dotyczą dwóch aspektów: osiąganych rezultatów i wspomagających je procesów.

Pytania odnoszące się do rezultatów kształcenia:

• Jak radzą sobie osoby uczące się? Pytanie dotyczy bezpośrednich efektów kształcenia (zdobycie nowych kwalifikacji, przyswojenie wiedzy i umiejętności) i ich długofalowego wpływu na osoby uczące się (zwiększenie konkurencyjności na rynku pracy, podjęcie dalszego kształcenia, zwiększenie statusu społecznego lub ekonomicznego itp.).
• Jaka jest wartość efektów kształcenia dla kluczowych interesariuszy? To pytanie odzwierciedla szersze spojrzenie na efekty kształcenia i włącza do procesu oceny potencjalnych pracodawców czy lokalną społeczność. W tym kontekście jest oceniana użyteczność „produktu edukacyjnego” oferowanego przez placówki edukacyjne interesariuszom oraz to, w jaki sposób zdobyte kwalifikacje wpływają na funkcjonowanie całej zbiorowości.

Pytania odnoszące się do procesu kształcenia:

• W jakim stopniu struktura i realizacja programu edukacyjnego (w tym nauczanie i procedury oceny) odpowiadają na potrzeby osób uczących się i innych interesariuszy? To pytanie ma umożliwić określenie, w jakim stopniu instytucje systematycznie diagnozują i analizują potrzeby interesariuszy oraz na ile jest to trafne i istotnie przekłada się na proces tworzenia i realizacji programów edukacyjnych.
• Jaką efektywność ma wsparcie dla osób uczących się i na ile są one angażowane w proces kształcenia? Pytanie to dotyczy metod stosowanych w ramach danego programu edukacyjnego (zastosowanie aktywnych metod, e-learningu, samodzielnych projektów powierzanych osobom uczącym się, dodatkowych aktywności oferowanych w kampusie itp.); bierze pod uwagę m.in. interaktywność zajęć, stosunek pracy na zajęciach do pracy samodzielnej, innowacyjność i kompleksowość stosowanych metod nauczania.
• Na ile sposób zarządzania instytucją wspiera osiąganie założonych wyników edukacyjnych? Pytanie to służy sprawdzeniu, w jakim stopniu świadczone przez instytucje wsparcie i komunikacja pozwalają na określenie i realizację potrzeb osób uczących się, a także utrzymywanie ich zaangażowania.
• Na ile precyzyjnie i skutecznie jest rozdzielony zakres odpowiedzialności w instytucji? To pytanie odnosi się do zgodności instytucji z wymogami prawnymi i proceduralnymi.

4.6. Ewaluacja zewnętrzna

Schemat badania realizowanego przez NZQA opiera się na pytaniach badawczych, wskaźnikach jakości kształcenia i skalach. Wszystkie badania ewaluacyjne prowadzone przez NZQA mają wspólną podstawę. Pytania badawcze (będące również ramę dla samooceny) stanowią jedynie ramy badawcze i są każdorazowo doprecyzowywane. Wskaźniki jakości kształcenia precyzyjniej określają zakres analizy, a zestandaryzowane skale pozwalają na określenie poziomu realizacji każdego wskaźnika.

Wskaźniki jakości kształcenia są oparte na stale aktualizowanych danych i doświadczeniach NZQA oraz innych, zagranicznych organizacji zapewniania jakości. Podobnie jak wymienione wcześniej pytania badawcze, podzielono je na dwie grupy:

• wskaźniki dotyczące procesu kształcenia,
• wskaźniki dotyczące efektów kształcenia.

W grupie wskaźników odnoszących się do procesu kształcenia wyróżniono:

• Wskaźniki efektywności zarządzania w danej instytucji, czyli regulaminy i procedury (zatrudniania pracowników, autoewaluacji, zachowywanie norm prawnych i etycznych), a także przejrzystość polityki instytucji w zakresie celów kształcenia i planowanego rozwoju.
• Wskaźniki adekwatności oferty edukacyjnej do sytuacji na rynku pracy i potrzeb potencjalnych studentów i kursantów oraz zaangażowanie na poziomie wspólnoty lokalnej (kryterium istotne w przypadku programów edukacyjnych skierowanych do ludności maoryskiej).
• Wskaźniki jakości i efektywności procesu nauczania, w tym otwartość i spójność oferty edukacyjnej, stwarzanie szans edukacyjnych dla studentów i kursantów (dostępność dodatkowych kursów), angażowanie uczestników i stwarzanie możliwości praktycznego zastosowania zdobytej wiedzy, a także system dostarczania informacji zwrotnej między studentami i kursantami a nauczycielami.

Wskaźniki opisujące efekty kształcenia są opisywane w trzech wymiarach:

• ekonomicznym (zatrudnienie, wzrost wynagrodzenia, awans zawodowy),
• społecznym (wyższa samoocena, nawiązywanie relacji, uczestnictwo w lokalnej wspólnocie)
• kulturowym (rozwój tożsamości i wzrost zaangażowania we wspólnotę lokalną, co jest szczególnie istotne w przypadku ludności maoryskiej).

Kompleksowy system zoperacjonalizowanych wskaźników pozwala na stworzenie pewnej wizji efektywnie działającego systemu edukacji i odnoszenie się do niego podczas analizowania wyników osiągniętych przez poszczególne instytucje.

Ewaluacja zewnętrzna dzieli się na cztery etapy:

• ustalenie zakresu i planu badania,
• realizacja badania,
• sformułowanie wniosków dotyczących wyników edukacyjnych i rzetelności samooceny,
• raport z ewaluacji zewnętrznej.

Etapy te szczegółowo omówiono poniżej.

4.6.1. Etap pierwszy – ustalenie zakresu i planu badania

Ewaluację zewnętrzną przeprowadza zespół badawczy, liczący minimum dwóch ewaluatorów z NZQA. Jeśli oceniana instytucja jest duża, deleguje się więcej badaczy (zdarzało się, że ewaluację prowadziło sześć osób). Za ustalenie dokładnego zakresu badania i efektywne zarządzanie zespołem oraz dostępnymi zasobami odpowiedzialny jest główny ewaluator – kierownik zespołu. Powinien on tak prowadzić proces, aby zagwarantować rzetelność i spójność realizowanego badania. Ustalanie planu badania składa się z kilku kroków.

Pierwszym krokiem jest zapoznanie się ze wszystkimi dostępnymi w NZQA dokumentami dotyczącymi danej instytucji oraz zrozumienie zasad i celów jej funkcjonowania. W ramach analizy desk research ewaluatorzy korzystają z:

• raportów samooceny dostarczonych przez instytucję,
• jej profilu dostępnego w archiwum NZQA,
• planów biznesowych instytucji,
• raportów rocznych oraz innych dokumentów sprawozdawczych.

Drugim krokiem jest wybranie liczby obszarów badawczych. Zależy to od:

• wielkości i stopnia złożoności instytucji,
• liczby realizowanych programów edukacyjnych,
• zasobów, którymi dysponują ewaluatorzy.

Obszarem badawczym może być m.in. wybrany program edukacyjny, obowiązujące procedury czy system samooceny. Wybór obszarów badawczych zależy od ich wewnętrznego skomplikowania i możliwości sprawdzenia. Wedle zaleceń NZQA ich liczba nie musi być na tyle duża, aby zapewnić pełną reprezentatywność dla danej instytucji, ale powinna obejmować istotną część podejmowanych przez tę instytucję działań. Pewne obszary mogą zostać w danym czasie uznane przez NZQA za obowiązkowe dla każdej instytucji edukacyjnej.

Podstawowymi czynnikami, które badacze powinni wziąć pod uwagę przy określaniu obszarów, są:

• procedury samooceny instytucji – ich efekty i priorytety,
• rodzaj instytucji i jej wielkość (liczba studentów i kursantów, pracowników, oferowanych kursów itp.),
• problemy (przeszłe i obecne) w funkcjonowaniu instytucji,
• wytyczne rządu związane z polityką edukacyjną, zalecenia NZQA, potrzeby interesariuszy.

Tabela 1. Zalecana przez NZQA liczba obszarów badawczych zależnie od wielkości instytucji

NZQA, badając pozauniwersyteckie instytucje szkolnictwa wyższego, wyróżnia dwa podejścia do ewaluacji – ewaluację pionową i ewaluację przekrojową. Ewaluatorzy, dobierając obszary badawcze, powinni zachować między nimi równowagę. Podejścia te są rozumiane następująco:

• ewaluacja pionowa – badanie wybranego programu nauczania, począwszy od jego założeń i wewnętrznej logiki, poprzez stosowane metody kształcenia, po końcowe efekty edukacyjne,
• ewaluacja przekrojowa – badanie stosowanych procedur, wpływających na efekty kształcenia oraz satysfakcję studentów/kursantów (efektywność zarządzania, udogodnienia i pomoce naukowe dla studentów/kursantów, metody zbierania informacji zwrotnej oraz samoewaluacji itp.).

Trzecim krokiem jest rozpoczęcie wstępnych konsultacji z przedstawicielami ewaluowanej instytucji edukacyjnej. Stworzenie możliwości wyjaśnienia ewaluatorom z NZQA wewnętrznej dynamiki instytucji, jej celów i specyfiki działania, umożliwia uzyskanie możliwie pełnego obrazu jej funkcjonowania.

Wśród reprezentantów placówek często znajdują się dyrektorzy, członkowie zarządu lub osoby przez nich wyznaczone. Zgodnie z zaleceniami NZQA główny ewaluator powinien nawiązać kontakt (telefonicznie lub poprzez spotkanie w siedzibie instytucji) z przedstawicielami instytucji najwcześniej jak to możliwe – najlepiej sześć tygodni przed rozpoczęciem badania.

W toku konsultacji omawiane są:

• efektywność procedur samooceny i jej efekty (na podstawie dostarczonych dokumentów),
• propozycje obszarów badawczych sugerowanych przez ewaluowaną instytucję,
• propozycje obszarów badawczych wskazane przez ewaluatorów na podstawie dostępnych materiałów (wraz z uzasadnieniem),
• wstępny zarys planu badania.

Każdorazowo zakres badania musi być na tyle szeroki, aby umożliwić udzielenie rzetelnej odpowiedzi na kluczowe pytania badawcze i sformułowanie ogólnej oceny funkcjonowania instytucji. Najistotniejsze w konsultowaniu się ewaluatorów z przedstawicielami placówek jest to, że badacze zapoznają się z wynikami samooceny i mają możliwość bezpośredniego uzyskania dodatkowych informacji i wyjaśnień, które pomagają ocenić możliwości wykorzystania autoewaluacji w badaniu.

Czwartym i ostatnim krokiem jest ustalenie harmonogramu badania i rozpisanie docelowego planu. Obejmuje on pytania badawcze oraz metody i techniki zdobywania i analizowania danych. NZQA przyjęło, że jednostką nadrzędną planu badania jest obszar badawczy. Do każdego z nich przypisuje się główne pytania badawcze, pytania niższego rzędu (używane potem np. w scenariuszach wywiadów) oraz  źródła danych, jakie potrzebne są do rzetelnej oceny. W zidentyfikowaniu potrzebnych danych zastanych oraz wskazaniu osób, z którymi należy się skontaktować, ma pomagać współpraca i dobra komunikacja ewaluatorów.

Logikę samego badania ewaluacyjnego można zatem opisać następująco:

• pozyskiwanie danych w obrębie każdego obszaru badawczego,
• analizowanie i przetwarzanie danych dla każdego obszaru badawczego,
• podsumowanie i analiza wyciągniętych wniosków pod kątem ich spójności i wiarygodności,
• synteza uzyskanych informacji i wniosków prowadząca do oceny wyników edukacyjnych placówki i jej kompetencji w samoocenie,
• omawianie pojawiających się wątków i wniosków z przedstawicielami instytucji w toku realizacji badania,
• spotkanie podsumowujące – prezentacja wniosków i rekomendacji i przedyskutowanie ich z przedstawicielami placówki edukacyjnej oraz wyjaśnienie ewentualnych niejasności i rozbieżności w ocenie.

4.6.2. Etap drugi – realizacja badania

Mając przygotowany plan badania, ewaluatorzy rozpoczynają badanie terenowe. Zebrane dane są analizowane i interpretowane przez więcej niż jednego ewaluatora, tak aby uzyskać bardziej obiektywne wnioski. NZQA nie precyzuje dokładnego czasu trwania tego etapu; z dostępnych raportów wynika, że najczęściej zajmuje on 2–3 dni.

Ewaluatorzy są zobowiązani do dokumentowania całego procesu (analizowanych dokumentów, przeprowadzanych wywiadów, napotkanych problemów itd.). Jeśli korzystają z materiałów udostępnionych przez instytucje edukacyjne, w dokumentacji powinni zawrzeć cytaty z adnotacją, w jaki sposób dana informacja została wykorzystana w procesie ewaluacji. Zainteresowane placówki mają wgląd do tych dokumentów.

Zgodnie z zaleceniami NZQA, główny materiał do analizy stanowią informacje pochodzące z samooceny. Ewaluatorzy przyglądają im się nie tylko pod kątem regularności i kompleksowości samoewaluacji, lecz przede wszystkim jej efektywności – reagowania na ujawnione problemy, wykorzystywania pozyskanych danych do poprawy funkcjonowania instytucji i poprawy wyników edukacyjnych. Placówki edukacyjne są odpowiedzialne za raportowanie i przedstawienie NZQA swoich wyników i osiągnięć. Ich rolą jest aktywne dostarczanie danych, a nie bierne poddanie się badaniu i ocenie.

W nowozelandzkim systemie samoocena instytucji nie jest mało istotną deklaracją. Rzetelnie przygotowana samoocena jest podstawą do wystawienia końcowej oceny funkcjonowania instytucji (w zakresie wyników edukacyjnych i kompetencji samoewaluacji) przez ewaluatorów. Takie podejście pokazuje, że NZQA obdarza dużym zaufaniem ewaluowane instytucje, o ile wywiązują się z nałożonych obowiązków.

Jeśli dokumenty z autoewaluacji nie zostaną uznane za wystarczające (ze względu na wykryte nieprawidłowości, luki w systemie oceny, brak refleksji nad wynikami), do badania w większym zakresie zostają w włączeni przedstawiciele ewaluowanej placówki i inni interesariusze (osoby uczące się, edukatorzy itp.). Ma to na celu pogłębienie zdobytej wiedzy. W szczególnych przypadkach (brak chęci współpracy ze strony decydentów, utrudnianie badania i dostępu do informacji) ewaluatorzy mogą prowadzić czynności badawcze bez udziału przedstawicieli instytucji edukacyjnej.

Równolegle do analizy danych prowadzone są wywiady z przedstawicielami danej placówki. Dokumenty NZQA nie precyzją poziomu ich standaryzacji. Wydaje się jednak, że mają charakter indywidualnego wywiadu pogłębionego. Ich celem jest omówienie procesów zachodzących w instytucji oraz uzyskanie informacji o planach i priorytetach działań. W toku rozmowy ewaluatorzy powinni dążyć do ustalenia, na ile dana placówka jest w stanie skutecznie określać potrzeby osób uczących się oraz innych interesariuszy (pracowników, pracodawców) i na nie odpowiadać.

Uzyskane dane są pomocne w udzieleniu odpowiedzi na każde z postawionych w toku badania pytań (zarówno głównych pytań badawczych, jak i szczegółowych pytań w obrębie każdego obszaru). W celu zachowania porównywalności wyników na każde z pytań udziela się odpowiedzi, zaznaczając jedną z opcji:

• źle,
• adekwatnie,
• dobrze,
• doskonale,

lub wskazuje się, że dane są niewystarczające.

Ocenie towarzyszy każdorazowo krótka zestandaryzowana ocena opisowa, która wyjaśnia znaczenie danej oceny.

Na zakończenie badania terenowego przedstawiciele ewaluowanej uczelni są zapraszani do wzięcia udziału w spotkaniu z ewaluatorami, w trakcie którego jest omawiany przebieg badania, a także przedstawiane są wstępne wnioski do raportu. Spotkanie stanowi jeszcze jedną – ostatnią – okazję do wyjaśnienia, w ramach dialogu między ewaluatorami i przedstawicielami badanej placówki, wyodrębnionych problemów i niejasności.

Prezentacja głównych wniosków i ustaleń, jeszcze przed spisaniem i opublikowaniem raportu, ma zagwarantować, że uzyskane oceny nie będą niespodziewane i nieuzasadnione. Bezpośredni kontakt z ewaluatorami ma zapewnić zrozumienie wniosków i efektywne wykorzystanie ich do poprawy funkcjonowania instytucji w przyszłości.

4.6.3. Etap trzeci – formułowanie wniosków dotyczących wyników edukacyjnych i rzetelności samooceny

Badanie terenowe umożliwia ewaluatorom pozyskanie możliwie największej ilości danych dotyczących wszystkich obszarów objętych badaniem oraz jak najlepsze zrozumienie zachodzących w instytucji procesów. Z kolei na etapie formułowania wniosków nacisk jest położony na standaryzację i syntezę uzyskanych odpowiedzi.

Ewaluatorzy porządkują materiał badawczy, przechodząc od odpowiedzi na pytania szczegółowe do głównych pytań badawczych oraz od wniosków dotyczących poszczególnych obszarów badawczych do oceny całej instytucji. Choć skala ocen pozostaje niezmienna, to oceny opisowe ulegają zmianie zależnie od tego, czego dotyczą (wyniki kształcenia, kompetencje w autoewaluacji) i w jakiej skali (jeden obszar badawczy, cała organizacja).

NZQA wyróżnia trzy działania w ramach procesu formułowania wniosków:

1. ocenę wyników edukacyjnych i rzetelności samooceny w obrębie szczegółowych obszarów badawczych;
2. ocenę wyników edukacyjnych i rzetelności samooceny w kontekście każdego z głównych pytań badawczych;
3. końcową ocenę wyników edukacyjnych i rzetelności samooceny na poziomie całej instytucji.

Głównym narzędziem ułatwiającym ewaluatorom formułowanie wniosków (od poszczególnych pytań i obszarów po poziom instytucjonalny) jest schemat CORE. Procedura ma stanowić gwarancję wiarygodności ostatecznych wyników.

Tabela 2. Schemat CORE

Ewaluatorzy muszą pamiętać o hierarchii formułowanych wniosków – wysoka ocena wyników kształcenia w kontekście wybranego pytania badawczego lub obszaru badawczego nie musi automatycznie oznaczać wysokiej oceny całości wyników kształcenia na poziomie całej instytucji. Dopiero analiza wszystkich wniosków pozwala na uchwycenie pełnego obrazu funkcjonowania instytucji. Wnioski zawarte w raporcie muszą być wynikiem dyskusji całego zespołu ewaluatorów, jednak do jego stworzenia wyznaczany jest jeden badacz. Badacze muszą być przygotowani do obrony swoich stanowisk i uzasadnienia każdej z wystawionych ocen.

4.6.3. Etap czwarty – raport z ewaluacji zewnętrznej

Celem stworzenia raportu końcowego jest przejrzyste i szczegółowe przedstawienie wniosków z badania wraz z odpowiednim uzasadnieniem. Dokument jest kierowany do szerokiego grona odbiorców – NZQA, przedstawicieli ewaluowanej instytucji, studentów/kursantów, Komisji Szkolnictwa Wyższego, ekspertów czy też innych osób zainteresowanych sytuacją na rynku edukacyjnym.

Poza podsumowaniem funkcjonowania instytucji raport ma stanowić podstawę jej dalszego rozwoju. Obszerny zbiór rekomendacji i wskazówek, jakim jej raport, dotyczy obszarów wymagających poprawy. Jest to o tyle istotne, że wnioski ze zrealizowanych już badań stają się częścią materiału badawczego w następnej edycji ewaluacji. Ma to podkreślać wagę systemowości zapewniania jakości w opisywanych instytucjach.

Zależnie od przyznanej kategorii rzetelności, o której była mowa w pkt. 4.3., zmienia się zakres nadzoru NZQA nad wybraną instytucją – najwyższa ocena podlega klasycznej ewaluacji w cyklu czteroletnim, natomiast kategoria niższego rzędu jest badana częściej (instytucja może być poddawana badaniu terenowemu nawet co 6–12 miesięcy).

Aby instytucja została zaliczona do najwyższej, I kategorii, musi uzyskać najwyższe oceny pod względem wyników kształcenia i kompetencji w samoocenie albo najwyższą ocenę pod względem wyników kształcenia i dobrą ocenę kompetencji w samoocenie.

W II kategorii znajdują się instytucje, które uzyskały najwyższą ocenę pod względem samooceny i dobrą ocenę wyników kształcenia albo dobrą ocenę w obu tych obszarach.

Do III kategorii zaliczone zostają placówki, których wyniki kształcenia lub kompetencje w samoocenie zostały ocenione jako akceptowalne, ale wymagające poprawy.

Ostatnia – IV kategoria jest zarezerwowana dla instytucji, w których wykryto poważne problemy związane z osiąganymi wynikami kształcenia lub procesem samooceny.

Instytucje z kategorii III i IV podlegają dodatkowemu badaniu, którego celem jest sprawdzenie, czy podjęte zostały wystarczające środki naprawcze. Jeżeli również ono zakończy się oceną negatywną, wówczas NZQA może podjąć dalsze kroki prawne, włącznie z wycofaniem akredytacji lub (w szczególnych sytuacjach) skierowaniem sprawy na drogę sądową.

---

[1] Education Act 1989, Dz. U. 1989, No. 80, ze zmianami z 2 stycznia 2018 r. Zob.: http://www.legislation.govt.nz/act/public/1989/0080/latest/DLM175959.html

W systemie nowozelandzkim koszty realizacji procesu ewaluacji zewnętrznej ponoszą ewaluowane organizacje szkolnictwa wyższego. Każde badanie jest wyceniane indywidualnie, a ostateczna kwota zależy od nakładu pracy ewaluatorów. NZQA pokrywa koszty podróży ewaluatorów na miejsce badania oraz nieprzewidziane wydatki niezależne od działań ewaluowanej instytucji.

Wycena badania jest przedstawiana danej instytucji na etapie precyzowania planu badawczego. Ewaluacja zewnętrzna prowadzona w cyklu czteroletnim pomaga w rozłożeniu ponoszonych kosztów. NZQA w publikowanych materiałach zapewnia, że dokłada wszelkich starań, aby koszty były proporcjonalne do zakresu badania, a proces wyceny był przejrzysty i konsekwentny.

Stworzony przez NZQA system zapewniania jakości wymaga sprawnego zarządzania na poziomie NZQA oraz w samych ewaluowanych instytucjach. Zrozumienie i prowadzenie rzetelnej samooceny w oparciu o jasne i zestandaryzowane kryteria oraz stworzenie wewnątrz instytucji kultury zapewniania jakości, która zakłada, że dążenie do rozwoju jest ważniejsze niż obawa przed wykryciem i upublicznieniem błędów i niedoskonałości w procesie kształcenia, jest podstawą działania systemu.

Strategia szkolnictwa wyższego na lata 2014–19 podkreśla potrzebę budowania międzynarodowych relacji, które przyczyniają się do poprawy konkurencyjności, wspierania biznesu i innowacji poprzez rozwój odpowiednich umiejętności i badań oraz poprawę wyników dla wszystkich interesariuszy. Pierwsze kroki w celu osiągnięcia tych zmian są określone za pośrednictwem sześciu priorytetów:

• dostarczanie wykwalifikowanych pracowników  dla przemysłu;
• przygotowanie do kariery młodzieży zagrożonej wykluczeniem;
• działania na rzecz ludności maoryskiej;
• działania na rzecz ludności Pacyfiku;
• poprawa umiejętności czytania, pisania i liczenia osób dorosłych;
• oparte na badaniach wzmocnienie roli i wiarygodności instytucji.

Dodatkowo NZQA w strategicznych celach na lata 2012–2020 skupia się na odpowiedzi na globalne trendy, m.in. rozwój technologiczny, innowacyjne rozwiązania, wpływ na pedagogikę, rosnące oczekiwania w zakresie dostępu do informacji. Zmiany mają się dokonywać poprzez edukację skoncentrowaną na uczniu, a także poprzez rozwój usług online i „szytych na miarę”. Dopasowanie pozauniwersyteckich instytucji edukacyjnych do zmieniających się potrzeb społecznych oraz potrzeb sektorów (biznesowego, przemysłowego) ma zagwarantować większą funkcjonalność i uniwersalność systemu dopasowanego do rynku krajowego. Rozwój sieci międzynarodowych ma również zachęcić osoby i instytucje spoza Nowej Zelandii do korzystania z oferty edukacyjnej proponowanej przez pozauniwersyteckie szkoły wyższe.