Dobra praktyka

Studia wyższe

Data dodania:
Pobierz PDF

1. Kraj, nazwa instytucji

  • Norwegia
  • Norweska Agencja ds. Zapewniania Jakości w Edukacji (NOKUT)

2. Strona internetowa instytucji

3. Nazwa kwalifikacji, której dotyczy dobra praktyka

Dyplom ukończenia studiów wyższych

4. Dobra praktyka - Zewnętrzne zapewnianie jakości

4.1. Informacje wstępne

Dobra praktyka dotyczy systemu zapewniania jakości kształcenia i walidacji w szkolnictwie wyższym w Norwegii ze szczególnym uwzględnieniem sposobu prowadzenia badań ewaluacyjnych. System jest zarządzany przez Norweską Agencję ds. Zapewniania Jakości w Edukacji (NOKUT), działającą na podstawie zarządzeń norweskiego Ministra Edukacji i Badań.

Na system zapewniania jakości w szkolnictwie wyższym w Norwegii składa się wiele elementów, w tym gromadzenie danych dotyczących jakości kształcenia, nadzór nad szkołami wyższymi i ich akredytacja oraz przyznawanie wyróżnień i nagród szczególnie wyróżniającym się szkołom wyższym. Od 2003 r. NOKUT realizuje także cykliczne pogłębione badania ewaluacyjne programów studiów i wewnętrznych systemów zapewniania jakości w uniwersyteckich i pozauniwersyteckich instytucjach edukacyjnych (m.in. politechnikach i wyższych szkołach zawodowych). Od 2014 r. do przeprowadzanych cyklicznie ewaluacji zostało włączone coroczne badanie Studiebarometeret, które obejmuje wszystkich studentów w Norwegii i pozwala na ocenę realizowanych przez nich programów kształcenia.

Celem systemu zapewniania jakości jest nie tylko kontrola funkcjonowania szkolnictwa wyższego, ale przede wszystkim jego doskonalenie, m.in. poprzez informowanie, stymulowanie rozwoju jakości usług edukacyjnych oraz uznawanie dyplomów zdobywanych na zagranicznych uczelniach. Kompleksowe i szeroko zakrojone działania mają przyczyniać się do budowania zaufania społeczeństwa względem systemu edukacji w Norwegii.

Realizacji powyższych celów służy oparcie systemu zapewniania jakości, w tym schematów badawczych do prowadzenia ewaluacji, na następujących założeniach:

  • przejrzystość procesu badawczego – ewaluowana instytucja jest informowana zarówno o metodach i narzędziach wykorzystanych podczas badania, jak i o jego efektach;
  • angażowanie przedstawicieli ewaluowanych instytucji w proces badania – informowanie o proponowanych kryteriach oceny, szczegółach planu i przebiegu badania, prezentacja i konsultowanie wstępnych wyników raportu;
  • angażowanie przedstawicieli ewaluowanych instytucji oraz innych interesariuszy w proces tworzenia narzędzi badawczych – przeprowadzane badania eksploracyjne i pilotażowe służą zebraniu informacji zwrotnej o przejrzystości, strukturze i adekwatności narzędzi badawczych proponowanych przez NOKUT; dodatkowo, jak w przypadku badania Studiebarometeret, budowa i zawartość ankiety jest co roku konsultowana przez ekspertów;
  • ocena wiarygodności i użyteczności danych z wewnętrznej ewaluacji instytucji – badane instytucje dokonują samooceny swoich działań i jakości kształcenia, a następnie proces samooceny i jej wyniki są poddawane analizie zewnętrznych ekspertów;
  • praca zewnętrznych ekspertów – korzystanie z kompetencji i doświadczenia ekspertów w zakresie zapewniania jakości ułatwia otrzymanie rzetelnych i porównywalnych wniosków.

Zgodnie z tymi założeniami ciężar zapewniania jakości kształcenia w większym stopniu spoczywa na samych instytucjach edukacyjnych, choć NOKUT nadal pełni rolę nadzorczą i monitorującą w systemie. Pozwala to na odciążenie agencji i prowadzenie przez nią działań interwencyjnych w organizacjach, które tego wymagają. Przyjęte podejście wzmacnia również zaufanie do instytucji nadzorujących jako tych, które uznają autonomię i kompetencje ocenianych szkół wyższych. Budowaniu zaufania służy również nacisk kładziony przez NOKUT na dialog i współpracę z interesariuszami systemu edukacji: studentami, badanymi instytucjami, przedstawicielami rynku pracy oraz innymi zainteresowanymi podmiotami.

W rezultacie rozwiązania funkcjonujące w Norwegii stanowią ciekawy przykład z punktu widzenia tworzenia instytucjonalnej kultury zapewniania jakości. Jej fundamenty stanowią: kompleksowa i rzetelna samoocena, angażowanie badanych instytucji w proces oceniania, a także upowszechnianie dobrych praktyk.

4.2. Elementy systemu zapewniania jakości w szkolnictwie wyższym w Norwegii

Zadania realizowane przez NOKUT w ramach zapewniania jakości w szkolnictwie wyższym prowadzone są w ośmiu niżej wymienionych obszarach, które należy uznać za najważniejsze elementy systemu zapewniania jakości:

  1. Gromadzenie danych dotyczących jakości kształcenia– tworzenie i zarządzanie bazami danych o instytucjach edukacyjnych oraz przygotowywanie na ich podstawie analiz i statystyk, dzięki którym tworzony jest ogólny obraz stanu szkolnictwa wyższego i zawodowego w Norwegii.
  2. Nadzór nad instytucjami i programami edukacyjnymi– ocena, w jaki sposób instytucje zarządzają swoimi wewnętrznymi procedurami oraz systemami zapewniania jakości i jak je rozwijają, przeprowadzana z wykorzystaniem następujących metod nadzoru:
  • audyty tematyczne – obejmujące kilka różnych instytucji, co umożliwia porównanie jakości kształcenia w określonym obszarze edukacji;
  • superwizje oparte na wskaźnikach jakości kształcenia i informacjach uzyskanych przez NOKUT – procedura uruchamiana, jeśli dana placówka nie stosuje określonych wskaźników i ma niedostateczny poziom nauczania.
  1. Akredytacja instytucji szkolnictwa wyższego i programów kształcenia– ocena, czy instytucja szkolnictwa wyższego lub realizowany przez nią program kształcenia spełnia standardy i kryteria określone przez Ministerstwo Edukacji i Badań oraz NOKUT. Standardy te dotyczą m.in. zakresu działań, kadr, infrastruktury, organizacji, uczestnictwa w projektach badawczych czy krajowych lub międzynarodowych sieciach szkół wyższych. Wyróżnione zostały dwa rodzaje akredytacji, które przyznawane są instytucjom:
  • akredytacja wybranych programów kształcenia – obowiązkowa i przeprowadzana we wszystkich formalnie uznawanych szkołach wyższych w Norwegii (poza wyjątkami ustalonymi w ustawie) dla ogółu społeczeństwa. Jest przyznawana na czas nieokreślony, przy czym może być odwołana np. po przeprowadzonej superwizji;
  • akredytacja instytucji edukacyjnej – dobrowolna, jednak uzyskanie takiego rodzaju akredytacji uprawnia instytucję do samodzielnego otwierania programów kształcenia oraz przyznawania stopni naukowych i dyplomów.
  1. Pogłębiona ewaluacja zewnętrzna– badania socjologiczne realizowane samodzielnie przez NOKUT bądź we współpracy z innymi partnerami. Ich celem jest nie tylko ocena jakości kształcenia w konkretnych instytucjach (lub obszarach edukacji), lecz także stworzenie podstawy do dalszych badań i uchwycenia procesu zmiany lub stagnacji w tym zakresie. Ponadto projekty realizowane przez NOKUT z innymi agencjami państwowymi oraz instytucjami edukacyjnymi mają stanowić podstawę do tworzenia rozwiązań systemowych w wybranych obszarach kształcenia (np. zintegrowanego modelu ewaluacji na uczelniach wyższych, obejmującego zarówno jakość kształcenia, jak też jego efekty w postaci podejmowanych przez studentów i absolwentów badań).
  2. Badanie Studiebarometeret– coroczne ogólnokrajowe badanie studentów. Barometr skupia się na ocenie jakości kształcenia w macierzystych placówkach edukacyjnych, natomiast nie zawiera pytań dotyczących oceny instytucji edukacyjnych ani jakości studiowania.  Informacje uzyskane podczas badania są udostępniane instytucjom edukacyjnym, które często wzbogacają o nie wyniki samooceny. Dzięki temu uzyskują pełniejszy obraz realizowanych przez siebie działań, uzupełniając go o punkt widzenia studentów.
  3. Ośrodki Doskonalenia w Zakresie Inicjatyw Edukacyjnych – prestiżowe grono instytucji edukacyjnych szkolnictwa wyższego, których wysiłki na rzecz zapewniania jakości kształcenia i innowacyjne metody nauczania mogą być traktowane jako wzór do naśladowania. Kandydatury do tego grona są rozpatrywane przez ekspertów powołanych przez NOKUT, a do kryteriów wyboru należy sprawnie działający system wewnętrznego zapewniania jakości, a także dzielenie się wiedzą i doświadczeniami z innymi instytucjami (pełna lista Ośrodków Doskonalenia w Zakresie Inicjatyw Edukacyjnych znajduje się pod adresem: https://www.nokut.no/en/services/the-centres-for-excellence-in-education-initiative-sfu).
  4. Edukacyjna Nagroda Jakości (Utdanningskvalitetsprisen) – coroczne nagrody przyznawane przez NOKUT instytucjom edukacyjnym szkolnictwa wyższego wyróżniającym się staraniami na rzecz zapewniania jakości kształcenia.
  5. Rozpowszechnianie i upublicznianie wyników prowadzonych badań– docieranie z informacjami o stanie norweskiej edukacji do jak najszerszego grona odbiorców. NOKUT publikuje wyniki badań na swojej stronie internetowej oraz rozpowszechnia je poprzez wysyłanie newsletterów, publikacje na blogach itp. Ponadto organizuje debaty i spotkania dla przedstawicieli instytucji edukacyjnych, polityków i ekspertów, stwarzając okazję do dyskusji o różnych aspektach jakości kształcenia w edukacji, dzielenia się wiedzą i poznawania odmiennych punktów widzenia.

Realizując swoją misję, NOKUT kładzie nacisk na dialog i współpracę ze studentami, instytucjami edukacyjnymi, pracodawcami i innymi zainteresowanymi partnerami społecznymi oraz pozostałymi agencjami rządowymi. Ważną rolę pełnią spotkania integrujące środowisko związane z edukacją, podczas których prezentowane są wyniki prowadzonych przez NOKUT badań oraz omawiane są wyodrębnione na ich podstawie tendencje w obszarze edukacji i jakości kształcenia. Reprezentanci różnych grup interesariuszy mają możliwość zdobycia wiedzy o różnych aspektach zapewniania jakości kształcenia, dzięki czemu podejmowane przez nich działania mogą być bardziej adekwatne i efektywne (prawodawstwo lepiej dostosowane do potrzeb i specyfiki szkolnictwa wyższego i zawodowego, wewnętrzne procedury samooceny lepiej wpisujące się w założenia krajowej polityki edukacyjnej i spełniające wszystkie wymogi formalne). Stwarza to również przestrzeń do nawiązywania nowych kontaktów i buduje zaufanie między NOKUT a różnymi grupami interesariuszy zainteresowanych obszarem edukacji (przejrzystość prowadzonych badań, otwartość na rozmowę o wnioskach i wynikach).

Poniżej przybliżone zostały szczegóły dotyczące dwóch z wymienionych elementów systemu zapewniania jakości szkolnictwa wyższego w Norwegii:

  • audytu, czyli pogłębionej ewaluacji zewnętrznej programów kształcenia i instytucji edukacyjnych,
  • badania Studiebarometeret.

4.3. Audyt – pogłębiona ewaluacja zewnętrzna programów kształcenia i instytucji edukacyjnych

Przeprowadzane przez NOKUT audyty wybranych programów kształcenia i instytucji edukacyjnych pod kątem wewnętrznego zapewniania jakości i samooceny odbywa się nie rzadziej niż raz na sześć lat. Jeśli w danej instytucji zostaną wykryte niedociągnięcia, NOKUT wyznacza termin na wdrożenie usprawnień. Po tym czasie przeprowadza powtórne badanie ewaluacyjne sprawdzające, czy rekomendowane rozwiązania znalazły zastosowanie (dzieje się to na ogół 6 miesięcy przed końcem głównego badania).

Ewaluacja jest przeprowadzana przez zespół badawczy składający się z niezależnych ekspertów zapraszanych przez NOKUT do współpracy. Przyczynia się to do zaangażowania ewaluatorów charakteryzujących się wysokimi kompetencjami i znajomością badanego obszaru edukacji oraz zapewnia bezstronność formułowanych ocen i wniosków. Kandydaci do roli ekspertów zostają ocenieni przez NOKUT. Na tej podstawie formuje się kilkuosobowa komisja ekspercka, upoważniona do przeprowadzenia badania. Komisja realizuje określone cele i kryteria ewaluacji oraz zostaje zobowiązana do przedstawienia Zarządowi NOKUT[1] wniosków końcowych i rekomendacji. Członkowie komisji są zobowiązani do podpisania deklaracji o bezstronności, braku powiązań z ewaluowaną instytucją oraz poufności badania i jego wyników do czasu opublikowania raportu (do czasu zakończenia badania nie mogą również zabierać głosu w publicznych dyskusjach dotyczących ocenianej instytucji). W skład komisji eksperckich wchodzą wysoko wykwalifikowani naukowcy z norweskich i zagranicznych uczelni, czasem także przedstawiciele zagranicznych agencji zapewniania jakości w szkolnictwie wyższym. NOKUT przekazuje jedynie ogólne wytyczne, pozostawiając komisjom eksperckim dużą swobodę w realizacji badania i określeniu technik, którymi będą się posługiwać.

Głównymi celami pogłębionej ewaluacji zewnętrznej przeprowadzonej przez NOKUT są:

  • ocena wyników edukacyjnych i stworzenie rekomendacji pozwalających na poprawę jakości kształcenia,
  • ocena procedur ewaluacji wewnętrznej w danej instytucji,
  • odniesienie do założeń i rezultatów konkretnych programów kształcenia zdefiniowanych w ramach Norweskiej Ramy Kwalifikacji (w przypadku programów kształcenia zawodowego).

4.3.1. Samoocena

W systemie norweskim istotnym elementem zapewniania jakości jest proces samooceny dokonywanej przez instytucję edukacyjną. Rezultaty tego procesu ujęte w raporcie z samooceny stanowią przedmiot pogłębionej ewaluacji zewnętrznej w fazie desk research (patrz punkt 4.3.2.). NOKUT zaleca, aby samoocena służyła jako narzędzie przydatne do diagnozowania potrzeb instytucji, zwiększania jej efektywności oraz przyczyniała się do podejmowania racjonalnych decyzji w sprawie kierunków jej rozwoju. Tak ujęta samoocena nabiera wymiaru instytucjonalnego i powinna przyjąć formę procesu, w ramach którego dane są zbierane w sposób ciągły. Jest to zgodne z założeniami systemu ewaluacji, w którym kompleksowa samoocena i zaangażowanie instytucji w proces oceniania stanowią fundament w budowaniu kultury zapewniania jakości. Dodatkowo podkreśla się partycypacyjny charakter samooceny. Powinna ona angażować wszystkie grupy interesariuszy – zarówno studentów, jak i pracowników różnego szczebla.

NOKUT nie określa metod i schematów, jakimi instytucje mają się posłużyć do samooceny. Rozwiązania przyjęte przez poszczególne szkoły wyższe muszą spełniać założenia procesu, jednak sposób jego przeprowadzenia jest kwestią indywidualną i nieregulowaną (w niektórych sytuacjach instytucje dostają formularz z pytaniami sformułowanymi przez NOKUT, które zawierają kryteria oceny). Punktem wyjścia jest jednak ocena własnych działań, jaką instytucja przeprowadza na podstawie wskaźników i standardów wytyczonych przez NOKUT. Wśród narzędzi służących do samooceny są ankiety dla uczestników zajęć czy formularze osiągnięć edukacyjnych uzupełniane po egzaminach i testach. Na podstawie uzyskanych danych instytucje tworzą własne raporty, które potem udostępniają agencji.

4.3.2. Desk research

Szkoły wyższe, w których jest przeprowadzana pogłębiona ewaluacja zewnętrzna, zobowiązane są udostępnić NOKUT raport z przeprowadzonej samooceny. Wyniki autoewaluacji są przekazywane agencji wraz z innymi wymaganymi dokumentami (programami nauczania, rozliczeniami finansowymi, materiałami edukacyjnymi, wzorami testów i egzaminów itp.). NOKUT często powierza zadanie przeprowadzenia analizy przedłożonej dokumentacji komisjom złożonym z zagranicznych ekspertów. Na podstawie tak przeprowadzonego desk research tworzony jest wstępny raport, zawierający wnioski i ocenę rzetelności przeprowadzonej samooceny. Uzyskane informacje są weryfikowane podczas kolejnego etapu ewaluacji zewnętrznej – wizyty studyjnej w danej instytucji, przeprowadzanej przez zespół badawczy powołany przez NOKUT.

4.3.3. Wizyta studyjna i przygotowanie raportu

Po zakończeniu opisanych wyżej analiz i stworzeniu wstępnego raportu eksperci powołani przez NOKUT odbywają wizytę studyjną, czyli badanie terenowe w danej instytucji edukacyjnej. Podczas niej weryfikowane są wnioski i ustalenia dokonane na podstawie samooceny instytucji. Jednym z założeń norweskiego systemu zapewniania jakości jest elastyczne podejście do procedur i technik badawczych – dokładny przebieg badania terenowego zależy od specyfiki ocenianej instytucji lub programu kształcenia. Indywidualne podejście do ewoluowanych szkół wyższych przyczynia się do braku zestandaryzowanych, uniwersalnych narzędzi badawczych. Najczęściej jednak eksperci korzystają z technik jakościowych:

  • wywiadów – indywidualnych wywiadów pogłębionych (IDI) lub zogniskowanych wywiadów grupowych (FGI), przeprowadzanych z pracownikami instytucji, studentami oraz uczestnikami szkoleń i warsztatów,
  • wizytacji zajęć.

Standardowa metodologia jest niekiedy rozszerzana o dodatkowe elementy badania, w zależności od potrzeby, np. dodatkową analizę lub/i rewizję  dokumentów egzaminacyjnych. O terminie badania w danej instytucji decyduje odgórnie NOKUT. Czas jego trwania jest ustalany indywidualnie między szkołą wyższą a ewaluatorami.

Podczas wizyty studyjnej komisja ekspercka pozostaje w kontakcie z przedstawicielami ewaluowanych instytucji. Zgodnie z założeniami systemu zapewniania jakości jest to jeden ze sposobów zwiększania zaangażowania badanych instytucji w proces ewaluacji. Informując o swoich działaniach i przedstawiając wstępne wyniki, NOKUT przyczynia się do zachowania jawności procedur. Jednocześnie zwiększa to wzajemne zaufanie między agencją a instytucjami edukacyjnymi. Udział w pracach ekspertów umożliwia pełniejsze zrozumienie skonstruowanych wniosków i efektywne ich wykorzystywanie do poprawy funkcjonowania danej instytucji, co z kolei sprzyja poprawie kondycji szkolnictwa wyższego i jakości kształcenia w Norwegii.

Po zakończeniu wizyty studyjnej komisja ekspercka tworzy raport końcowy, zawierający kompletną ocenę instytucji. Jeśli zdiagnozowano niedociągnięcia, elementem dokumentu są również rekomendacje dotyczące obszarów wymagających poprawy, np. funkcjonowania wewnętrznego systemu zapewniania jakości kształcenia lub procesu samooceny.

Poprzez nagradzanie i promowanie NOKUT docenia instytucje, które wyróżniają się jakością kształcenia i mają efektywne metody jej zapewniania. Ma to na celu rozpowszechnianie dobrych praktyk i zainteresowanie innych placówek podejmowaniem wysiłków w zakresie dbałości o jakość swoich działań. Stanowi to również zachętę do włączania się w kreowanie spójnego systemu zapewniania jakości systemu szkolnictwa wyższego.

4.3.4. Rezultaty pogłębionej ewaluacji zewnętrznej a proces akredytacji instytucji edukacyjnych

Wyniki pogłębionej ewaluacji zewnętrznej mogą mieć wpływ na akredytację instytucji edukacyjnej. Jeśli zostają wykryte braki lub niedociągnięcia, NOKUT wyznacza termin wprowadzenia niezbędnych zmian. Czas przeznaczony na działania usprawniające zależy od wagi i zakresu wykrytych wad w systemie kształcenia. Waha się on od 6 miesięcy do 2 lat. Po tym czasie przeprowadzone zostaje powtórne badanie sprawdzające (follow-up), czy przekazane rekomendacje zostały wdrożone i przyczyniły się do poprawy sytuacji w danej instytucji.

Jeśli instytucja edukacyjna nie zastosuje się do zaleceń NOKUT i uzyska negatywną ocenę również podczas badania sprawdzającego, agencja podejmuje określone kroki – może np. wycofać akredytację dla określonego programu kształcenia lub całej instytucji (co wymaga kontrasygnaty i potwierdzenia decyzji przez przedstawiciela Ministerstwa Edukacji i Badań).

Kolejną po utracie akredytacji konsekwencją niedostosowania się do uwag NOKUT jest utrata finansowania ze środków publicznych.

Jeśli akredytacja dla wybranego programu studiów zostanie wycofana, oceniana instytucja jest odpowiedzialna za umożliwienie swoim studentom ukończenia rozpoczętego programu kształcenia i uzyskanie kwalifikacji.

Zaproponowane przez instytucję edukacyjną rozwiązanie sytuacji musi być zaakceptowane przez NOKUT. Agencja wciela się wówczas w rolę doradcy i konsultuje z ocenianą instytucją możliwości rozwiązania problemów oraz współpracuje przy wdrażaniu usprawnień.

Liczba programów odrzuconych bądź wytypowanych do badania sprawdzającego pokazuje, że norweski system zapewniania jakości nie ma jedynie czysto formalnego charakteru, a stosowane kryteria oceny i standardy NOKUT stawiają przed instytucjami i programami kształcenia wysokie oczekiwania. Dzięki temu jest on realnym narzędziem zapewniania jakości w obszarze edukacji i kształtowania kultury nastawionej na ciągły rozwój.

4.4. Studiebarometeret

Badanie Studiebarometeret jest nieobowiązkowe, jednak z danych podawanych przez NOKUT wynika, że niewiele placówek w Norwegii odmawia w nim udziału (np. akademie wojskowe, niektóre uczelnie prywatne). Po początkowo sceptycznym nastawieniu przedstawicieli sektora edukacyjnego obecnie badanie jest pozytywnie odbierane przez wszystkie instytucje biorące w nim udział, głównie ze względu na możliwość korzystania z otrzymanych danych. Dzięki wynikom Studiebarometeret NOKUT dokonuje ogólnej oceny programów kształcenia, oferowanych są w poszczególnych instytucjach. Wyniki badania są analizowane również przez Ministerstwo Edukacji i Badań do określenia obszarów wymagających interwencji lub monitorowania.

Informacje przekazane agencji przez Norweskie Zrzeszenie Instytucji Szkolnictwa Wyższego i Narodowy Związek Studentów wskazują, że badanie przyczynia się do poprawy jakości kształcenia i rozwoju instytucji edukacyjnych na trzech płaszczyznach:

  1. NOKUT udostępnia instytucjom edukacyjnym bazy danych, dzięki którym mogą one uzupełnić dane wynikające z przeprowadzonej samooceny instytucji. Dzięki temu uzyskują uzupełniony o opinie studentów obraz funkcjonowania realizowanych programów kształcenia. Wiele uczelni włączyło Studiebarometeret do narzędzi służących wewnętrznemu zapewnianiu jakości.
  2. Badanie umożliwia porównanie opinii studentów o programach kształcenia realizowanych na różnych uczelniach. W ten sposób łatwo porównać programy o zbliżonej tematyce, a także oceniać oraz porównywać same instytucje edukacyjne.
  3. Wyniki badania Studiebarometeret są publikowane i udostępniane wszystkim zainteresowanym, co wpływa znacząco na funkcjonowanie ocenianych instytucji edukacyjnych. Dobre wyniki służą promocji szkoły wyższej oraz pozytywnie wpływają na jej pracowników. Natomiast negatywne oceny pobudzają do działań naprawczych i wprowadzania zmian, tak aby w kolejnej edycji badania wypaść lepiej.

Badanie jest realizowanie za pomocą ankiety internetowej (CAWI) rozsyłanej do studentów drogą mailową (w październiku lub listopadzie). Bazy z adresami studentów są pozyskiwane od instytucji edukacyjnych. Kwestionariusz ankiety jest zestandaryzowany, a respondenci odpowiadają na taki sam zestaw pytań. Dzięki takiemu podejściu można porównywać wyniki różnych instytucji i programów kształcenia. Po zebraniu danych NOKUT poddaje je analizie. Raport końcowy z badania jest publikowany na początku kolejnego roku.

NOKUT podejmuje wiele działań marketingowych, które mają na celu propagowanie wiedzy o badaniu Studiebarometeret i zachęcanie studentów do wzięcia w nim udziału. Jednym ze sposobów dotarcia do młodych respondentów było dostosowanie strony z badaniem do urządzeń mobilnych, co umożliwiło wygodne wyświetlanie i uzupełnianie ankiety również w telefonach i na tabletach. Studenci byli także informowani i zachęcani do udziału w badaniu przez same instytucje edukacyjne. Dodatkową zachętę stanowiły bony podarunkowe, które w każdym roku mogły zostać wylosowane przez kilkudziesięciu uczestników badania.

W 2015 r. odsetek uzyskanych odpowiedzi wyniósł 47%, co w przypadku ankiet internetowych jest dobrym wynikiem. Dzięki temu NOKUT mógł udostępnić oceny dotyczące 72% wszystkich realizowanych w Norwegii programów kształcenia (na poziomie studiów licencjackich i magisterskich). Dostęp do bazy danych (bez danych osobowych) mogą uzyskać również norweskie instytucje badawcze.

---

[1] Zarząd Norweskiej Agencji ds. Zapewniania Jakości w Edukacji to najwyższy organ zarządzający agencją. W jego skład wchodzą przedstawiciele środowiska akademickiego, organizacji pracodawców i biznesu, międzynarodowych ośrodków analitycznych, organizacji studenckich, a także samej agencji NOKUT. 

5. Narzędzia

5.1. Narzędzia do przeprowadzenia audytu, czyli pogłębionej ewaluacji

Przeprowadzając pogłębioną ewaluację, NOKUT korzysta z różnych metod badawczych, dostosowując je do specyfiki instytucji lub programu kształcenia oraz charakteru prowadzonego badania. Niekiedy jest to połączenie różnych metod jakościowych, w innym przypadku – połączenie metod jakościowych i ilościowych.

  1. Połączenie kilku metod jakościowych. Może być to połączenie analizy danych zastanych (desk research) oraz uzyskanych w wyniku wizyty studyjnej materiałów z wywiadów i wizytacji zajęć. Zebrane dane są analizowane przez zewnętrznych ekspertów. Dzięki zastawieniu informacji z różnych źródeł możliwa jest bardziej precyzyjna ocena ich wiarygodności i użyteczności. Zaangażowanie większej liczby ekspertów zmniejsza ryzyko wpływu negatywnych czynników, np. efektu badacza na ostateczną wersję wniosków i ocen.
  2. Połączeniemetod jakościowych i ilościowych. W norweskim systemie zapewniania jakości połączenie dwóch rodzajów metod wykorzystywane jest przy ocenie Ośrodków Doskonalenia w Zakresie Inicjatyw Edukacyjnych. Na początku przeprowadzany jest desk research, a do poszczególnych instytucji edukacyjnych rozsyłana jest ankieta. Później, na podstawie wyników ankiet, realizowane są indywidualne wywiady pogłębione (IDI) z przedstawicielami instytucji. Kolejnym etapem jest przeprowadzenie z nimi zogniskowanego wywiadu grupowego (FGI). Taka konstrukcja badania zakłada zastosowanie metod ilościowych do wytypowania węższego grona instytucji, z którymi przeprowadzane są dalsze badania z wykorzystaniem metod jakościowych. Głównym celem tych działań jest wyodrębnienie wyróżniających się ośrodków doskonalenia, zidentyfikowanie dobrych praktyk oraz zebranie dokładnych i wartościowych danych w tym zakresie. Instytucje edukacyjne kandydujące do miana Ośrodka Doskonalenia w Zakresie Inicjatyw Edukacyjnych odpowiadają m. in. na pytania dotyczące głównych celów prowadzonych programów kształcenia, celów i zadań związanych z aplikowaniem do konkursu oraz swojego wpływu w obszarze edukacji. Zostają one również ocenione w kategoriach zrównoważonego rozwoju i strategii samodoskonalenia.

Jak już wspomniano, procedury badawcze są dostosowywane do specyfiki danej instytucji lub ocenianego programu kształcenia. Stosowanie różnych metod badawczych pozwala na wgląd w dane zagadnienie z różnych perspektyw, lecz ma jednocześnie negatywny wpływ na poziom standaryzacji i porównywalności uzyskanych wyników w poszczególnych latach. Zgromadzone dane stanowią podstawę do oceny, nie tworzą jednak w pełni spójnego obrazu całości obszaru szkolnictwa wyższego w Norwegii. Ponadto, rozbudowa tematyki badania instytucji edukacyjnej lub programu kształcenia o dodatkowe kwestie musi podlegać ścisłej kontroli. Badacze nie powinni stracić z oczu głównego celu ewaluacji, a więc rzetelnego i kompleksowego podsumowania wyników edukacyjnych danej instytucji i jej kompetencji w zakresie wewnętrznego zapewniania jakości.

5.2. Ankieta do badania Studiebarometeret

Kwestionariusz został przygotowany przez grono ekspertów w zakresie edukacji i ewaluacji na podstawie doświadczeń zagranicznych. Najpierw przetestowano go za pomocą dwóch badań pilotażowych, w których wzięli udział studenci z różnych uczelni realizujący różne programy studiów. Ankieta została dobrze przyjęta przez respondentów i pokazała, że można uzyskać na jej podstawie wartościowe informacje, które pozwoliły na wprowadzenie korekt do scenariusza i stworzenie jego docelowej wersji. Ponadto narzędzie jest stale poprawiane na podstawie nieustannie zbieranych informacji zwrotnych.

Badanie Studiebarometeret składa się z pytań z kilku obszarów tematycznych:

  • nauczanie i doradztwo akademickie,
  • warunki kształcenia,
  • zaangażowanie i wpływ studentów na program kształcenia,
  • możliwości inspirowania studentów za pomocą programu studiów,
  • praktyki zawodowe,
  • przydatność w życiu zawodowym,
  • system oceny i przydzielania zadań,
  • efekty kształcenia.

Dodatkowo studenci są pytani o poziom ogólnej satysfakcji z programu kształcenia.

Co roku kwestionariusz jest poddawany zmianom (edycja kafeterii, dodanie lub usunięcie pytań), więc pełna porównywalność wyników możliwa jest tylko w danym roku w stosunku do różnych programów kształcenia lub instytucji edukacyjnych. W ankiecie zastosowano pięciostopniową skalę Likerta (z dodatkową opcją „nie wiem/nie dotyczy” wówczas, gdy było to uzasadnione).

Dzięki udostępnionym przez uczelnie danym NOKUT może wysłać ankietę do prawie całej populacji studentów w Norwegii (99%). Badanie, cechuje się wysokim odsetkiem udzielonych odpowiedzi. Zauważano, że kwestionariusz częściej wypełniany jest przez kobiety, które oceniają swoje zadowolenie z usług edukacyjnych na wyższym poziomie niż mężczyźni. Różnice nie są duże, lecz istotne statystycznie. Pozwala to na określenie tendencji i istniejących czynników i odchyleń, jakie należy wziąć pod uwagę, formułując wnioski z badania.

6. Finansowanie

Działania ewaluacyjne prowadzone przez NOKUT są finansowane ze środków budżetowych przyznawanych przez Ministerstwo Edukacji i Badań. Z upublicznionych dokumentów nie wynika, aby  w kosztach badania partycypowały oceniane instytucje.

Badania te generuje wysokie koszty ze względu na ich skalę (obejmują cały obszar szkolnictwa wyższego w Norwegii) oraz zatrudnianych do ich realizacji zewnętrznych ekspertów, często zagranicznych, stosujących zróżnicowane narzędzia badawcze. Wydaje się jednak, że w kontekście realizowanej w ten sposób misji i osiąganych celów są to uzasadnione wydatki.

7. Ograniczenia/Uwagi

Kwestionariusz został przygotowany przez grono ekspertów w zakresie edukacji i ewaluacji na podstawie doświadczeń zagranicznych. Najpierw przetestowano go za pomocą dwóch badań pilotażowych, w których wzięli udział studenci z różnych uczelni realizujący różne programy studiów. Ankieta została dobrze przyjęta przez respondentów i pokazała, że można uzyskać na jej podstawie wartościowe informacje, które pozwoliły na wprowadzenie korekt do scenariusza i stworzenie jego docelowej wersji. Ponadto, narzędzie to jest stale poprawiane na podstawie zbieranych stale informacji zwrotnych.

Badanie Studiebarometeret składa się z pytań z kilku obszarów tematycznych:

  • nauczanie i doradztwo akademickie,
  • warunki kształcenia,
  • zaangażowanie i wpływ studentów na program kształcenia,
  • zdolność programu studiów do inspirowania studentów,
  • praktyki zawodowe,
  • przydatność w życiu zawodowym,
  • system oceny i przydzielania zadań,
  • efekty kształcenia.

Dodatkowo studenci pytani są o poziom ogólnej satysfakcji z programu kształcenia.

Co roku kwestionariusz jest poddawany zmianom (edycja kafeterii, dodanie lub usunięcie pytań), więc pełna porównywalność wyników możliwa jest tylko w danym roku w stosunku do różnych programów kształcenia lub instytucji edukacyjnych. W ankiecie zastosowano pięciostopniową skalę Likerta (z dodatkową opcją „nie wiem/nie dotyczy” wówczas, gdy było to uzasadnione).

Dzięki udostępnionym przez uczelnie danym, NOKUT może wysłać ankietę do prawie całej populacji studentów w Norwegii (99%). Badanie, cechuje się wysokim odsetkiem udzielonych odpowiedzi. Zauważano, że kwestionariusz częściej wypełniany jest przez kobiety, które oceniają swoje zadowolenie z usług edukacyjnych na wyższym poziomie niż mężczyźni. Różnice nie są duże, lecz istotne statystycznie. Pozwala to na określenie tendencji i istniejących czynników i odchyleń, jakie należy wziąć pod uwagę, formułując wnioski z badania.

Wróć na górę