Tag: badania ewaluacyjne

Ewaluacja – na czym polega i jakie korzyści może przynieść?

Ewaluacja to proces obiektywnej weryfikacji stopnia, w jakim zostaÅ‚y speÅ‚nione zaÅ‚ożenia Programu lub pojedynczego projektu, finansowanego zwÅ‚aszcza ze Å›rodków europejskich. Warto przy tym zaznaczyć, iż badania ewaluacyjne nie sÄ… ocenÄ… – nie sÅ‚użą wiÄ™c poddawaniu krytyce poszczególnych osób odpowiedzialnych za wdrażanie dziaÅ‚aÅ„.

Ewaluacje – co można badać za ich pomocÄ…?

Prowadzenie ewaluacji pozwala zarówno na dokonanie wstÄ™pnych zaÅ‚ożeÅ„ projektu lub Programu (ewaluacja Ex-ante), jak i efektów zaobserwowanych zarówno w trakcie realizacji (ewaluacja Mid-term lub On-going), jak i po ukoÅ„czeniu wszystkich planowanych przedsiÄ™wzięć. Najbardziej optymalna sytuacja wystÄ™puje jednak wówczas, jeżeli badania ewaluacyjne sÄ… prowadzone na różnych etapach wdrażania.

Logika w badaniach ewaluacyjnych

Każda profesjonalna ewaluacja powinna uwzglÄ™dniać logiczne powiÄ…zania pomiÄ™dzy zaÅ‚ożonymi na wstÄ™pie zaÅ‚ożeniami, a oczekiwanymi rezultatami. Metody i techniki badawcze muszÄ… w zwiÄ…zku z tym zostać dobrane w ten sposób, aby pozwalaÅ‚y uzyskać odpowiedź na wszystkie interesujÄ…ce pytania badawcze. Logika ewaluacji zakÅ‚ada również realność osiÄ…gniÄ™cia zaÅ‚ożonych celów majÄ…c na uwadze planowane zasoby, które zostanÄ… wykorzystane na etapie wdrażania projektu.

Zasada triangulacji w ewaluacjach

Każde badanie ewaluacyjne powinno także zostać przeprowadzone z wykorzystaniem różnorodnych metod analizy danych. Nie jest dopuszczalna sytuacja, gdy próbuje siÄ™ uzyskać odpowiedź na postawione pytania badawcze za pomocÄ… wyłącznie jednej techniki. Triangulacja powinna dotyczyć także czÅ‚onków zespoÅ‚u badawczego, zaangażowanych w realizacjÄ™ ewaluacji. Pozwala to uzyskać odmienne punkty widzenia, dziÄ™ki czemu wyniki przeprowadzonych badaÅ„ znaczÄ…co zyskujÄ… na obiektywizmie oraz wiarygodnoÅ›ci.

Kryteria ewaluacyjne

Ewaluacje sÄ… przeprowadzone po to, aby możliwe byÅ‚o dokonanie diagnozy majÄ…c na uwadze przyjÄ™te odgórnie kryteria ewaluacyjne. Zalicza siÄ™ do nich najczęściej trafność, użyteczność, skuteczność, trwaÅ‚ość, a także efektywność.

Ewaluacja wysokiej jakoÅ›ci – komu zlecić usÅ‚ugÄ™?

Aby badanie ewaluacyjne mogÅ‚o przynieść wartoÅ›ciowe wnioski, warto przy wyborze firmy ewaluacyjnej kierować siÄ™ nie tylko cenÄ…, lecz przede wszystkim dotychczasowym doÅ›wiadczeniem oraz kompetencjami podmiotu realizujÄ…cego tego typu usÅ‚ugi. DziÄ™ki temu ewaluacja nie bÄ™dzie jedynie formalnym obowiÄ…zkiem, lecz pozwoli usprawnić dziaÅ‚ania podejmowane w ramach przyszÅ‚ych projektów. 

Ewaluacja Ex-ante – w jakim celu się ją prowadzi?

 

Ewaluacja Ex-ante jest prowadzona na etapie poprzedzajÄ…cym wdrażanie Programu. Jej gÅ‚ówny cel stanowi zweryfikowanie, na ile uzasadnione jest podjÄ™cie planowanych interwencji i czy zakÅ‚adane rezultaty majÄ… szansÄ™ zostać osiÄ…gniÄ™te. W poniższym artykule zostaÅ‚y przedstawione najważniejsze informacje na temat ewaluacji wstÄ™pnej.

Spójność wewnÄ™trzna w ewaluacji Ex-ante

W ramach badaÅ„ ewaluacyjnych przed wdrożeniem Programu weryfikacji jest poddawana miÄ™dzy innymi spójność wewnÄ™trzna. Polega ona najproÅ›ciej rzecz ujmujÄ…c na tym, iż dziaÅ‚ania zaplanowane do realizacji powinny stwarzać realnÄ… możliwość osiÄ…gniÄ™cia celów majÄ…c na uwadze zakÅ‚adane do wykorzystania Å›rodki finansowe oraz pozostaÅ‚e zasoby. Zapewniona powinna być zarazem możliwość prowadzenia staÅ‚ego monitoringu uzyskiwanych efektów i – w miarÄ™ potrzeby – wprowadzenia niezbÄ™dnych modyfikacji oraz udoskonaleÅ„ z punktu widzenia beneficjentów.

Badania ewaluacyjne – spójność zewnÄ™trzna

Analizie podlega kwestia tego, czy zaÅ‚ożenia programowe sÄ… zgodne z zapisami strategii zarówno na poziomie regionalnym, krajowym, jak i europejskim. MogÄ… być to chociażby takie dokumenty jak strategie rozwoju miast, strategie rozwiÄ…zywania lokalnych problemów spoÅ‚ecznych czy programy na rzecz walki z uzależnieniami.

Założenia projektowe powinny znajdować odzwierciedlenie w lokalnych potrzebach i problemach oraz stanowić na nie właściwą odpowiedź.

Badania Ex-ante – w jaki sposób siÄ™ je prowadzi?

W badaniach ewaluacyjnych Ex-ante wykorzystywana jest przede wszystkim metoda analizy danych zastanych (desk research). Badacze dokonujÄ… dogłębnego przeglÄ…du dostÄ™pnych dokumentów strategicznych i projektowych, starajÄ…c siÄ™ poddać weryfikacji kryterium spójnoÅ›ci. Analizie podlega także literatura naukowa oraz publikacje eksperckie wpisujÄ…ce siÄ™ w tematykÄ™ zaÅ‚ożeÅ„ Programu.

Analiza desk research sÅ‚uży nastÄ™pnie stworzeniu narzÄ™dzi do badaÅ„ iloÅ›ciowych oraz jakoÅ›ciowych. Uczestnikami badaÅ„ ewaluacyjnych poprzedzajÄ…cych wdrażanie Programu zwykle sÄ… osoby odpowiedzialne za zarzÄ…dzanie, monitoring oraz realizacjÄ™ poszczególnych dziaÅ‚aÅ„. Można z nimi przeprowadzić m.in. nastÄ™pujÄ…ce badania:

  • IDI – indywidualne wywiady jakoÅ›ciowe pozwalajÄ… pozyskać pogłębione informacje na temat kontekstu projektu/Programu. DziÄ™ki temu można siÄ™ dowiedzieć, jakie byÅ‚y przesÅ‚anki ku temu, aby podjąć siÄ™ jego realizacji oraz jakie zostaÅ‚y zaplanowane dziaÅ‚ania na wypadek, gdyby zanotowano problemy z osiÄ…gniÄ™ciem zakÅ‚adanych wskaźników;

 

  • FGI – grupowe wywiady fokusowe stwarzajÄ… możliwość skonfrontowania opinii i przemyÅ›leÅ„ przedstawicieli różnych instytucji zaangażowanych we wdrażanie Programu czy zarzÄ…dzanie nim. SÄ… one zazwyczaj prowadzone w grupach 7-osobowych pod nadzorem odpowiednio przygotowanego moderatora;

 

  • Badania ankietowe – pomiar o charakterze iloÅ›ciowym realizowany w celu uzyskania danych o charakterze reprezentatywnym. SÄ… one najczęściej wykorzystywane z zamiarem pozyskania informacji od beneficjentów (bezpoÅ›rednich oraz ostatecznych).

 

Podsumowanie

Ewaluacja Ex-ante peÅ‚ni zatem bardzo ważnÄ… rolÄ™, umożliwiajÄ…c dokonanie niezbÄ™dnych usprawnieÅ„ w zaÅ‚ożeniach projektowych. Jej przeprowadzenie pozwala znaczÄ…co zwiÄ™kszyć szansÄ™ uzyskania zakÅ‚adanych wartoÅ›ci wskaźników, a tym samym zaspokojenia potrzeb beneficjentów. 

Badania ewaluacyjne Ex-post - na czym polegajÄ…?

Badania ewaluacyjne ex-post to termin ekonomiczny wprowadzony przez KomisjÄ™ EuropejskÄ… w celu obiektywnego oceniania projektów, programów lub polityki. Ewaluacja ta polega na ocenie projektu lub programu operacyjnego po jego zakoÅ„czeniu, a także uwzglÄ™dnia analizy danych na temat zakresu i trwaÅ‚oÅ›ci ich oddziaÅ‚ywania. 

W jakim celu prowadzi siÄ™ badania ewaluacyjne?

Badania te prowadzone sÄ… w celu uzyskania odpowiedzi na pytanie, czy wczeÅ›niejsze postanowienia zostaÅ‚y speÅ‚nione, a także by ocenić rezultaty dziaÅ‚aÅ„. Metoda ta pozwala również skutecznie zaplanować kolejne aktywnoÅ›ci i jest coraz szerzej wykorzystywana zarówno w wiÄ™kszych, jak i mniejszych projektach.

Jak prowadzi siÄ™ badania ex-post?

Ewaluacja ex-post musi zostać uwieczniona na dokumencie bÄ™dÄ…cym raportem koÅ„cowym projektu wspóÅ‚finansowanego ze Å›rodków europejskich. Raport przeprowadza siÄ™ zawsze po zakoÅ„czeniu projektu i musi on zawierać m.in.:


•    charakterystykÄ™ projektu, 
•    analizÄ™ wyników badaÅ„, 
•    analizÄ™ i ocenÄ™ procesu realizacji,
•    wszelkie niezbÄ™dne dokumenty pomocne w procesie ewaluacji.

Kto dokonuje ewaluacji ex-post?

Osoba zajmujÄ…ca siÄ™ ewaluacjÄ… nazywana jest ewaluatorem i jest ona niezależna od stron uczestniczÄ…cych w projekcie oraz ma odpowiedniÄ… wiedzÄ™ - np. ekspert akademicki lub firma badawcza. 

Korzyści

Ewaluacja ex-post gwarantuje poprawÄ™ jakoÅ›ci, skutecznoÅ›ci i spójnoÅ›ci pomocy funduszy europejskich, a także pomaga w zwiÄ™kszeniu efektywnoÅ›ci zarówno planowania, jak i realizowania projektów i programów operacyjnych. KorzyÅ›ci, jakie instytucje mogÄ… osiÄ…gnąć z realizacji badaÅ„ ex-post, dotyczÄ… szczególnie staÅ‚ego rozwoju możliwego dziÄ™ki obiektywnej ocenie.

Kryteria oceny

W procesie ewaluacji ex-post wyróżniamy nastÄ™pujÄ…ce kryteria oceny:
•    efektywność 
•    użyteczność
•    skuteczność i trwaÅ‚ość

Inne rodzaje ewaluacji

Ewaluacja ex-post zostaÅ‚a wprowadzona do sÅ‚ownika ekonomicznego wraz z ewaluacjÄ… ex-ante oraz ewaluacjÄ… bieżącÄ…. Terminów tych używa siÄ™ w zależnoÅ›ci od tego, w którym momencie przeprowadzane zostajÄ… ewaluacje.
 

Badania ewaluacyjne Mid-term – co pozwalają zweryfikować?

 

Ewaluacja Mid-term jest prowadzona w celu diagnozy stopnia, w jakim udaÅ‚o siÄ™ osiÄ…gnąć zakÅ‚adane wskaźniki rezultatu w poÅ‚owie realizacji Programu. Badanie tego typu powinna przeprowadzić zewnÄ™trzna firma ewaluacyjna, aby możliwe byÅ‚o zachowanie obiektywizmu w trakcie dokonywanych pomiarów.

Warto zaznaczyć, że komisja europejska podjęła decyzję, iż w perspektywie programowania 2014-2020 (podobnie jak 2007-2013) realizacja ewaluacji Mid-term ma charakter jedynie fakultatywny. Nie znaczy to jednak bynajmniej, że nie jest uzasadnione jej wykonanie.

Ewaluacja Mid-term – dlaczego warto jÄ… wykonać?

Badania ewaluacyjne mid-term dostarcza cennych wniosków, dziÄ™ki którym można siÄ™ dowiedzieć, jakie jest prawdopodobieÅ„stwo osiÄ…gniÄ™cia wskaźników Programu, majÄ…c na uwadze dotychczas podjÄ™te dziaÅ‚ania. DziÄ™ki przeprowadzonym analizom można zidentyfikować obszary wymagajÄ…ce usprawnieÅ„, po czym podjąć aktywność w celu ich wdrożenia.  Badanie ewaluacyjne mid-term pozwala wiÄ™c zwiÄ™kszyć skuteczność i efektywność interwencji, uwzglÄ™dniajÄ…c zmieniajÄ…cy siÄ™ kontekst spoÅ‚eczny oraz instytucjonalny.

Jakie metody sÄ… wykorzystywane?

Ewaluacja w Å›rodkowej części realizacji Programu uzasadnia przeprowadzenie badaÅ„ zarówno z zastosowaniem technik iloÅ›ciowych, jak i jakoÅ›ciowych. Badania mogÄ… być wykonane m.in. na dotychczasowych beneficjantach, osobach odpowiedzialnych za zarzÄ…dzanie Programem i poszczególnymi projektami, a także ich wdrażanie oraz monitoring. W tym celu można zrealizować m.in. badania iloÅ›ciowe CATI (telefoniczne) lub CAWI (internetowe). Aby jednak możliwe byÅ‚o osiÄ…gniecie wysokiego response rate, warto wczeÅ›niej dostarczyć respondentom list polecajÄ…cy, podpisany przez przedstawiciela instytucji zlecajÄ…cej badanie ewaluacyjne.

W celu uzyskania pogłębionych danych w obszarze badawczym prowadzone sÄ… natomiast najczęściej badania jakoÅ›ciowe – zarówno indywidualne (IDI, TDI), jak i grupowe (FGI). Wykorzystanie w ramach jednej ewaluacji Mid-term różnego rodzaju metod, technik i narzÄ™dzi pozwala speÅ‚nić tak ważne przecież w przypadku ewaluacji Programów unijnych kryterium triangulacji metodologicznej.

Firmy ewaluacyjne – jak wybrać najlepszÄ… spoÅ›ród nich?

KluczowÄ… kwestiÄ… decydujÄ…cÄ… o tym, czy ewaluacja dostarczy podmiotowi realizujÄ…cego Program z Funduszy Europejskich, jest wybór profesjonalnej firmy ewaluacyjnej. Należy wobec tego zwrócić szczególnÄ… uwagÄ™ zwÅ‚aszcza na nastÄ™pujÄ…ce aspekty:

  • Od jakiego czasu firma ewaluacyjna dziaÅ‚a na rynku?
  • Ile projektów i dla jakich instytucji dotychczas zrealizowaÅ‚a?
  • Czy może pochwalić siÄ™ referencjami od dotychczasowych klientów?
  • Czy posiada w swoim zespole wykwalifikowanych badaczy z doÅ›wiadczeniem?
  • Za pomocÄ… jakich metod i technik badawczych zamierza przeprowadzić badanie ewaluacyjne?
  • Na jakie pytania badawcze deklaruje uzyskać odpowiedzi?
  • Czy przedstawiona koncepcja metodologiczna jest spójna z celami badania?
  • Czy zaproponowana logika badania umożliwi zweryfikowanie stopnia osiÄ…gniÄ™cia zakÅ‚adanych wskaźników?

 

Podsumowanie

Pomimo wiÄ™c faktu, iż Komisja Europejska nie wymaga przeprowadzenia ewaluacji mid-term, warto jednak siÄ™ na to zdecydować, gdyż uzyskane w jej ramach wnioski pozwalajÄ… usprawnić podejmowanÄ… interwencjÄ™, a co za tym idzie zwiÄ™kszyć prawdopodobieÅ„stwo uzyskania docelowych wartoÅ›ci wskaźników. Aby jednak ewaluacja tego typu miaÅ‚a uzasadnienie, należy szczególnÄ… uwagÄ™ zwrócić na wybór profesjonalnej firmy badawczej. 

Co umożliwiają przeprowadzone ewaluacje?

PodejmujÄ…c dziaÅ‚ania, które nakierowane sÄ… na poprawienie skutecznoÅ›ci realizowanych projektów czy programów, warto zwrócić uwagÄ™ nie tylko na potrzeby beneficjentów, ale także na takie kwestie, jak: komunikacja miÄ™dzy czÅ‚onkami zespoÅ‚u, trafność wprowadzanych zmian czy nowe możliwoÅ›ci dalszego rozwoju. Skupienie siÄ™ na tych obszarach, pozwoli na lepsze zaprojektowanie dziaÅ‚aÅ„ oraz zwiÄ™kszenie skutecznoÅ›ci kolejnych edycji realizowanego programu.

 

KorzyÅ›ci, które skÅ‚aniajÄ… do realizacji badania

Przeprowadzane procesy badawcze, nakierowane na ewaluacje, majÄ… na celu:

  • rozpoznanie mechanizmów, które sÄ… obecne w realizowanym programie/projekcie;
  • przewidywanie efektów programu w odpowiedzi na zaÅ‚ożone cele;
  • usprawnianie dziaÅ‚aÅ„, dziÄ™ki podnoszeniu ich przejrzystoÅ›ci;
  • maksymalne wykorzystanie dostÄ™pnych zasobów.

BiorÄ…c pod uwagÄ™ powyższe korzyÅ›ci, można powiedzieć, iż badania ewaluacyjne zorientowane sÄ… na wytyczenie kierunków dalszego rozwoju przy jednoczesnej analizie dotychczasowych dziaÅ‚aÅ„. DziÄ™ki systematycznemu przyglÄ…daniu siÄ™ realizowanemu projektowi bÄ…dź programowi, można uskuteczniać podejmowane dziaÅ‚ania, co nastÄ™pnie pozytywnie przeÅ‚oży siÄ™ na osiÄ…gane efekty.

Funkcje, które nakierowujÄ… procesy badawcze

WÅ›ród funkcji badaÅ„ ewaluacyjnych należy wymienić:

  • potwierdzenie bÄ…dź zaprzeczenie spoÅ‚ecznej użytecznoÅ›ci zaproponowanego programu/projektu;
  • pozyskiwanie wiedzy oraz wyników badaÅ„ we wskazanym zakresie wraz ze wskazaniem zwiÄ…zków przyczynowo-skutkowych miÄ™dzy podjÄ™tym dziaÅ‚aniem, a osiÄ…gniÄ™tym efektem;
  • gromadzenie wiedzy, uÅ‚atwiajÄ…cej wdrążanie kolejnych programów/projektów lub modyfikowanie już istniejÄ…cych wraz z ustaleniem celów odpowiadajÄ…cych zebranym informacjom.

 

Co może podlegać pod realizację procesu badawczego?

Procesy badawcze, które sÄ… nakierowane na ewaluacje, mogÄ… orientować siÄ™ wokóÅ‚:

  • oceny stopnia, w jaki zostajÄ… zrealizowane postawione cele;
  • bilansu zysków i strat;
  • trafnoÅ›ci celów realizowanego badania do rzeczywiÅ›cie istniejÄ…cych problemów;
  • dopasowania celów programu do potrzeb skonkretyzowanej grupy odbiorców badania;
  • oceny stopnia, w jaki efekty programu sÄ… trwaÅ‚e.

Takie procesy badawcze dajÄ… szansÄ™ na usprawnienie dotychczas podejmowanych dziaÅ‚aÅ„ oraz wzmacniajÄ… ich skuteczność. DziÄ™ki wÅ‚aÅ›ciwemu zrozumieniu istoty prowadzonego programu, można dostosowywać jego przebieg do pojawiajÄ…cych siÄ™ potrzeb i oczekiwaÅ„ jego odbiorców, a przy tym przewidzieć jego efekty. Wszystko to pozwala na zaplanowanie dziaÅ‚aÅ„ nakierowanych na osiÄ…ganie wyznaczonych celów.

Ewaluacja dla Politechniki Krakowskiej

Realizujemy badanie ewaluacyjne projektu pod nazwÄ…:  Politechnika XXI wielu - Program rozwojowy Politechniki Krakowskiej - najwyższej jakoÅ›ci dydaktyka dla przyszÅ‚ych polskich inżynierów wspóÅ‚finansowanego ze Å›rodków Unii Europejskiej w ramach Europejskiego Funduszu SpoÅ‚ecznego w ramach poddziaÅ‚ania 4.1.1 Programu Operacyjnego KapitaÅ‚ Ludzki.

Ewaluacja poddziałania 8.1.2

Nasza firma wygrała przetarg na ewaluację dla Powiatowego Urzędu Pracy w Malborku. Ewaluacja projektu pn. Wczoraj - Dziś - Jutro. Etap 2. Partnerstwo na rzecz opracowania i wdrożenia Strategii Zarządzania Zmianą Gospodarczą w Powiecie Malborskim.