Tag: badania ewaluacyjne

Ewaluacja to proces obiektywnej weryfikacji stopnia, w jakim zostały spełnione założenia Programu lub pojedynczego projektu, finansowanego zwłaszcza ze środków europejskich. Warto przy tym zaznaczyć, iż badania ewaluacyjne nie są oceną – nie służą więc poddawaniu krytyce poszczególnych osób odpowiedzialnych za wdrażanie działań.

Ewaluacje – co można badać za ich pomocą?

Prowadzenie ewaluacji pozwala zarówno na dokonanie wstępnych założeń projektu lub Programu (ewaluacja Ex-ante), jak i efektów zaobserwowanych zarówno w trakcie realizacji (ewaluacja Mid-term lub On-going), jak i po ukończeniu wszystkich planowanych przedsięwzięć. Najbardziej optymalna sytuacja występuje jednak wówczas, jeżeli badania ewaluacyjne są prowadzone na różnych etapach wdrażania.

Logika w badaniach ewaluacyjnych

Każda profesjonalna ewaluacja powinna uwzględniać logiczne powiązania pomiędzy założonymi na wstępie założeniami, a oczekiwanymi rezultatami. Metody i techniki badawcze muszą w związku z tym zostać dobrane w ten sposób, aby pozwalały uzyskać odpowiedź na wszystkie interesujące pytania badawcze. Logika ewaluacji zakłada również realność osiągnięcia założonych celów mając na uwadze planowane zasoby, które zostaną wykorzystane na etapie wdrażania projektu.

Zasada triangulacji w ewaluacjach

Każde badanie ewaluacyjne powinno także zostać przeprowadzone z wykorzystaniem różnorodnych metod analizy danych. Nie jest dopuszczalna sytuacja, gdy próbuje się uzyskać odpowiedź na postawione pytania badawcze za pomocą wyłącznie jednej techniki. Triangulacja powinna dotyczyć także członków zespołu badawczego, zaangażowanych w realizację ewaluacji. Pozwala to uzyskać odmienne punkty widzenia, dzięki czemu wyniki przeprowadzonych badań znacząco zyskują na obiektywizmie oraz wiarygodności.

Kryteria ewaluacyjne

Ewaluacje są przeprowadzone po to, aby możliwe było dokonanie diagnozy mając na uwadze przyjęte odgórnie kryteria ewaluacyjne. Zalicza się do nich najczęściej trafność, użyteczność, skuteczność, trwałość, a także efektywność.

Ewaluacja wysokiej jakości – komu zlecić usługę?

Aby badanie ewaluacyjne mogło przynieść wartościowe wnioski, warto przy wyborze firmy ewaluacyjnej kierować się nie tylko ceną, lecz przede wszystkim dotychczasowym doświadczeniem oraz kompetencjami podmiotu realizującego tego typu usługi. Dzięki temu ewaluacja nie będzie jedynie formalnym obowiązkiem, lecz pozwoli usprawnić działania podejmowane w ramach przyszłych projektów. 

Ewaluacja Ex-ante jest prowadzona na etapie poprzedzającym wdrażanie Programu. Jej główny cel stanowi zweryfikowanie, na ile uzasadnione jest podjęcie planowanych interwencji i czy zakładane rezultaty mają szansę zostać osiągnięte. W poniższym artykule zostały przedstawione najważniejsze informacje na temat ewaluacji wstępnej.

Spójność wewnętrzna w ewaluacji Ex-ante

W ramach badań ewaluacyjnych przed wdrożeniem Programu weryfikacji jest poddawana między innymi spójność wewnętrzna. Polega ona najprościej rzecz ujmując na tym, iż działania zaplanowane do realizacji powinny stwarzać realną możliwość osiągnięcia celów mając na uwadze zakładane do wykorzystania środki finansowe oraz pozostałe zasoby. Zapewniona powinna być zarazem możliwość prowadzenia stałego monitoringu uzyskiwanych efektów i – w miarę potrzeby – wprowadzenia niezbędnych modyfikacji oraz udoskonaleń z punktu widzenia beneficjentów.

Badania ewaluacyjne – spójność zewnętrzna

Analizie podlega kwestia tego, czy założenia programowe są zgodne z zapisami strategii zarówno na poziomie regionalnym, krajowym, jak i europejskim. Mogą być to chociażby takie dokumenty jak strategie rozwoju miast, strategie rozwiązywania lokalnych problemów społecznych czy programy na rzecz walki z uzależnieniami.

Założenia projektowe powinny znajdować odzwierciedlenie w lokalnych potrzebach i problemach oraz stanowić na nie właściwą odpowiedź.

Badania Ex-ante – w jaki sposób się je prowadzi?

W badaniach ewaluacyjnych Ex-ante wykorzystywana jest przede wszystkim metoda analizy danych zastanych (desk research). Badacze dokonują dogłębnego przeglądu dostępnych dokumentów strategicznych i projektowych, starając się poddać weryfikacji kryterium spójności. Analizie podlega także literatura naukowa oraz publikacje eksperckie wpisujące się w tematykę założeń Programu.

Analiza desk research służy następnie stworzeniu narzędzi do badań ilościowych oraz jakościowych. Uczestnikami badań ewaluacyjnych poprzedzających wdrażanie Programu zwykle są osoby odpowiedzialne za zarządzanie, monitoring oraz realizację poszczególnych działań. Można z nimi przeprowadzić m.in. następujące badania:

• IDI – indywidualne wywiady jakościowe pozwalają pozyskać pogłębione informacje na temat kontekstu projektu/Programu. Dzięki temu można się dowiedzieć, jakie były przesłanki ku temu, aby podjąć się jego realizacji oraz jakie zostały zaplanowane działania na wypadek, gdyby zanotowano problemy z osiągnięciem zakładanych wskaźników;

• FGI – grupowe wywiady fokusowe stwarzają możliwość skonfrontowania opinii i przemyśleń przedstawicieli różnych instytucji zaangażowanych we wdrażanie Programu czy zarządzanie nim. Są one zazwyczaj prowadzone w grupach 7-osobowych pod nadzorem odpowiednio przygotowanego moderatora;

• Badania ankietowe – pomiar o charakterze ilościowym realizowany w celu uzyskania danych o charakterze reprezentatywnym. Są one najczęściej wykorzystywane z zamiarem pozyskania informacji od beneficjentów (bezpośrednich oraz ostatecznych).

Podsumowanie

Ewaluacja Ex-ante pełni zatem bardzo ważną rolę, umożliwiając dokonanie niezbędnych usprawnień w założeniach projektowych. Jej przeprowadzenie pozwala znacząco zwiększyć szansę uzyskania zakładanych wartości wskaźników, a tym samym zaspokojenia potrzeb beneficjentów. 

Badania ewaluacyjne ex-post to termin ekonomiczny wprowadzony przez Komisję Europejską w celu obiektywnego oceniania projektów, programów lub polityki. Ewaluacja ta polega na ocenie projektu lub programu operacyjnego po jego zakończeniu, a także uwzględnia analizy danych na temat zakresu i trwałości ich oddziaływania. 

W jakim celu prowadzi się badania ewaluacyjne?

Badania te prowadzone są w celu uzyskania odpowiedzi na pytanie, czy wcześniejsze postanowienia zostały spełnione, a także by ocenić rezultaty działań. Metoda ta pozwala również skutecznie zaplanować kolejne aktywności i jest coraz szerzej wykorzystywana zarówno w większych, jak i mniejszych projektach.

Jak prowadzi się badania ex-post?

Ewaluacja ex-post musi zostać uwieczniona na dokumencie będącym raportem końcowym projektu współfinansowanego ze środków europejskich. Raport przeprowadza się zawsze po zakończeniu projektu i musi on zawierać m.in.:

•    charakterystykę projektu, 
•    analizę wyników badań, 
•    analizę i ocenę procesu realizacji,
•    wszelkie niezbędne dokumenty pomocne w procesie ewaluacji.

Kto dokonuje ewaluacji ex-post?

Osoba zajmująca się ewaluacją nazywana jest ewaluatorem i jest ona niezależna od stron uczestniczących w projekcie oraz ma odpowiednią wiedzę - np. ekspert akademicki lub firma badawcza. 

Korzyści

Ewaluacja ex-post gwarantuje poprawę jakości, skuteczności i spójności pomocy funduszy europejskich, a także pomaga w zwiększeniu efektywności zarówno planowania, jak i realizowania projektów i programów operacyjnych. Korzyści, jakie instytucje mogą osiągnąć z realizacji badań ex-post, dotyczą szczególnie stałego rozwoju możliwego dzięki obiektywnej ocenie.

Kryteria oceny

W procesie ewaluacji ex-post wyróżniamy następujące kryteria oceny:
•    efektywność 
•    użyteczność
•    skuteczność i trwałość

Inne rodzaje ewaluacji

Ewaluacja ex-post została wprowadzona do słownika ekonomicznego wraz z ewaluacją ex-ante oraz ewaluacją bieżącą. Terminów tych używa się w zależności od tego, w którym momencie przeprowadzane zostają ewaluacje.
 

Ewaluacja Mid-term jest prowadzona w celu diagnozy stopnia, w jakim udało się osiągnąć zakładane wskaźniki rezultatu w połowie realizacji Programu. Badanie tego typu powinna przeprowadzić zewnętrzna firma ewaluacyjna, aby możliwe było zachowanie obiektywizmu w trakcie dokonywanych pomiarów.

Warto zaznaczyć, że komisja europejska podjęła decyzję, iż w perspektywie programowania 2014-2020 (podobnie jak 2007-2013) realizacja ewaluacji Mid-term ma charakter jedynie fakultatywny. Nie znaczy to jednak bynajmniej, że nie jest uzasadnione jej wykonanie.

Ewaluacja Mid-term – dlaczego warto ją wykonać?

Badania ewaluacyjne mid-term dostarcza cennych wniosków, dzięki którym można się dowiedzieć, jakie jest prawdopodobieństwo osiągnięcia wskaźników Programu, mając na uwadze dotychczas podjęte działania. Dzięki przeprowadzonym analizom można zidentyfikować obszary wymagające usprawnień, po czym podjąć aktywność w celu ich wdrożenia.  Badanie ewaluacyjne mid-term pozwala więc zwiększyć skuteczność i efektywność interwencji, uwzględniając zmieniający się kontekst społeczny oraz instytucjonalny.

Jakie metody są wykorzystywane?

Ewaluacja w środkowej części realizacji Programu uzasadnia przeprowadzenie badań zarówno z zastosowaniem technik ilościowych, jak i jakościowych. Badania mogą być wykonane m.in. na dotychczasowych beneficjantach, osobach odpowiedzialnych za zarządzanie Programem i poszczególnymi projektami, a także ich wdrażanie oraz monitoring. W tym celu można zrealizować m.in. badania ilościowe CATI (telefoniczne) lub CAWI (internetowe). Aby jednak możliwe było osiągniecie wysokiego response rate, warto wcześniej dostarczyć respondentom list polecający, podpisany przez przedstawiciela instytucji zlecającej badanie ewaluacyjne.

W celu uzyskania pogłębionych danych w obszarze badawczym prowadzone są natomiast najczęściej badania jakościowe – zarówno indywidualne (IDI, TDI), jak i grupowe (FGI). Wykorzystanie w ramach jednej ewaluacji Mid-term różnego rodzaju metod, technik i narzędzi pozwala spełnić tak ważne przecież w przypadku ewaluacji Programów unijnych kryterium triangulacji metodologicznej.

Firmy ewaluacyjne – jak wybrać najlepszą spośród nich?

Kluczową kwestią decydującą o tym, czy ewaluacja dostarczy podmiotowi realizującego Program z Funduszy Europejskich, jest wybór profesjonalnej firmy ewaluacyjnej. Należy wobec tego zwrócić szczególną uwagę zwłaszcza na następujące aspekty:

• Od jakiego czasu firma ewaluacyjna działa na rynku?
• Ile projektów i dla jakich instytucji dotychczas zrealizowała?
• Czy może pochwalić się referencjami od dotychczasowych klientów?
• Czy posiada w swoim zespole wykwalifikowanych badaczy z doświadczeniem?
• Za pomocą jakich metod i technik badawczych zamierza przeprowadzić badanie ewaluacyjne?
• Na jakie pytania badawcze deklaruje uzyskać odpowiedzi?
• Czy przedstawiona koncepcja metodologiczna jest spójna z celami badania?
• Czy zaproponowana logika badania umożliwi zweryfikowanie stopnia osiągnięcia zakładanych wskaźników?

Podsumowanie

Pomimo więc faktu, iż Komisja Europejska nie wymaga przeprowadzenia ewaluacji mid-term, warto jednak się na to zdecydować, gdyż uzyskane w jej ramach wnioski pozwalają usprawnić podejmowaną interwencję, a co za tym idzie zwiększyć prawdopodobieństwo uzyskania docelowych wartości wskaźników. Aby jednak ewaluacja tego typu miała uzasadnienie, należy szczególną uwagę zwrócić na wybór profesjonalnej firmy badawczej. 

Podejmując działania, które nakierowane są na poprawienie skuteczności realizowanych projektów czy programów, warto zwrócić uwagę nie tylko na potrzeby beneficjentów, ale także na takie kwestie, jak: komunikacja między członkami zespołu, trafność wprowadzanych zmian czy nowe możliwości dalszego rozwoju. Skupienie się na tych obszarach, pozwoli na lepsze zaprojektowanie działań oraz zwiększenie skuteczności kolejnych edycji realizowanego programu.

Korzyści, które skłaniają do realizacji badania

Przeprowadzane procesy badawcze, nakierowane na ewaluacje, mają na celu:

• rozpoznanie mechanizmów, które są obecne w realizowanym programie/projekcie;
• przewidywanie efektów programu w odpowiedzi na założone cele;
• usprawnianie działań, dzięki podnoszeniu ich przejrzystości;
• maksymalne wykorzystanie dostępnych zasobów.

Biorąc pod uwagę powyższe korzyści, można powiedzieć, iż badania ewaluacyjne zorientowane są na wytyczenie kierunków dalszego rozwoju przy jednoczesnej analizie dotychczasowych działań. Dzięki systematycznemu przyglądaniu się realizowanemu projektowi bądź programowi, można uskuteczniać podejmowane działania, co następnie pozytywnie przełoży się na osiągane efekty.

Funkcje, które nakierowują procesy badawcze

Wśród funkcji badań ewaluacyjnych należy wymienić:

• potwierdzenie bądź zaprzeczenie społecznej użyteczności zaproponowanego programu/projektu;
• pozyskiwanie wiedzy oraz wyników badań we wskazanym zakresie wraz ze wskazaniem związków przyczynowo-skutkowych między podjętym działaniem, a osiągniętym efektem;
• gromadzenie wiedzy, ułatwiającej wdrążanie kolejnych programów/projektów lub modyfikowanie już istniejących wraz z ustaleniem celów odpowiadających zebranym informacjom.

Co może podlegać pod realizację procesu badawczego?

Procesy badawcze, które są nakierowane na ewaluacje, mogą orientować się wokół:

• oceny stopnia, w jaki zostają zrealizowane postawione cele;
• bilansu zysków i strat;
• trafności celów realizowanego badania do rzeczywiście istniejących problemów;
• dopasowania celów programu do potrzeb skonkretyzowanej grupy odbiorców badania;
• oceny stopnia, w jaki efekty programu są trwałe.

Takie procesy badawcze dają szansę na usprawnienie dotychczas podejmowanych działań oraz wzmacniają ich skuteczność. Dzięki właściwemu zrozumieniu istoty prowadzonego programu, można dostosowywać jego przebieg do pojawiających się potrzeb i oczekiwań jego odbiorców, a przy tym przewidzieć jego efekty. Wszystko to pozwala na zaplanowanie działań nakierowanych na osiąganie wyznaczonych celów.

30 kwietnia 2011 zakończyliśmy realizację badań na temat sposobu postrzegania i poziomu wiedzy studentów w Polsce nt. Europejskiej Sieci Ekologicznej Natura 2000. Badanie zostało zrealizowane na zlecenie Generalnej Dyrekcji Ochrony Środowiska.

Realizujemy badanie ewaluacyjne projektu pod nazwą:  Politechnika XXI wielu - Program rozwojowy Politechniki Krakowskiej - najwyższej jakości dydaktyka dla przyszłych polskich inżynierów współfinansowanego ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego w ramach poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki.

Nasza firma wygrała przetarg na ewaluację dla Powiatowego Urzędu Pracy w Malborku. Ewaluacja projektu pn. Wczoraj - Dziś - Jutro. Etap 2. Partnerstwo na rzecz opracowania i wdrożenia Strategii Zarządzania Zmianą Gospodarczą w Powiecie Malborskim.

Zakończyliśmy rok 2010 ponad 100 zrealizowanymi badaniami ewaluacyjnymi. Realizowaliśmy głównie ewaluacje PO KL w ramach priorytetu VI, VII oraz VIII.

Politechnika Poznańska wybrała naszą firmę do realizacji badania ewaluacyjnego  mid-term projektu  Era inżyniera. Poddziałanie 4.1.2 PO KL. Badanie realizowane będzie w styczniu 2010.