1. Evaluacija programa savetodavstva Srbije
Paul Warner, Univerzitet u Kentakiju
Nick Place, Univerzitet u Merliendu,
Januar 25-27, 2011

2. Doba odgovornosti
Ukoliko nešto ne može da dokaže svoju vrednost, ne dobija podršku. Da li je imalo pozitivan uticaj?
Ako ne možete da demonstrirate uspeh, ne možete ga ni nagraditi. U stvari, možda time nagrađujete neuspeh.
To što neko naporno radi ne osigurava da će to dati rezultate.
Ukoliko ne znate koje metode su su najuspešnije, može se desiti da i dalje nastavite da koristite neefikasne metode.
Ukoliko ne znate uticaje programa, oni možda neće opravdati ulaganja.

3. Logički model u evaluaciji
Šta želite da znate?
Kako to želite da saznate?
Evaluacija: pregledajte i proverite

4. Vrste evaluacija Formativne evaluacije (fokus je na procesu)
U cilju poboljšavanja programa
Summativne evaluacije (fokus je na rezultatima)
Za dokumentovanje uticaja.
Dobitak u odnosu na investicije
Odnos koristi naspram troškova

5. (Fokusi na outputima aktivnosti i participaciji)
Proces evaluacije
(Fokusi na outputima aktivnosti i participaciji)
Da li je program ostvario svoju svrhu?
Koji metod isporuke je bio najuspešniji?
Koji su kvalitetni aspekti isporuke?
Koji je participatorni nivo željenih učesnika?
Koje su bile reakcije participanata (nivo zadovoljenja)?

6. Evaluacije usmerene ka rezultatima
(Fokus je na kratkoročnim, srednjeročnim i dugoročnim rezultatima)
U kolikoj meri su se znanje, svest, veštine i raspoloženje promenili?
U kojoj meri su se ponašanja i prakse promenili?
U kojoj meri su se socijalne, ekonomske, građanske i ekološke situacije promenile?

7. Social-economic-environmental improvements
Hierarhija efekata
Social-economic-environmental improvements
Reakcije
Učenje
Aktivnosti
Broj i karakteristike ljudi koji do kojih se doprelo, frekvencija i intenzitet kontakata
Stepen satisfakcije sa programom, nivo interesa, osećanja prema aktivnostima, edukacione metode
Izmene u znanju, raspoloženju, veštinama, i nastojanjima
Izmene u ponašanju i praksama
Učešće
Izvor: Bennett i Rockwell, 1995, Ciljanje rezultata programa
Many Extension staff will remember the Bennett hierarchy of the 1970’s that was so popular and widely used throughout Extension. The Bennett hierarchy is a precursor of the present day logic model. You can see the similarities in this graphic.
Rockwell and Bennett have since developed a toolkit titled, Targeting Outcomes of Programs (TOP) that is available on the web at
See it for more information.

8. Logički model i izveštavanje

9. Logički model navodi evaluaciju
Pruža opis programa koji vodi naš evaluacioni proces
Pomaže nam da uskladimo evaluacione metode sa programom
Pomaže nam pri spoznavanju šta treba da merimo (aktivnosti, učešće, rezultati)
Pomaže nam da saznamo šta treba da merimo

10. Uskladiti evaluaciona pitanja sa programom
INPUTI
OUTPUTI
REZULTATI
Investicije programa
Aktivnosti
Učešće
Kratkoročni
Srednjeročni
Dugoročni
Evaluaciona pitanja: Na kakva pitanja želite da odgovorite? npr., dostignuća pri svakom koraku, očekivane neobavezne veze; neplanirane posledice ili lanci događaja koji su pokrenuti
Remember, the logic model is a depiction of the program – evaluation needs to match the program. Tailor questions and indicators to particular program and purpose of the evaluation.
Match evaluation questions to the program – stage of program development and purpose: improvement, assess worth/merit; new knowledge; compliance
Indicators
Indikatori: Kakvi dokazi vam trebaju da biste odgovorili na pitanja?

11. Evaluacija: Šta meriti i kada?
Šta želite da saznate o svom programu?
Evaluacija: Šta meriti i kada?
Od čega se zaprao sastojao program?
Ko je zapravo učestvovao i u čemu? Da li je ovo dopreo do načeg cilja?
Do kog nivoa su se znanje i veštine povećali?
Do kog nivoa su se prakse promenile?
Do kog stepena se upotreba fosfora smanjila? Da li su farmeri uštedeli sredstva?
Koja količina novca i koje vreme je investirano?

12. Koraci u procesu evaluacije
Identifikovati aspekte programa koje treba evaluirati (aktivnosti, participacija, ili kratko, srednje i dugoročne rezultate)
Formulisati evaluaciona pitanja
Identifikovati indikatore za svako pitanje
Odredii izvore informacija za svaki indikator
Odrediti metode prikupljanja podataka i vreme za koje treba prikupiti podatke
Sumirati podatke i doneti zaključke

13. Evaluacioni Plan Tip evaluacije (input, output, rezultat)
Evaluaciona pitanja
Indikatori
Sakupljanje podataka
Izvori
Metode
Vremenski okvir

14. Moguća evaluaciona pitanja…
Osoblje
Novac
Partneri
Procena programa edukacije roditelja
Dizajnirati i isporučiti program zasnovan na dokazima u 8 sesija
Roditelji unapređuju svoje znanje o razvoju dece
Roditelji bolje razumeju sopstveni način vaspitanja
Roditelji koriste efektivne veštine roditeljstva
Bolji odnos između roditelja i dece
Istraživanje
Omogućiti grupnu podršku
Roditelji stiču veštine efektivnog roditeljstva i vaspitanja dece
Roditelji identifikuju akcije koje treba preduzeti
Jaka porodica
Roditelji
dece
od 3-10
godina
starosti
prisustvuju
Smanjenje stresa
Do kojeg stepena je stres smanjen? odnosi poboljšani?
Do kojeg stepena su se ponašanja promenila? Za koga? Zašto? Šta se još desilo?
Do kojeg stepena su se znanje i veštine povećali? Kod koga? Zašto? Šta se još desilo?
Da li svi roditelji učestvuju kao što je zamišljeno? Ko nije i zašto? Da li su prisustvovali svim sesijama?...grupe za podršku? Nivo zadovoljstva?
Da li su sve sesije održane? Koliko dobro? Da li se grupe za podršku sastaju?
Koja količina novca i vremena je investirana?

15. Identifikacija indikatora (načina merenja)
Koji je najbolji indikator (ili indikatori) koji daje odgovor na svako evaluaciono pitanje?
Da li je to široko prihvaćeni koncept merenja?
Koju vrstu dokaza indikator daje (kvantitativni ili kvalitativni)?
Koja je jedinica merenja? ($, #, %)
Da li se lako može izmeriti?
Da li se lako može sumirati ili sakupiti?
Once we’ve identify and prioritized what it is that we will measure, then we move to determining how we will measure it. What would be the indicators for the outcomes and process variables you’ve selected. How would you know it?
Again, some of you have begun to lay this out in your evaluation plans…What data or evidence will you use to say/know that adoption has occurred; physical activity has increased; service linkages are better?

16. Primer edukacije roditelja: Evaluaciona pitanja, indikatori
Roditelji unapređuju svoje znanje o razvoju dece
Izraditi nastavni plan i program za edukaciju roditelja
Zaposleni
Roditelji identifikuju akcije koje treba preduzeti
Smanjenje stresa
Roditelji bolje razumeju sopstveni način vaspitanja
Novac
Roditelji
dece
od 3-10
godina
starosti
Sprovesti seriju od 8 interaktivnih sesija
Partneri
Bolji odnos između roditelja i dece
Roditelji stiču veštine novih načina vaspitanja dece
Roditelji koriste efektivne veštine roditeljstva
Istraživanje
Omogućiti grupnu podršku
Roditelji postaju sigurni u sopstvene sposobnosti
Jaka porodica
EVALUACIONA PITANJA
Ko/koliko roditelja je prisustvovalo/nije prisustvovalo sesijama? Da li su prisustvovali svim sesijama?
Grupe za podršku? Da li su bili zadovoljni– zaštozašto nisu?
Koliko se promenilo ponašanje? Kod koga? Zašto? Šta se još dogodilo?
Koliko se smanjio stres?
Koliko su sepoboljšali odnosi?
Koliko su znanje i veštine povećani? Kod koga? Zašto? Šta se još dogodilo?
Koja količina novca i koliko vremena je uloženo?
Koliko je sesija održano? Koliko dobro?
#, kvalitet rada grupe za podršku?
Explain how fits with collecting data over course of program; integrate into planning and program delivery
INDICATORS
# Osoblja
Iskorišćena količina novca
# partnera
# Održanih sesija
Kriterijum kvaliteta
#,% učesnika po sesiji
Sertifikati
#,% onih koji su pokazali povećano znanje i veštine
Dodatni rezultati
#,% onih kod kojih je došlo do promena
Vrste promena
#,% onih kod kojih je došlo do poboljšanja
Vrste poboljšanja

17. Merenje i indikatori aktivnosti
Kvantitet pruženih usluga– Broj edukacija (broj radionica, poseta gazdinstvima, itd.)
Tip pružene usluge– Broj svakog od tipova usluga
Broj usluženih klijenata
Broj klijenata koji su učestvovali (za svaku aktivnost ili događaj)
Proportion of target population served
Tip učesnika (commodities of farmer, size of operation, pol)
Kvalitet pružene usluge– Nivo zadovoljstva klijenta
Kvalitet prezentacija– Subjektivna ocena od strane supervizora zasnovana na posmatranju i povratnoj informaciji (feedback – u) od strane klijenata

18. Logički model sa indikatorima za Outpute i Rezultate (Outcomes)
Outputi
Rezultati
Polj. proizvođači primenjuju nove tehnike u praksi
Profitabilnost poljoprivrednog gazdinstva raste
Implementiran program
Polj. proizvođači kojima je program namenjen
Polj. proizvođači uče
Broj održanih radionica
Kvalitet radionica
Broj i procenat polj. proizvođača koji su prisustvovali edukaciji
Broj i procenat polj. proizvođača koji su povećali svoje znanje
Broj i procenat onih koji primenjuju nove tehnike
Broj i procenat onih kod kojih je došlo do povećanja profita; nivo povećanja

19. Program Outputi Rezultati Kontrola kriminala
Časovi provedeni u patroliranju
# odgovora na pozive građana
# istraženih kriminalnih dela
Izvršena hapšenja
Smanjenje počinjenih kriminalnih dela
Smanjenje broja smrtnih slučajeva i povreda nastalih zbog kriminala;
Manje oštećenja i gubitka imovine zbog kriminala
Izgradnja autoputa
Urađeni projekti
Kilometri novoizgrađenog autoputa
Kilometri rekonstruisanog autoputa
Povećani kapaciteti
Poboljšan protok saobraćaja
Skraćeno vreme putovanja
Smanjenje broja saobraćajnih nezgoda i povreda
From Poister, 2003

20. Metode prikupljanja podataka
Sekundarne Metode
Pregled izveštaja– popisivanje, upis programa
Privatne agencije ili agencije vlade

21. Sekundarne Metode
Informacije mogu biti lako dostupne i to po niskoj ceni, ili mogu biti u potpunosti nedostupne
Može se desiti da to nije indikator koji je vama potreban
Od malog značaja za učesnike programa
To može biti uopštena informacija koja se ne može dovesti u vezu sa uspehom programa
To, takođe, može biti poverljiva informacija dostupna samo u sažetom obliku

22. Metode prikupljanja podataka (pobrojane)
Primarne metode
Ankete
Fokus grupe
Posmatranje (opservacija) ponašanja učesnika
Pre-test/Post-test
Samo Post-test
Post-test plus prisećanje
Testiranje
Poređenje pojedinaca i grupa
Kontrolne grupe
Studija slučaja
Ispitivanje zadovoljstva klijenata

23. Anketa u obliku upitnika
Može se sprovesti mail-om, telefonski, licem u lice ili putem interneta
Može da ispituje ponašanje, kao i stavove i mišljenja
Može da ispituje uzorak iz grupe
Može da se sprovodi u grupi kao i pojedinačnim ispitivanjem
Potrebna je veština u kreiranju pitanja u upitniku
Može da prikuplja informacije kvantitativnog i kvalitativnog karaktera

24. Fokus Grupe
Ova metoda omogućava diskusiju sa liderom koji od članova grupe traži da mu daju svoje mišljenje o nekoj temi
Daje raznolika gledišta
Članovi grupe mogu da reaguju na mišljenja ostalih kroz interakciju
Ne daje informaciju o pojedincu
Može s desiti da mišljenja manjine ne dođu do izražaja

25. Posmatranje (opservacija)
Pogodna za posmatranje ponašanja
Omogućava vizuelnu povratnu informaciju (feedback)
Zavisno od ponašanja koje treba da se posmatra, može se sprovesti na mestu edukacije ili na lokaciji učesnika
Ako su učesnici svesni da ih neko posmatra, rezultat opservacije može biti pogrešan

26. Pre-test/Post-test
Informacije se prikupljaju dva puta, pre i posle programa
Dokumentuje promenu koja se može dovesti u vezu sa učešćem u programu
Mora se doneti odluka o tome koliko vremena treba da prođe od završetka programa da bi se mogle zabeležiti promene koje su rezultat učešća u programu (tj. da se uradi post – test)
Evaluacioni plan mora biti napravljen i implementiran pre nego što program počne

27. Samo Post-test Dokumentuje ponašanje pošto je program sproveden
Pokušava da ponašanje posle programa poveže sa učešćem u programu
Može biti dobra ako se sigurno zna da niko od učesnika nije koristio nove metode pre programa
Ova metoda može biti neophodna ako evaluacija nije bila napravljena pre nego što je program počeo

28. Post-test plus prisećanje
Dokumentuje ponašanje posle programa, pri čemu se od učesnika traži da navedu odlike svog ponašanja pre programa
Daje informaciju o stanju pre programa ako se bazira na tačnosti prisećanja
Sećanje učesnika može biti netačno ili pristrasno
Međutim, bolje je dobiti informaciju kroz prisećanje, nego nemati nikakvu informaciju o stanju pre programa

29. Testiranje
Obično se koristi da se ispita stečeno znanje ali, u nekim slučajevima, i da se dokumentuje nov način ponašanja
Neka testiranja mogu biti unutar samog programa u vidu vežbi učesnika
Obično daje bolje rezultate kada su u pitanju mladi nego kada su to odrasli učesnici
Ne može da dokumentuje dugoročne rezultate

30. Poređenje pojedinaca i grupa
Obično se koristi kada su metode prenošenja programa različite za različite pojedince ili grupe
Daje mogućnost kreatoru programa da odredi koja je metoda bila najbolja poređenjem dva ili više pojedinaca ili grupa

31. Kontrolne Grupe
Obično se ne koristi kod programa edukacije jer bi to značilo uskraćivanje programa jednoj grupi ili pojedincu da bismo imali kontrolnu grupu
Međutim, ako se program ne sprovodi za jednu grupu usled nedostatka sredstava ili je planiran za neki drugi termin, ukazuje se prilika da se uporede rezultati grupe koja je prošla kroz program i one koja nije
Grupa koja je prošla kroz program mora biti veoma slična kontrolnoj grupi da bi poređenje bilo validno
Prikupljanje informacija od kontrolne grupe može biti teško jer ona nije bila korisnik programa

32. Studija slučaja
Prikupljanje detaljnijih informacija od male grupe pojedinaca koji su učestvovali u programu
Obično daje kompletniju sliku o tome kako je pojedinac reagovao na program i iskoristio informacije koje kroz program dobio
Ne može se generalizovati, tj. proširiti na ostatak populacije
Može biti veoma ubedljiva kada je u pitanju uticaj programa na pojedinca

33. Ispitivanje zadovoljstva klijenata
Obezbeđuje povratnu informaciju od strane klijenta o adekvatnosti teme i metodama predavanja
Može da ukaže na to da li učesnik smatra program vrednim truda
Može, ali ne mora obavezno, da ukaže na to da li je nešto naučeno ili da li je došlo do promene ponašanja
Može se desiti da samo pokaže da li je predavač bio zabavan i da li se šalio tokom predavanja
Može se koristiti za ocenu jednog program ili cele organizacije

34. Izvori podataka
Izveštaji o programu (registrcija učesnika, evidencija prisutnih, itd.)
Sekundarni ivori podataka (broj polj. Proizvošača po tipu proizvodnje kojom se bave, broj grla, itd.)
Učesnici na programu
Zaposleni (osoblje)
Opservacija
Saradnici
Izveštači
Agrobiznis

35. Izveštaji o izvršenju programa
PROBLEM – Iznošenje problema na koji se program odnosi
PROGRAM – Opis odlika programa edukacije
UČEŠĆE – Izveštavanje o tome koliko i kakvi tipovi osoba su učestvovali u programu
UTICAJ– Objašnjenje rezultata programa

36. Okolnosti koje utiču na evaluaciju
Budžet, organizacioni kapacitet i stručnjaci spremni da podrže proces evaluacije
Raspoloživo vreme zaposlenih za sprovođenje evaluacije
Voljnost učesnika da odgovaraju na evaluaciona pitanja
Izbor trenutka evaluacije u odnosu na implementaciju programa
Dostupnost učesnika
Cilj (oblast) programa

37. Ostala razmatranja
Centralni izveštajni sistem za prikupljanje i agregaciju informacija o izvršenju programa
Evaluacione studije koje dokumentuju uticaje prgrama što omogućava ekstrapolaciju rezultata kada se program ponovo primenjuje
Uticaji programa postaju deo ocene učinka zaposlenih

38. Detaljnija evaluacija
U kojoj meri se promene u rezultatima mogu pripisati Savetodavnim programima (u kojoj meri se spoljašnji uticaji mogu prepoznati i kontrolisati)?
Koje su dugoročne posledice programa? (1, 5, 10, 20 godina kasnije)
Cost benefit analiza. Da li vredi investirati u program?
Šta je alternativa kada su troškovi u pitanju? Da li je ovo najbolji način korišćenja sredstava za postizanje rezultata?
Koje metode edukacije su najuspešnije?
Šta su prepreke za poboljšanje efektivnosti?
Šta su nenamerne posledice?

39. Vežba

40. Grupna aktivnost
Svaka grupa priprema evaluacioni plan za jedan od tri programa
Identifikuje aspekte programa koje treba evaluirati (aktivnosti; učešće; kratkoročne, srednjeročne i dugoročne rezultate)
Formuliše evaluaciona pitanja
Identifikuje indikatore za svako pitanje
Određuje izvore informacija za svaki indikator
Određuje metode prikupljanja podataka i vreme kada se podaci prikupljaju.

41. Neki koncepti i slajdovi u ovoj prezentaciji su preuzeti iz prezentacija sa Univerziteta u Viskonsinu – Savetodavsvo, a potom adaptirani.