Pengantar Evaluasi Dampak (Introduction to Impact Evaluation)

Pembuatan Kebijakan Berdasarkan Bukti

Kebijakan yang baik dan yang akan benar-benar memberikan benefit bagi masyarakat adalah kebijakan yang dibuat berdasarkan bukti yang kuat, bukan hanya berdasarkan teori atau pun ideologi semata. Kebijakan dapat diartikan sebagai dasar dari tindakan yang diambil atau ditetapkan oleh pemerintah, partai politik, bisnis, atau individu. Kebijakan juga dapat diartikan sebagai sistem dari prinsip-prinsip dasar yang ditujukan untuk memandu dalam pengambilan keputusan dan mencapai tujuan rasional.

Bagaimana caranya memformulasikan kebijakan yang cocok untuk masalah tertenut? Secara umum, kebijakan dibuat berdasarkan antara lain pada hal-hal sebagai berikut:

1. Ideologi
2. Pengalaman
3. kelayakan
4. Sumber daya (Keuangan)
5. Kapasitas implementasi
6. Bukti
7. Pejabat pembuat keputusan (Para elit politik)
8. Rakyat (Pemilik suara / pemilih)
9. Akademisi
10. Ahli
11. Pelaksana kebijakan
12. Pendukung
13. Pengkritik
14. Penerima manfaat

Jawablah pertanyaan ini sesuai dengan pemikiran anda sendiri. Bagaimana kamu akan memformulasikan sebuah kebijakan, berdasarkan pendapat (opinion based policy making) atau berdasarkan bukti (evidenced based policy making). Intervensi apa yang dapat dilakukan untuk meningkatkan angka partisipasi sekolah: pemberian buku, seragam sekolah gratis, pemberian obat cacing, pemberian beasiswa berdasarkan prestasi, peningkatan kualitas pembelajaran dan kurikulum, penyediaan sarana prasarana yang lebih baik, atau  peningkatan kesadaran untuk sekolah?

Bagaimanapun, kebijakan dan jenis intervensi yang dipilih dapat berbeda-beda tingkat keberhasilannya berdasarkan faktor-faktor yang berkaitan seperti lokasi geografis, kebudayaan setempat, kualitas manusia, finansial, dll.

Di dalam ilmu ekonomi terapan, telah berkembang alat untuk memutuskan program apa yang tepat untuk dilakukan untuk mencapai tujuan yang diinginkan dengan keterbatasan sumber daya yang ada, namanya Impact Evaluation (Evaluasi Dampak). Evaluasi dampak adalah salah satu dari beberapa pendekatan untuk mendukung pengambilan keputusan berdasarkan bukti.

Jika didasarkan pada gambar di atas, evaluasi dampak yang dibahas pada tulisan ini adalah evaluasi dampak yang menggunakan counterfactual, lingkaran terkecil kedua. Arti lain dari gambar tersebut adalah bahwa Randomized  Controlled Trials (RCT) adalah jenis evaluasi dampak terbaik, karena objek penelitiannya benar-benar diambi secara random. RCT memerlukan sumber daya yang besar dan paling sering digunakan dalam bidang kedokteran atau medis.

Evaluasi dampak dapat dilakukan untuk menilai program atau kebijakan yang sedang direncakakan, sedang berjalan, ataupun yang telah selesai dilaksanakan. Evaluasi harus mencakup tiga area yaitu desain, implementasi, dan hasil dari suatu program atau kebijakan. Evaluasi secara umum ditujukan untuk menjawab tiga jenis pertanyaan:

1. Pertanyaan deskriptif, yaitu pertanyaan untuk menjawab apa yang sedang dilaksanakan baik proses, kondisi, hubungan oraganisasi, dan pandangan para pemangku keentingan.
2. Pertanyaan normatif, yaitu pertanyaan tentang bagaimana sebaiknya program/kebijakan tersebut dilakukan baik dari sisi input, aktivitas, maupun ouput-nya.
3. Pertayaan sebab akibat, yaitu pertanyaan yang menjawab perbedaan apa yang dihasilkan dari sebuah intervensi terhadap outcome.

Evaluasi dampak yang kita bahas pada pembahasan ini adalah evaluasi yang lebih fokus kepada pertanyaan sebab akibat (cause and effect question). Evaluasi ini bertujuan khusus untuk mengetahui perubahan dampak yang diakibatkan oleh program, modalitas program, atau inovasi desain. Evaluasi dampak dapat bersifat retrospektif dan prospektif. Evaluasi retrospektif melihat perbedaan grup treatment dan grup control setelah dilakukan intervensi. Evaluasi prospektif dilakukan sebelum adanya intervensi dan dilakukan untuk menilai desain dari suatu program. Oleh karena itu, eEvaluasi prospektif memiliki manfaat yang lebih besar daripada evaluasi retrospektif.

Komponen Evaluasi Program

Evaluasi dari sutau program terdiri dari 5 komponen:

1. Needs assesment, menjawab pertanyaan apakah permasalahan yang akan dievaluasi benar-benar terjadi, apa sumber utamanya, dari beberapa solusi yang telah dilakukan mengapa gagal, siapa yang paling membutuhkan.
2. Theory of change, menjelaskan bagaimana sebuah intervensi dianggap memberikan dampak yang diinginkan (causal logic).
3. Process evaluation, menjawab pertanyaan apakah program yang dievaluasi telah dilaksanakan sesuai dengan rencana, apakah tugas dasarnya telah selesai dilaksanakan, apakah intervensi mencaup populasi yang ditargetkan, apakah intervensi telah efektif memenuhi kepuasan para objek program.
4. Impact evaluation, menjawab pertanyaan apakah program menyebabkan perubahan pada suatu outcome.
5. Cost effevtiveness analysis, menjawab pertanyaan program yang mana yang lebih efektif dan efisien dari sisi biaya.

Causal Inference dan permasalahan Counterfactual akan dibahas pada postingan selanjutnya.