Penelitian vs Evaluasi:
Apa yang Membedakan Keduanya? (Bagian 4)

Perdebatan Metodologis

Isu metodologi menjadi area perdebatan hangat pada dekade terakhir ini, terutama karena tuntutan agar evaluasi lebih rigor sekaligus tetap relevan. Beberapa perdebatan kunci:

• Rigour versus Practicality: Apakah evaluasi harus mencapai standar ketelitian ilmiah yang setara dengan penelitian akademis? Misalnya, penggunaan Randomized Controlled Trial (RCT) dalam evaluasi program sosial dianggap gold standard oleh sebagian kalangan untuk inferensi kausal. Namun, praktisi evaluasi (seperti Michael Patton) mengingatkan bahwa fokus berlebihan pada metode eksperimen bisa tidak cocok dengan konteks evaluasi nyata yang kompleks dan berbatas waktu. Evaluator sering menggunakan desain quasi-eksperimental atau mixed methods untuk menyeimbangkan rigor dengan kebutuhan pemahaman holistik. Debat muncul apakah hal ini menurunkan kualitas bukti. Sisi lain berargumen justru evaluasi memerlukan metodologi yang beragam (eklektik) karena harus menjawab pertanyaan multi-aspek, tak sekadar soal hubungan sebab-akibat tunggal.
• Generalisasi vs. Kontekstual: Penelitian bertujuan generalizability, temuan berlaku lintas konteks. Evaluasi biasanya context-specific, tapi apakah hasil evaluasi sepenuhnya unik secara konteks dan tak bisa digeneralisasi? Ada konsep external validity dalam evaluasi juga, terutama jika dilakukan sintesis antar-evaluasi (mis. meta-evaluation atau systematic review of evaluations). Perdebatannya kemudian, seberapa jauh evaluator perlu peduli pada generalisasi ilmiah? Banyak evaluator menekankan transferability alih-alih universal generalization, yakni mendeskripsikan konteks sedemikian rupa sehingga pembaca paham apakah temuan bisa ditransfer ke konteks lain yang mirip.
• Unit Analisis dan Pendekatan: Penelitian sosial biasanya berfokus pada populasi atau variabel, sedangkan evaluasi fokus pada program sebagai unit utuh. Ini memunculkan metodologi khas evaluasi seperti Theory of Change evaluation atau Realist Evaluation yang bertanya “program X berhasil untuk siapa, dalam kondisi apa, dan mengapa”. Pendekatan realistis (dari Pawson & Tilley) misalnya, lebih eksploratif konteks dibanding metodologi penelitian tradisional. Akademisi mungkin mengkritik pendekatan ini kurang terkontrol, namun evaluators menilai ia lebih berguna secara praktik.
• Keterlibatan Pemangku Kepentingan: Secara metodologis, evaluasi sering melibatkan stakeholder dalam desain/interpretasi (participatory approach) untuk meningkatkan ownership dan utilization hasil. Penelitian konvensional cenderung menjaga jarak subjek-peneliti (demi objektivitas). Perdebatan di sini menyentuh epistemologi: Apakah melibatkan subjek (mis. meminta pemangku hak ikut menentukan kriteria sukses) melemahkan objektivitas, atau justru meningkatkan validitas karena memperkaya perspektif? Aliran empowerment evaluation (David Fetterman) dan participatory evaluation berpendapat yang kedua, bahwa partisipasi memperbaiki kualitas dan relevansi evaluasi. Kritikus bisa berkata itu bias, tetapi pendukungnya menyebut bias disengaja ke arah yang lebih adil (paradigma kritis). Ini terkait erat dengan bahasan feminis sebelumnya.
• Evaluasi formatif vs sumatif: Evaluasi formatif dilaksanakan untuk perbaikan selama program berlangsung, sumatif untuk akuntabilitas di akhir. Keduanya memakai metodologi berbeda (formatif bisa lebih kualitatif, cepat, iteratif; sumatif mungkin lebih mixed method). Ada perdebatan di kalangan pendidik misalnya, bahwa fokus berlebihan pada evaluasi sumatif (nilai akhir) menghambat pembelajaran berkelanjutan, ini perdebatan etik-metik: evaluasi untuk belajar vs evaluasi untuk menilai.
• Integritas Data dan Etika Analisis: Dalam evaluasi praktik, terkadang evaluator dihadapkan pada data yang kurang lengkap atau metode terpaksa berubah karena kondisi lapangan (misal bencana menghambat survei akhir). Bagaimana menjaga integritas analisis? Peneliti mungkin memilih menunda publikasi sampai data cukup, tapi evaluator mungkin harus tetap memberikan penilaian dengan data sub-optimal karena keputusan tak bisa ditunda. Ini menimbulkan diskusi soal penggunaan mixed-methods untuk triangulasi sehingga meski data kuantitatif kurang kuat, akan dapat diperkuat dengan wawancara dsb. Metodolog seperti Scriven mengusulkan teknik seperti Goal-Free Evaluation (menilai program tanpa melihat tujuan awal agar lebih objektif) sebagai inovasi metodologis di evaluasi yang berbeda dari riset biasa.

Secara umum, debat metodologis ini mencerminkan ketegangan antara standar ilmiah dan kegunaan kontekstual. Tren pada dekade terakhir ini cenderung mengakui tidak ada satu pendekatan terbaik; metode evaluasi harus disesuaikan dengan pertanyaan evaluasi dan konteks, namun tetap transparan dan sistematis. Sementara peneliti akademis juga mulai mengapresiasi evaluasi sebagai sumber inovasi metodologi (contoh: metode Most Significant Change atau analisis contribution tracing lahir dari dunia evaluasi, dan mulai diadopsi oleh riset terapan).

Perdebatan Etis

Aspek etika dalam penelitian dan evaluasi memiliki kesamaan (misal: hindari plagiarisme, jaga kerahasiaan responden, validitas data) namun ada perbedaan pengaturan dan tekanan etis yang muncul dari tujuan yang berbeda:

• Persetujuan dan Kerahasiaan Responden: Penelitian dengan subjek manusia umumnya diatur oleh Internal Review Board (IRB) atau komite etik, mewajibkan informed consent tertulis, anonimitas responden dalam publikasi, dsb. Evaluasi program tidak selalu melalui IRB, terutama jika hasilnya internal, sehingga kadang dijumpai praktik pengumpulan data evaluasi tanpa prosedur consent yang seketat penelitian. Hal ini menimbulkan diskusi: Apakah evaluasi harus dianggap “penelitian” oleh komite etik? Banyak lembaga (mis. CDC) membuat panduan bahwa “evaluation is not research” dalam konteks regulasi, sehingga tidak wajib IRB jika tujuannya semata improvement internal. Namun, prinsip etika tetap berlaku, evaluator juga terikat pada kode etik (mis. AEA’s Guiding Principles atau UNEG Ethical Guidelines) yang menyerukan penghormatan terhadap orang, keadilan, dan integritas. Kasus dilematis: jika program mewajibkan partisipan turut serta dalam evaluasi (misal survei kepuasan) sebagai syarat layanan, apakah itu melanggar consent bebas? Evaluator harus menavigasi situasi ini dengan sensitivitas (memberi opsi opt-out, dll.).
• Independensi vs. Konflik Kepentingan: Peneliti akademis idealnya bebas dari tekanan donor (meski pendanaan bisa memengaruhi topik, diatur dengan pengungkapan konflik kepentingan). Evaluator sering kali dibayar oleh entitas yang juga menjadi subjek evaluasi, menimbulkan potensi bias atau tekanan untuk melunakkan temuan negatif. Independensi evaluasi menjadi concern besar. Secara etis, evaluator harus mampu melaporkan temuan secara jujur meski tidak menyenangkan donor. Ada kasus-kasus di mana laporan evaluasi dikurangi penyebarannya atau diedit secara sepihak karena temuannya terlalu kritis. Praktik baik mengharuskan kesepakatan di awal bahwa evaluator punya otonomi profesional atas analisis. Diskusi etis juga meliputi: bolehkah evaluator menerima insentif dari klien jika program dinilai sukses? (Jelas tidak, karena itu merupakan bentuk konflik kepentingan). Evaluasi internal (oleh staf sendiri) juga riskan bias, tetapi kadang diperlukan untuk efisiensi, solusinya melibatkan peninjau independen atau metode partisipatif agar lebih objektif.
• Transparansi dan Akuntabilitas: Penelitian yang dipublikasikan (sebisa mungkin) harus transparan, baik dalam metode maupun data, agar bisa direplikasi atau diverifikasi. Evaluasi sering kali dibatasi oleh pemilik data (misal data sensitif pemerintah). Dorongan open data mulai merambah dalam praktik evaluasi, misalnya beberapa donor mewajibkan publikasi evaluation report. Etisnya, jika evaluasi menemukan masalah serius (mis. pelanggaran HAM dalam program), evaluator berhadapan dengan dilema: apakah cukup lapor ke klien saja atau punya kewajiban moral melaporkan ke publik/otoritas? Kode etik AEA menyebut evaluator punya tanggung jawab pada kesejahteraan umum, tapi juga confidensial pada klien. Ini harus diatasi case-by-case, sehingga seringnya perlu melibatkan konsultasi etik.
• Misuse of Results: Dalam penelitian, kekhawatiran etis salah penggunaan hasil ada (misal temuan disalahartikan media), tapi di luar kendali peneliti. Dalam evaluasi, hasil yang diserahkan pada klien bisa saja tidak dipakai atau justru dipakai untuk tujuan yang melenceng. Misal, evaluasi menunjukkan program tidak efektif, rekomendasinya menghentikan program demi alokasi dana ke alternatif yang lebih baik. Namun pimpinan organisasi bisa saja menyembunyikan laporan dan program tetap dilanjut demi citra. Evaluator mungkin tak bisa berbuat banyak, tapi secara etis komunitas evaluator mendorong evaluation use. Ada juga konsep “no harm” dalam evaluasi: evaluasi seharusnya tidak menimbulkan kerugian bagi pemangku hak. Evaluator perlu berhati-hati agar metode tidak mengganggu kelompok rentan (contoh: jangan melakukan focus group yang membuat peserta trauma mengingat kejadian buruk, tanpa dukungan lanjutan).
• Profesionalisasi dan Kompetensi: Etika juga terkait apakah pelaksana punya kompetensi memadai. Dalam penelitian akademik, gelar dan proses peer review menjamin standar. Di evaluasi, siapa pun (konsultan, staf) bisa saja mengaku sebagai evaluator tanpa sertifikasi formal (meski ada upaya sertifikasi evaluator di beberapa negara). Ini menimbulkan variasi kualitas dan etika. Misalnya, evaluator yang tidak paham metodologi bisa menyimpulkan secara keliru yang mengarah pada menyesatkan keputusan, ini pelanggaran etis profesional (merugikan stakeholder). Oleh karenanya, asosiasi evaluasi menekankan kompetensi evaluator sebagai bagian dari etika (tahu kapan menggunakan metode tertentu, dsb).

Perspektif feminis dan keadilan juga memengaruhi etika: evaluasi/penelitian seharusnya menghindari eksploitasi partisipan (misal jangan cuma dijadikan objek wawancara berulang-ulang tanpa manfaat balik). Pendekatan seperti “Nothing about us without us” di kalangan civil society mendorong evaluasi dan riset melibatkan subjek dalam validasi hasil, dianggap lebih etis karena menghormati agensi mereka.

Secara ringkas dapat dipahami bahwa, perbedaan tujuan membuat lingkup tanggung jawab etis antara penelitian dan evaluasi agak berbeda: penelitian terutama bertanggung jawab pada kebenaran ilmiah dan responden sebagai subjek penelitian, evaluasi bertanggung jawab ganda, pada kebenaran dan pada kegunaan bagi klien/pemangku hak. Evaluator kadang menyebut diri mereka punya “ethical obligation to both science and society”. Ini kompleks tetapi penting diinternalisasi oleh para praktisi M&E.

Penutup

Memahami perbedaan fundamental antara penelitian ilmiah dan evaluasi membantu kita dalam “meletakkan kerangka yang tepat untuk pekerjaan yang tepat”. Penelitian dan evaluasi memiliki peran komplementer, penelitian memperluas cakrawala pengetahuan dan teori, sedangkan evaluasi memastikan pengetahuan diterapkan untuk memperbaiki kinerja di konteks nyata. Dalam kerja ilmiah, kesadaran akan perbedaan ini mencegah kita merancukan desain dan ekspektasi, misalnya, tidak lagi menilai kualitas evaluator hanya dari kemampuan akademis, tapi dari utilitas karyanya; atau bagi akademisi, tidak meremehkan evaluasi sebagai “sekadar riset kecil”, melainkan memahami kompleksitasnya. Dalam kerja profesional, internalisasi perbedaan ini berarti kita tahu kapan membutuhkan evaluator dengan pendekatan partisipatif untuk pembelajaran organisasi, dan kapan membutuhkan peneliti mendalam untuk menjawab pertanyaan yang lebih luas.

Kerangka fundamental ini bukan sekat kaku, banyak irisan dan grey area di antaranya. Bahkan literatur mencatat, “batas antara riset dan evaluasi sering permeabel, kesamaan mereka sering lebih besar daripada perbedaannya”. Namun, sebagai titik awal konseptual, perbedaan dalam tujuan, pendekatan, epistemologi, dan penggunaan hasil dapat dijadikan panduan praktis. Dengan demikian, kita dapat merancang proyek ilmiah maupun program sosial dengan lebih tepat, memastikan bahwa baik evaluasi maupun penelitian dimanfaatkan secara optimal untuk kemajuan pengetahuan dan perbaikan aksi di lapangan.

Bagian 1 | Bagian 2 | Bagian 3

Rujukan:

• Wanzer, Dana Linnell. “What is evaluation? Perspectives of how evaluation differs (or not) from research.” American Journal of Evaluation, vol. 42, no. 1, 2021, pp. 28–46.
• Patton, Michael Quinn. Evaluation Flash Cards: Embedding Evaluative Thinking in Organizational Culture. Otto Bremer Foundation, updated Mar. 2017.
• ARTD Consultants. “Evaluation vs Research: what’s the difference and why does it matter?” ARTD Blog, 18 Oct. 2023.
• Annette (Research Evaluation Consulting). “Research vs. Evaluation: What Every Leader Needs to Know.” researchevaluationconsulting.com, 2023.
• Cohen, Louis, et al. Research Methods in Education. 8th ed., Routledge, 2018, pp. 79-86 (Chapter “Evaluation and research”).
• Picture Impact. “What do we mean by feminist evaluation?” Good Thinking (Medium blog), 25 Aug. 2022.
• CGIAR IAES. “Behind the Scenes of a Feminist Principles Evaluation: CGIAR’s GENDER Platform.” iaes.cgiar.org, 2023.
• UNODC Independent Evaluation Section. “Evaluation Knowledge Management, Communication and Innovation – Brief.” UNODC, 2021.