Analisis atau Review Kritis Substansi Artikel Tentang Penelitian KUANTITATIF: berbagai desain penelitian eksperimen

 Hallo, Wellcome to my blog💗

Nama              : Cindy Tyas Harvina

NIM                : 250321829945

Mata Kuliah    : Metodologi Penelitian Kuantitatif

Tema               : Penelitian KUANTITATIF: berbagai desain penelitian eksperimen

Offering          : A25

Link Artikel

Review Artikel

Judul Artikel: “The quality of experimental designs in mobile learning research: A systemic review and self-improvement tool”

Tujuan:

Artikel ini bertujuan untuk menginvestigasi kualitas desain eksperimen pada studi mobile-learning dan menyediakan alat bagi peneliti untuk melakukan self-check dan perbaikan desain eksperimen. Secara operasional peneliti merumuskan delapan pertanyaan penelitian yang menuntun analisis (mis. jenis desain yang paling sering digunakan; mekanisme yang dipakai untuk memastikan baseline equivalence; pemenuhan asumsi statistik; ukuran sampel; kualitas instrumen pengukuran; tingkat rigor menurut kerangka CREED; pelaporan effect size; dan kekuatan statistik).

 

Metode:

Penelitian ini menggunakan metode systematic review kuantitatif terhadap artikel-artikel mobile learning dengan desain eksperimen yang terbit pada periode 2006–2016. Proses pencarian dilakukan melalui basis data ERIC dan ISI/SSCI dengan kata kunci terkait perangkat mobile dalam pembelajaran. Dari 6.724 artikel awal, proses penyaringan berlapis menghasilkan 342 artikel yang memenuhi kriteria inklusi, yaitu studi eksperimental dengan perangkat mobile sebagai intervensi utama dan terpublikasi dalam jurnal peer-review. Artikel-artikel tersebut kemudian dianalisis menggunakan kerangka CREED (Checklist for the Rigor of Education-Experiment Designs) yang menilai berbagai aspek kualitas desain eksperimen, seperti jenis desain yang digunakan, cara memastikan baseline equivalence, ukuran sampel, reliabilitas dan validitas instrumen, pemenuhan asumsi statistik, pelaporan ukuran efek, serta kekuatan statistik. Dua peneliti independen melakukan proses pengkodean dengan tingkat kesepakatan tinggi (>90%), sehingga kredibilitas data analisis dapat terjamin.

 

Hasil:

Hasil kajian menunjukkan bahwa mayoritas penelitian mobile learning menggunakan quasi-experimental design (63%), sementara hanya 27% yang benar-benar eksperimen acak dan 10% berupa pre-experiment. Tingkat rigor metodologis mayoritas artikel relatif rendah, dengan 72% berada pada kategori medium-low atau low menurut kriteria CREED. Sebagian besar studi tidak melaporkan reliabilitas atau validitas instrumen secara memadai, di mana hampir setengah artikel sama sekali tidak menyebutkan keduanya. Selain itu, lebih dari setengah penelitian yang menggunakan analisis statistik parametrik tidak memeriksa atau melaporkan pemenuhan asumsi dasar seperti normalitas atau homogenitas. Ukuran sampel pun cenderung kecil, dengan sekitar 40% artikel melibatkan kurang dari 30 peserta per kelompok, sehingga berdampak pada rendahnya kekuatan statistik; sekitar 38% studi hanya memiliki power ≤ 0,50, sementara hanya sepertiga yang mencapai power ≥ 0,80. Lebih lanjut, hanya sekitar 28% artikel yang melaporkan ukuran efek. Secara keseluruhan, temuan ini menunjukkan bahwa kualitas desain eksperimen dalam riset mobile learning masih jauh dari standar ideal penelitian pendidikan maupun psikologi.

 

Kesimpulan:

Penulis menyimpulkan bahwa walaupun penelitian mobile-learning banyak memanfaatkan teknologi maju, metodologi eksperimennya tertinggal dibandingkan standar dalam riset pendidikan/psikologi: banyak studi rentan terhadap kelemahan internal/konstuk/konklusi statistik (mis. baseline tidak setara, asumsi statistik diabaikan, instrumen kurang andal, power rendah, effect size jarang dilaporkan). Mereka mengusulkan CREED sebagai alat ringkas untuk mengecek dan meningkatkan kualitas desain eksperimen mobile-learning, serta memberikan rekomendasi praktis (pelatihan metodologi, kolaborasi interdisipliner, pedoman jurnal, dll.).

 

Kelebihan penelitian:

·       Menyusun dan memperkenalkan CREED, checklist operasional untuk menilai rigor desain eksperimen khusus pada konteks pendidikan/mobile learning — berguna sebagai alat self-improvement.

·       Sampel besar: 342 artikel (2006–2016) memberikan kekuatan empiris untuk klaim tentang tren metodologis di bidang ini.

·       Analisis kuantitatif terperinci: bukan sekadar narasi; termasuk pengkodean aspek-aspek spesifik (baseline-equivalence methods, asumsi statistik, reliabilitas/validitas alat, effect size, statistical power).

·       Tinggi tingkat konsistensi pengkodean (persetujuan antar-koder ≈ 93–94%) → kredibilitas data coding.

·       Memberi implikasi praktis untuk peneliti dan editor jurnal (mis. pedoman pelaporan, pelatihan metodologi, kolaborasi interdisipliner).

 

Kekurangan/gap penelitian:

·       Batasan sumber: hanya mencari di ERIC dan ISI/SSCI dan hanya artikel berbahasa Inggris dalam jurnal peer-review (tidak termasuk konferensi, laporan teknis, atau literatur berbahasa lain) — ini dapat memengaruhi cakupan.

·       Periode temporal terbatas: hanya sampai 2016 (pencarian sampai 31 Des 2016), sehingga perkembangan metodologi setelah 2016 tidak tercover.

·       Fokus utama pada validitas internal, konstruktif, dan konklusi-statistik; eksternal validity (generalizability) mendapat perhatian kurang mendalam dalam pengkodean kuantitatif meskipun dibahas secara naratif.

·       Meskipun persetujuan antar-koder tinggi, koding tetap subjektif untuk beberapa kriteria (mis. penilaian “kualitas validity” atau interpretasi pemenuhan asumsi statistik jika pelaporan kurang lengkap).

·       CREED dirancang sebagai alat «quick scan»—berguna untuk screening, tetapi tidak menggantikan instrumen penilaian komprehensif seperti Study DIAD atau CONSORT bila diperlukan ulasan mendalam.

 

Novelty:

Kebaruan artikel ini terletak pada upayanya untuk mengkuantifikasi kualitas desain eksperimen dalam penelitian mobile learning secara sistematis dan komprehensif. Berbeda dengan review sebelumnya yang lebih menekankan pada efektivitas intervensi atau menyajikan analisis naratif, seperti yang dilakukan Pimmer, Mateescu, & Gröhbiel (2016) dalam konteks pendidikan tinggi atau Burston (2015) dalam ranah mobile-assisted language learning, artikel ini memberikan gambaran numerik detail tentang kelemahan metodologis yang ada. Selain itu, artikel ini juga mengembangkan CREED sebagai alat praktis untuk self-improvement, yang memudahkan peneliti lintas disiplin untuk menilai dan memperbaiki desain eksperimennya. Hal ini menjadi pembeda dari ulasan-ulasan sebelumnya yang hanya menekankan perlunya peningkatan kualitas metodologi tanpa memberikan instrumen operasional yang sederhana. Dengan demikian, novelty artikel ini terletak pada kombinasi antara analisis kuantitatif kelemahan metodologis (misalnya prevalensi rendahnya laporan reliabilitas, pelanggaran asumsi statistik, dan rendahnya power) dan penyediaan alat evaluasi yang dapat langsung digunakan untuk memperbaiki kualitas penelitian di bidang mobile learning.

 

Daftar Pustaka:

Burston, J. (2015). Twenty years of MALL project implementation: A meta-analysis of learning outcomes. ReCALL, 27(1), 4–20. https://doi.org/10.1017/S0958344014000159

Hsu, Y.-C., & Ching, Y.-H. (2013). Mobile computer-supported collaborative learning: A review of experimental research. British Journal of Educational Technology, 44(5), E111–E114. https://doi.org/10.1111/bjet.12002

Malouf, D. B., & Taymans, J. M. (2016). Anatomy of an evidence base. Educational Researcher, 45(8), 454–459. https://doi.org/10.3102/0013189X16678436

Pimmer, C., Mateescu, M., & Gröhbiel, U. (2016). Mobile and ubiquitous learning in higher education settings: A systematic review of empirical studies. Computers in Human Behavior, 63, 490–501. https://doi.org/10.1016/j.chb.2016.05.057

Sung, Y.-T., Lee, H.-Y., Yang, J.-M., & Chang, K.-E. (2019). The quality of experimental designs in mobile learning research: A systemic review and self-improvement tool. Educational Research Review, 28, 100279. https://doi.org/10.1016/j.edurev.2019.100279