Abstrak
Tujuan
Tinjauan ini meneliti reproduksibilitas dalam penelitian deteksi kebohongan verbal, di mana penelitian biasanya melibatkan pernyataan pengkodean untuk mengidentifikasi isyarat penipuan. Pengkodean semacam itu rentan terhadap fleksibilitas analitis yang dapat menimbulkan hasil positif palsu. Saya berfokus pada isyarat yang disebut komplikasi sebagai studi kasus. Variabel tersebut muncul dalam literatur bersamaan dengan tersedianya sumber daya sains terbuka—memberikan harapan yang wajar bahwa materi yang relevan akan diarsipkan dalam repositori yang dapat diakses jika tidak dalam publikasi.

Metode
Saya meninjau 30 publikasi relevan untuk menilai apakah penelitian komplikasi layak untuk diaudit.

Hasil
Temuan tersebut menunjukkan konsistensi yang cukup dalam definisi komplikasi dan sedikit ambiguitas mengenai apa yang dilambangkan oleh variabel tersebut. Selain itu, estimasi numerik menunjukkan bahwa hasil yang ada dalam literatur mungkin dapat direplikasi—tetapi dengan peringatan yang signifikan. Replikasi tersebut sepenuhnya bergantung pada perolehan protokol pengkodean dan data mentah anonim dari studi yang dipublikasikan. Namun, informasi penting tersebut tidak tersedia untuk umum. Saya membahas konsekuensi dari hambatan terhadap reproduktifitas ini: hambatan ini mencegah audit temuan yang dipublikasikan, yang memungkinkan penjelasan temuan yang tidak valid dengan penjelasan post hoc yang bergantung pada informasi yang tidak dapat diakses.

Kesimpulan
Minimalnya, editor dan pengulas jurnal harus bersikeras pada buku kode protokol pengkodean. Menyediakan data mentah anonim yang sesuai juga harus menjadi persyaratan kecuali hambatan tertentu seperti perjanjian hibah mencegah pembagian data. Sifat penelitian deteksi kebohongan verbal mengharuskan adanya kebijakan ini.

PERKENALAN
Karya ini meneliti reproduksibilitas dalam literatur di mana para peneliti mengembangkan teknik wawancara yang dapat membantu dalam pendeteksian kebohongan. Pentingnya memastikan kebenaran dalam komunikasi manusia tidak dapat dilebih-lebihkan. Upaya ini sangat penting dalam investigasi kriminal, proses hukum, jurnalisme, perekrutan karyawan, dan diplomasi atau hubungan internasional, untuk menyebutkan beberapa di antaranya. Para pemangku kepentingan harus secara teratur mengaudit temuan yang dipublikasikan tentang teknik pendeteksian kebohongan untuk memastikan para praktisi dapat mengandalkan basis bukti ilmiah. Analisis reproduksibilitas sering kali merupakan langkah pertama dalam proses audit.

Mendefinisikan reproduktifitas
Reproduktifitas sangat penting untuk mendapatkan kepercayaan pada temuan ilmiah (McNutt, 2014 ) dan dapat dilakukan dengan dua cara umum. (Definisi-i) Contoh saat analis independen menggunakan data asli studi dan kode analisis untuk menghasilkan kembali temuan dan (Definisi-ii) contoh saat analis independen menggunakan metode dan data mereka sendiri untuk memverifikasi hasil studi asli (Barba, 2018 ; National Academies of Sciences, Engineering, and Medicine, 2019 ). Terlepas dari pendekatan reproduktifitas yang disukai, analisis yang ketat tidak dapat dilakukan kecuali studi asli memberikan informasi yang cukup tentang materi studi, metode, dan data mereka—ditambah strategi analisis data mereka. Transparansi seperti itu penting bagi akuntabilitas dan sains terbuka (Winker et al., 2023 ).

Fleksibilitas dan reproduktifitas analisis dalam penelitian deteksi kebohongan
Perspektif dominan dalam ilmu deteksi kebohongan adalah bahwa isyarat verbal lebih diagnostik daripada isyarat nonverbal (misalnya Nahari et al., 2019 ). Peneliti berpendapat bahwa isyarat nonverbal rentan terhadap salah tafsir, sementara isyarat verbal memberikan informasi yang lebih baik tentang kebenaran (misalnya Vrij, 2019 ). Eksperimen deteksi kebohongan yang umum melibatkan pengumpulan pernyataan pembohong dan orang yang mengatakan kebenaran yang direkam dalam video atau audio. Kemudian, peneliti (menyalin dan) mengode pernyataan tersebut untuk mengidentifikasi isyarat penipuan verbal seperti konsistensi, masuk akal, jumlah detail, dll. (Schutte et al., 2021 ). Pernyataan pengodean memperkenalkan fleksibilitas analisis yang signifikan, seperti menyesuaikan skema pengodean selama analisis atau perbedaan dalam skema pengodean antara studi yang memeriksa isyarat yang sama. Schutte et al. ( 2021 ) mengamati variasi yang mencolok antara kumpulan data berkode manusia mengenai apa yang dianggap sebagai detail dalam studi deteksi kebohongan verbal (antara 1,53% dan 23,22% variasi). Para pemangku kepentingan tidak dapat mengabaikan potensi konsekuensi dari fleksibilitas ini terhadap keandalan literatur deteksi kebohongan (lihat juga, Levine et al., 2018 ).

Fleksibilitas analisis dapat meningkatkan rasio positif palsu dalam temuan penelitian (Masur, 2023 ; Simmons et al., 2011 ). Masalah bias publikasi—banyaknya hasil yang mendukung hipotesis penulis—dalam ilmu psikologi tidak dapat disangkal (Fanelli, 2010 ; Franco et al., 2014 ). Transparansi dalam pengumpulan data, analisis, dan keputusan pelaporan umumnya direkomendasikan untuk mengurangi kemungkinan fleksibilitas akan menghasilkan positif palsu. Transparansi semacam itu sangat penting untuk mereproduksi penelitian yang dipublikasikan secara akurat guna meningkatkan kredibilitasnya.

Literatur yang diterbitkan berisi banyak isyarat penipuan verbal (lihat, misalnya Hartwig & Bond, 2014 ; Luke, 2019 ). Memeriksa reproduktifitas setiap isyarat tidaklah bijaksana (seperti yang dapat dinilai dari bagian Metode dan Hasil dari karya ini). Saya memilih isyarat yang memberikan peluang paling ideal untuk mengidentifikasi praktik modern yang memfasilitasi atau menghalangi reproduktifitas. Dengan cara ini, temuan dapat memandu penelitian masa depan tentang praktik yang harus dimasukkan dan apa yang harus dihindari. Saya memilih untuk memeriksa isyarat yang disebut ‘komplikasi 1 ‘, yang semakin menonjol dalam literatur deteksi kebohongan (misalnya Vrij, Deeb, et al., 2021 ; Vrij, Leal, et al., 2021 ; Vrij, Palena, et al., 2021 ; Vrij & Vrij, 2020 ).

Arti dari komplikasi dan mengapa hal itu menjadi studi kasus yang cocok
Sejauh pengetahuan saya, komplikasi pertama kali muncul dalam literatur ilmiah dengan publikasi Vrij et al . Studi pertama menunjukkan bahwa pernyataan orang yang mengatakan kebenaran mengandung lebih banyak komplikasi daripada pernyataan pembohong ( d = 0,73  ). Para penulis mendefinisikan komplikasi sebagai ‘apa pun yang dikatakan seseorang yang memperumit [suatu] pernyataan (Vrij et al., 2017 , hlm. 45)’. Tetapi definisi terbaru menguraikan variabel tersebut: ‘[K]oplikasi mengacu pada kelompok detail yang membuat cerita lebih rumit […]. (Burkhardt et al., 2024 , hlm. 2)’ Vrij et al. ( 2017 ) berpendapat bahwa pernyataan yang jujur ​​lebih mungkin mencakup komplikasi daripada kebohongan karena dua alasan: (i) Menghasilkan komplikasi memerlukan pemikiran kreatif, keterampilan yang mungkin tidak dimiliki sebagian orang, dan (ii) pembohong lebih suka menjaga cerita mereka tetap sederhana, yang bertentangan dengan etos komplikasi (lihat hlm. 45).

Permulaan komplikasi ke dalam literatur deteksi kebohongan bertepatan dengan seruan untuk transparansi yang lebih besar dalam praktik penelitian psikologi (misalnya Nosek et al., 2018 ). Penelitian komplikasi dimulai tepat di sekitar pengenalan sumber daya sains terbuka dan transparansi penelitian—yang menjadikan komplikasi kandidat yang sempurna untuk analisis reproduktifitas. Masuk akal untuk mengharapkan bahwa mayoritas, jika tidak semua, keputusan analitik dan materi penelitian, telah diarsipkan di repositori kerangka kerja sains terbuka ( osf.io ) atau dapat diakses di tempat lain. Yang penting, terlepas dari sumber daya sains terbuka, persyaratan penting untuk kesinambungan dalam sains adalah bahwa temuan yang dipublikasikan mencakup informasi yang memadai untuk membantu mereproduksi temuan melalui replikasi, misalnya.

Diagnostik komplikasi yang dicanangkan adalah alasan pragmatis untuk memasukkan hasil yang sesuai ke dalam analisis reproduktifitas. Isyarat sekarang telah menjadi variabel utama dalam penelitian deteksi kebohongan verbal. Komplikasi telah ditampilkan dalam setidaknya 30 publikasi sejak 2017—rata-rata, 3,75 publikasi setiap tahun. Variabel tersebut telah digunakan untuk menunjukkan kemanjuran berbagai teknik wawancara seperti membuat sketsa sambil bercerita (misalnya Vrij, Leal, Fisher, et al., 2018 ; Vrij, Leal, Jupe, & Harvey, 2018 ; Vrij, Leal, Mann, et al., 2018 ) dan pernyataan model (Deeb et al., 2020 ). Selain itu, komplikasi telah diperiksa dalam serangkaian penelitian tentang mendeteksi kebohongan (Leal et al., 2020 ; Leal, Vrij, Ashkenazi, et al., 2024 ; Leal, Vrij, Deeb, & Fisher, 2023 , 2024 ). Eksponen menggambarkan komplikasi sebagai ‘isyarat diagnostik terbaik’ (Vrij, Leal, Deeb, Chan, Khader, dkk., 2020 ; Vrij, Leal, Mann, Shaboltas, Khaleeva, dkk., 2020 ; Vrij, Mann, Leal, & Fisher, 2020 ; Vrij, Mann, Leal, Fisher, & Deeb, 2020 , hal. 629; Vrij, Deeb, dkk., 2021 ; Vrij, Leal, dkk. , 2021 ; itu dapat ditandai dan dihitung secara real time (Vrij et al., 2023 ). Jika komplikasi merupakan ujian yang sangat baik untuk menilai kebenaran, semua pemangku kepentingan harus tertarik untuk memasukkan variabel tersebut ke dalam penelitian dan praktik. Analisis reproduktifitas akan menjadi sumber daya yang sangat diperlukan untuk pekerjaan tersebut. Oleh karena itu, tinjauan ini bertujuan untuk mengumpulkan semua bahan yang diperlukan untuk (1) melakukan replikasi langsung dan konseptual dan (2) memverifikasi temuan yang dipublikasikan tentang komplikasi.

PENELITIAN SAAT INI
Karya ini mengkaji tiga pertanyaan metasaintifik tentang komplikasi untuk menandai praktik yang memfasilitasi atau menghalangi reproduktifitas.

Reproduksibilitas
Tujuan dari karya ini adalah untuk menguji tidak hanya apakah hasil yang dipublikasikan dapat direproduksi secara komputasional menggunakan data asli dan strategi analisis (yaitu Definisi-i), tetapi juga apakah laboratorium independen dapat mempelajari komplikasi (yaitu Definisi-ii). Biasanya, proyek di bawah Definisi-ii akan disebut sebagai replikasi (langsung atau konseptual). Namun, reproduktifitas lebih baik mengungkapkan fokus artikel ini, karena juga menyelidiki apakah buku kode dari studi asli dapat dibuat ulang. Karena alasan ini, saya menggunakan kata reproduktifitas dan replikasi secara bergantian untuk mencerminkan etos penelitian saat ini sambil membawa kekhususan pada isu-isu yang dibahas dalam Metode dan Hasil.
Pertanyaan Penelitian 1: Dapatkah analis independen menerapkan variabel komplikasi dalam penelitian mereka?
Di sini, saya meneliti bagaimana literatur yang ada mendukung atau menghambat replikasi konseptual.
Pertanyaan Penelitian 2: Dapatkah analis independen mereproduksi temuan mengenai komplikasi dengan mudah?
Aspek ini difokuskan pada apakah literatur yang ada dapat direplikasi secara langsung dan apakah temuan yang diterbitkan dapat diaudit.

Bias seleksi
Pertanyaan Penelitian 3. Berapa tingkat bias seleksi dalam penelitian terkini mengenai komplikasi?
Karena adanya bias publikasi, analisis reproduktifitas sebaiknya disertai dengan pemeriksaan bias seleksi (Bartoš & Schimmack, 2022 ; Nosek et al., 2022 ). Investigasi bias seleksi akan membantu mengukur apakah publikasi yang diperiksa dalam analisis reproduktifitas secara akurat mewakili literatur yang ada. Aspek penelitian ini menyelidiki apakah literatur yang dipublikasikan terlalu banyak memuat temuan yang mendukung diagnostikitas komplikasi.

METODE
Saya telah mendaftarkan terlebih dahulu pertanyaan penelitian, strategi pencarian, dan kriteria inklusi https://osf.io/hm3sw . Penelitian yang disertakan dalam tinjauan ini memenuhi kriteria berikut: Penelitian tersebut harus secara eksplisit menyebutkan komplikasi dan memeriksa variabel sebagai deteksi kebohongan atau isyarat kebenaran.

Kriteria inklusi dan strategi pencarian
Pada tanggal 1 Agustus 2024, saya mulai mengumpulkan literatur yang relevan dengan melakukan pencarian teks lengkap untuk studi dalam basis data PsychINFO menggunakan string pencarian: Complications AND ‘Deception’ OR ‘Lying’ OR ‘Lie’ OR ‘Dishonesty’. Saya membatasi pencarian pada publikasi dalam bahasa Inggris dan studi yang diterbitkan pada atau setelah Januari 2017—karena variabel yang dibahas pertama kali muncul dalam literatur ilmiah dengan publikasi Vrij et al. ( 2017 ). Saya melengkapi strategi pencarian formal dengan peringatan Google Scholar untuk publikasi baru dan pencarian informal dari daftar publikasi penulis yang relevan.

Pencarian awal menghasilkan 71 publikasi, dan pencarian pelengkap menemukan empat publikasi tambahan ( N  = 75). Saya memeriksa hasil pencarian secara bertahap: judul, abstrak, lalu teks lengkap. Tiga puluh publikasi memenuhi kriteria inklusi, dan 45 dikecualikan karena tidak memeriksa komplikasi, tidak membahas tentang deteksi kebohongan, atau ditarik kembali. Gambar 1 mengilustrasikan proses seleksi.

Rencana analisis
Saya mengekstraksi unsur-unsur publikasi yang dipilih berdasarkan pertanyaan penelitian yang sedang diperiksa.

Bisakah analis independen menerapkan komplikasi dalam penelitian mereka?
Tujuannya adalah untuk memeriksa apakah seorang analis independen dapat menggunakan informasi dalam literatur yang ada untuk mengoperasionalkan komplikasi—misalnya, saat merancang replikasi konseptual. Jadi, saya mengekstrak dua elemen: definisi komplikasi dan justifikasi terkait yang menjelaskan mengapa variabel dapat menjadi isyarat kebenaran. Misalkan seorang analis ingin mereproduksi penelitian komplikasi menggunakan metode mereka sendiri (misalnya replikasi konseptual). Dalam hal itu, mereka memerlukan definisi variabel. Lebih jauh, justifikasi akan memfasilitasi identifikasi tersebut dengan mengklarifikasi asumsi yang menjadikan komplikasi sebagai isyarat kebenaran (Meehl, 1990 ; Neequaye, 2023 ). Saya bertujuan untuk memeriksa konsistensi definisi dan justifikasi dalam literatur. Definisi yang konsisten memberikan tolok ukur yang tidak ambigu untuk menilai ada atau tidaknya komplikasi.

Definisi
Saya mengekstrak definisi menggunakan konseptualisasi dan strategi yang sama yang digunakan Neequaye dan Mac Giolla ( 2022 ): definisi terdiri dari kalimat yang cukup eksplisit di mana penulis menjelaskan makna komplikasi. Dengan demikian, definisi adalah predikat kalimat yang subjeknya mengambil salah satu format berikut. Komplikasi didefinisikan sebagai, merujuk pada, atau dianggap sebagai sesuatu—dan sesuatu adalah predikatnya.

Pembenaran
Pembenaran penulis diekstraksi dengan menandai alasan mengapa mereka memasukkan komplikasi dalam penelitian (lihat Neequaye, 2022 , untuk protokol serupa). Karena fokus pada reproduktifitas, saya tidak menyertakan kutipan keberhasilan komplikasi sebelumnya sebagai pembenaran. Keberhasilan sebelumnya penting untuk mengukur ukuran efek, misalnya, tetapi tidak membantu dalam mengoperasionalkan variabel. Pembenaran yang ditandai dalam penelitian saat ini terdiri dari asumsi dan mekanisme teoritis yang mendukung kemanjuran komplikasi yang diusulkan sebagai isyarat kebenaran. Informasi tersebut dapat membantu analis dalam menentukan operasi yang paling sesuai yang menangkap suatu konstruk, seperti yang diteorikan oleh para pencetus.

Analisis Literatur
Semua 30 publikasi yang memenuhi kriteria inklusi keseluruhan dimasukkan dalam analisis definisi dan justifikasi—karena tujuannya adalah untuk memeriksa konsistensi di seluruh literatur. Oleh karena itu, saya menganalisis definisi dan justifikasi secara tematis menggunakan strategi yang mirip dengan Neequaye dan Mac Giolla ( 2022 ). Analisis dimulai dengan pembacaan awal untuk mengenal data dan menghasilkan kode yang mewakili karakteristik yang berulang. Setelah proses pembuatan kode mencapai titik jenuh (yaitu tidak ada kode baru yang dapat diidentifikasi), saya memeriksa ulang data untuk menyempurnakan kode. Kemudian, saya menerapkan kode untuk memeriksa atribut setiap definisi dan justifikasi. Analisis tematik dilakukan secara terpisah untuk definisi dan justifikasi.

Dapatkah analis independen mereproduksi temuan yang diterbitkan mengenai komplikasi dengan mudah?
Tujuannya adalah untuk memeriksa apakah literatur yang ada berisi informasi yang cukup untuk melakukan replikasi langsung atau mengaudit temuan yang dipublikasikan. Oleh karena itu, saya mengekstrak informasi tentang proses pengkodean dan ketersediaan data untuk menyelidiki apakah analis independen dapat mereproduksi temuan asli tentang komplikasi dengan mudah. ​​Ekstraksi tersebut adalah (1) apakah protokol pengkodean telah didaftarkan sebelumnya, (2) isi protokol prapendaftaran, (3) protokol yang dilaporkan dalam publikasi, dan (4) keandalan pengkodean antar penilai. Saya juga mengekstrak apakah (5) data yang dikodekan atau (6) data mentah tersedia untuk umum. Selain reproduktifitas, ekstraksi dapat digunakan untuk menilai prevalensi fleksibilitas analitik dalam literatur.

Analisis Literatur
Lima publikasi dikecualikan dari analisis ini. Yaitu (i) analisis ulang data dari publikasi yang sudah termasuk dalam analisis saat ini (misalnya Vrij, Deeb, et al., 2021 ; Vrij, Leal, et al., 2021 ; Vrij, Palena, et al., 2021 ) atau (ii) penulis menghentikan pemeriksaan komplikasi dan tidak melaporkan data pada variabel (yaitu Verigin, Meijer, Vrij, & Zauzig, 2020 ). Dua puluh lima publikasi memenuhi syarat untuk analisis proses pengkodean dan ketersediaan data saat ini.

Berapa tingkat bias seleksi dalam penelitian terkini mengenai komplikasi?
Saya melakukan analisis kurva Z untuk mengeksplorasi tingkat bias seleksi penelitian komplikasi. Kurva Z , yang dikembangkan oleh Bartoš dan Schimmack ( 2022 ), menghasilkan metrik untuk menentukan sejauh mana publikasi yang ada mencerminkan gambaran lengkap dari badan penelitian. Kurva Z menganalisis nilai z dari literatur penelitian dan memperkirakan empat parameter yang relevan.

Observed Discovery Rate (ODR) adalah persentase hasil signifikan secara statistik dalam koleksi. Sebaliknya, Expected Discovery Rate (EDR) mengevaluasi kekuatan statistik rata-rata dari seluruh koleksi: kekuatan hasil signifikan dan tidak signifikan. Koleksi studi kemungkinan akan terganggu oleh bias seleksi jika ODR secara signifikan lebih tinggi daripada EDR—dengan kata lain, jika persentase temuan signifikan secara statistik lebih tinggi daripada kekuatan koleksi yang dijamin. Expected Replication Rate (ERR) memperkirakan kekuatan studi signifikan secara statistik dalam koleksi. Pengembang kurva Z berpendapat bahwa sekelompok studi terdiri dari temuan yang kredibel jika ada sedikit bukti bias seleksi dan ERR yang tinggi. Namun, adanya bias seleksi yang ditambah dengan ERR yang rendah menunjukkan bahwa studi tersebut tidak mungkin direplikasi (Bartoš & Schimmack, 2022 ). Akhirnya, kurva Z menghasilkan Risiko Penemuan Palsu (FDR): persentase positif palsu yang dapat diharapkan mengingat data yang diamati.

Analisis Literatur
Tujuan saya adalah untuk menguji reproduktifitas hubungan kebenaran-komplikasi. Jadi, saya tidak menguji variabel—proporsi komplikasi—karena variabel tersebut mencakup variabel lain (komplikasi/[komplikasi + detail pengetahuan umum + strategi yang merugikan diri sendiri], lihat, misalnya Vrij & Vrij, 2020 ). Lebih jauh, analisis kurva- Z difokuskan pada studi yang melaporkan perbandingan berpasangan dari perbedaan rata-rata komplikasi antara orang yang mengatakan kebenaran dan pembohong dalam keseluruhan sampel. Sembilan belas publikasi tidak memenuhi kriteria ini karena mereka hanya melaporkan komplikasi rata-rata sebagai fungsi kebenaran berdasarkan sub-sampel (misalnya Vrij, Deeb, dkk., 2021 ; Vrij, Leal, dkk., 2021 ; Vrij, Palena, dkk., 2021 ), berdasarkan tahap penelitian (misalnya Leal, Vrij, Deeb, & Fisher, 2023 ), atau dengan teknik wawancara (misalnya Vrij, Leal, Fisher, dkk., 2018 ; Vrij, Leal, Jupe, & Harvey , 2018 ;

Sebelas publikasi memuat studi yang memenuhi syarat ( k  = 14) yang darinya saya mengekstrak frekuensi rata-rata komplikasi yang dilaporkan oleh orang yang berkata jujur ​​dibandingkan dengan pembohong, simpangan baku yang sesuai, dan ukuran sampel. Studi tersebut melaporkan nilai p yang dibulatkan (misalnya p  < .001), bukan nilai eksak. Oleh karena itu, saya menggunakan metrik yang diekstraksi untuk menghitung ulang ukuran efek (yaitu Cohen’s d ), nilai p , dan nilai Z untuk analisis kurva Z. Tabel 1 memuat semua nilai asli dan perhitungan ulang.

TABEL 1. Data yang diekstraksi untuk analisis kurva Z.

a Saya menghubungi penulis dua kali untuk menanyakan ukuran sampel kondisi kebenaran. Saya tidak mendapat balasan. Oleh karena itu, saya menggunakan nilai p bulat yang dilaporkan dalam naskah.

HASIL DAN PEMBAHASAN AWAL
Tabel tambahan menyoroti publikasi yang memenuhi syarat atau dikecualikan dari setiap analisis dan alasan terkait. Tabel ini juga berisi informasi tambahan yang dapat digunakan dalam mengaudit temuan tinjauan ini: https://osf.io/6dwrh/ .

Tabel 2 dan 3 menggambarkan semua kode secara menyeluruh. Analis independen dapat memeriksa ulang tabel tersebut dengan hasil dan literatur untuk memastikan ada atau tidaknya bias.

TABEL 2. Definisi dan justifikasi komplikasi beserta atributnya.

Catatan : Teks tebal melacak teks kata demi kata yang menggambarkan atribut definisi dan pembenaran.

19. Vrij, Leal, Fisher, Mann, Jo, dkk. ( 2019 )	TIDAK	Para pembuat kode, yang tidak peduli dengan kondisi kebenaran, diajari skema pengkodean oleh penulis pertama yang memiliki pengalaman lebih dari 20 tahun dalam pengkodean detail . […] Dua koder mengkodekan secara independen satu sama lain ukuran-ukuran berikut dalam semua transkrip: komplikasi […]. (hal. 1202)	TIDAK	TIDAK
20. Vrij, Leal, Jupe, dan Harvey ( 2018 )	TIDAK	Dua pembuat kode Semua koder tidak mengetahui hipotesis dan kondisi Kebenaran. […] Para koder diajari skema pengkodean oleh penulis pertama yang memiliki lebih dari 20 tahun pengalaman dalam pengkodean detail . Para koder juga diajari cara mengkode komplikasi […] oleh penulis pertama Satu pengkode mengkode semua komplikasi […]. Pengkode kedua mengkode sampel acak dari 20 transkrip . (hal. 270–271)	TIDAK	TIDAK
21. Vrij dkk. ( 2017 )	TIDAK	Para koder diajari skema pengkodean oleh penulis pertama yang memiliki 20 tahun pengalaman dalam pengkodean detail . Dua pembuat kode Seorang pembuat kode pertama-tama membaca transkrip dan mengkode setiap detail dalam wawancara. Sebagai contoh, jawaban ‘Tempat yang saya tuju semuanya dekat. Pusat Antariksa dekat dengan hotel itu, sekitar 10–11 menit jauhnya. Dekat dengan hotel dan mal juga. Satu-satunya yang tidak dekat adalah akuarium. Yang itu… lebih ke arah pusat kota Houston’ berisi 11 detail. Setiap detail hanya dikodekan sekali, jadi pengulangan tidak dikodekan. Pembuat kode kedua mengkodekan sampel acak dari 50 transkrip. (hlm. 48)	TIDAK	TIDAK
22. Vrij, Leal, Mann, dkk. ( 2018 )	TIDAK	Para pembuat kode, yang tidak mengetahui kondisi Kebenaran dan Penanggulangan, diajari skema pengkodean oleh penulis pertama yang memiliki lebih dari 20 tahun pengalaman dalam pengkodean detail. […] Dua koder yang mengkode secara independen satu sama lain komplikasi […] (hal. 97–98)	TIDAK	TIDAK
23. Vrij, Leal, Mann, Shaboltas, Khaleeva, dkk. ( 2020 )	TIDAK	Semua koder tidak mengetahui hipotesis dan status Kebenaran dari narasumber. […] Dua koder mengkode secara independen satu sama lain mengenai komplikasi […] (hal. 22)	TIDAK	TIDAK
24. Vrij, Leal, dkk. ( 2021 )	TIDAK	Dua pembuat kode Seorang pengkode , yang tidak mengetahui kondisi kebenaran, mengkode jumlah komplikasi dalam semua transkrip. Komplikasi yang berulang tidak dikode. […]. Pengkode kedua , yang juga tidak mengetahui kondisi kebenaran, mengkode sampel acak dari 39 transkrip. (hal. 551)	TIDAK	TIDAK
25. Vrij, Mann, Leal, dan Fisher ( 2020 )	TIDAK Publikasi ini menyertakan tautan prapendaftaran dengan akses terbatas: https://osf.io/gx7vf	Dua pembuat kode Empat pengkode berpengalaman mengkode transkrip. […] dua mengkode komplikasi […]. […] satu orang mengkode semua transkrip sementara orang lain mengkode 25 transkrip acak untuk perhitungan reliabilitas antar penilai. […]. Satu pengkode, yang tidak mengetahui kondisi kebenaran, mengkode semua komplikasi dalam transkrip. Pengulangan tidak dikode. (hal. 13)	TIDAK	TIDAK
26. Vrij, Mann, Leal, Fisher, dan Deeb ( 2020 )	TIDAK Publikasi ini mencakup prapendaftaran yang menjelaskan prosedur penelitian dan analisis daya https://osf.io/ph3mu Komplikasi tercantum sebagai variabel dependen tanpa definisi atau spesifikasi pengukuran	Dua pembuat kode Satu koder , yang tidak mengetahui kondisi eksperimen, mengkodekan jumlah komplikasi […]. Pengulangan tidak dikodekan. […] Seorang koder kedua , yang juga tidak mengetahui kondisi eksperimen, mengkodekan sampel acak dari 25 transkrip. (hal. 632–633)	TIDAK	TIDAK

Catatan : Teks tebal melacak tautan ke prapendaftaran, data, dan informasi terkait tentang pengkodean.

Informasi yang dapat membantu dalam mengoperasionalkan komplikasi
Definisi
Dua puluh sembilan dari 30 publikasi yang memenuhi syarat untuk analisis ini menyertakan definisi eksplisit. Verigin, Meijer, Vrij, dan Zauzig ( 2020 ) menggunakan istilah ‘komplikasi tak terduga’, bukan komplikasi, dan tidak mendefinisikan pilihan mereka. Analisis tematik menghasilkan empat atribut yang mencirikan 29 definisi komplikasi.

1. Dampak: Atribut ini berpusat pada pengalaman pengirim yang nyata terhadap peristiwa awal. Untuk atribut dampak, saya mengodekan bagian definisi yang di dalamnya penulis menggambarkan komplikasi sebagai ‘kejadian yang memengaruhi pencerita, membuat situasi menjadi lebih sulit (atau rumit) daripada yang seharusnya, atau tidak terduga (atau tidak direncanakan)’. Aspek definisi komplikasi ini membedakan variabel dari peristiwa lain dalam laporan pengirim yang di dalamnya dampak fisik atau psikologis tampak sangat kecil. Atribut dampak paling sering ditampilkan; muncul dalam 18 definisi.
2. Penyampaian: Atribut ini berfokus pada penyajian pesan pengirim. Di sini, definisi menunjukkan bahwa komplikasi lebih rumit untuk dikomunikasikan daripada yang seharusnya—Ketentuan ini membedakan atribut saat ini dari atribut dampak, yang berfokus pada kompleksitas peristiwa itu sendiri, bukan komunikasinya. Misalnya, latihan fisik dapat melelahkan secara fisik dan psikologis, tetapi seseorang mungkin dapat memberi tahu orang lain apa yang dimaksud dengan latihan tersebut dengan mudah. ​​Definisi yang menunjukkan bahwa komplikasi ‘membuat situasi lebih rumit, sulit, atau rumit— untuk dilaporkan ‘ dikodekan di bawah penyampaian. Atribut penyampaian hadir dalam 13 definisi.
3. Konstitusi: Atribut ini menyangkut komposisi struktural komplikasi. Di sini, saya mengodekan aspek definisi yang secara eksplisit menyebutkan bahwa komplikasi mencakup kelompok detail (penting atau tidak penting), tidak harus unit tunggal. Contoh kelompok adalah: ‘Ketika tiba di pub berikutnya, saya harus berjalan kembali ke pub sebelumnya karena saya menyadari bahwa sepeda saya masih di sana (Leal, Vrij, Ashkenazi, et al.,  2024 ; Leal, Vrij, Deeb, & Fisher,  2024 , hlm. 2)’. Contoh unit tunggal adalah ‘sepeda saya’. Lima definisi berisi atribut konstitusi.
4. Cakupan: Atribut ini berfokus pada upaya untuk menyoroti perbedaan antara ‘komplikasi’ (seperti yang diteorikan dalam penilaian kredibilitas kognitif) versus ‘komplikasi yang tidak terduga’ (seperti yang dikonseptualisasikan dalam Analisis Konten Berbasis Kriteria [CBCA, lihat, misalnya Amado et al.,  2015 ]). Terkadang, penulis memperluas definisi mereka, dengan menyatakan bahwa komplikasi dapat terdiri dari kejadian yang diharapkan dan tidak terduga—dengan kompleksitas sebagai faktor krusial; sebaliknya, versi CBCA memerlukan elemen yang tidak terduga (lihat, misalnya Vrij, Leal, Fisher, et al.,  2018 ; Vrij, Leal, Jupe, & Harvey,  2018 ; Vrij, Leal, Mann, et al.,  2018 ). Lima definisi mengklarifikasi cakupan komplikasi.

Pembenaran
Semua publikasi, kecuali Verigin, Meijer, Vrij, dan Zauzig ( 2020 ), Vrij, Leal, Fisher, Mann, Deeb, dkk. ( 2019 ) dan Vrij, Leal, Fisher, Mann, Jo, dkk. ( 2019 ), menyertakan justifikasi eksplisit dalam pembelaan terhadap komplikasi sebagai isyarat kebenaran. Analisis tematik menandai empat jenis justifikasi.

Yang paling umum adalah justifikasi kesederhanaan-keterbukaan , yang digunakan dalam 28 publikasi. Idenya adalah bahwa kebenaran lebih mungkin mengandung komplikasi karena ‘[p]encerita kebenaran bersedia untuk terbuka dan menceritakan semuanya, sedangkan pencerita kebohongan mencoba untuk menjaga cerita mereka tetap sederhana (Burkhardt et al., 2024 , hlm. 2)’. Pembenaran yang tersisa digunakan lebih jarang. Imajinasi (digunakan dalam delapan publikasi) adalah salah satu alasan tersebut: di sini, penulis menggunakan versi argumen berikut: ‘pencerita kebohongan mungkin tidak dapat melaporkan banyak komplikasi seperti pencerita kebenaran, karena pencerita kebohongan mungkin tidak memiliki imajinasi yang diperlukan untuk membuat komplikasi (Vrij et al., 2022 , hlm. 54)’ Empat publikasi menggunakan memori episodik untuk membenarkan komplikasi dan dua publikasi menggunakan permintaan kognitif . Penulis mengklaim bahwa ‘pernyataan [p]enceritaan kebenaran tentang pengalaman yang dituduhkan didasarkan pada memori episodik […] sedangkan pernyataan pencerita kebohongan cenderung mengandung unsur memori semantik […], yang dapat mengakibatkan pelaporan […] lebih banyak komplikasi […] (Burkhardt et al., 2024 , hlm. 2)’. Yang lain berpendapat bahwa ‘Membuat komplikasi membutuhkan sumber daya kognitif, tetapi pencerita kebohongan mungkin tidak memiliki sumber daya kognitif yang memadai untuk melakukannya (Vrij, Leal, Deeb, Chan, Khader, et al., 2020 ; Vrij, Leal, Mann, Shaboltas, Khaleeva, et al., 2020 ; Vrij, Mann, Leal, & Fisher, 2020 ; Vrij, Mann, Leal, Fisher, & Deeb, 2020 )’.

Ringkasan definisi dan justifikasi
Tidak ada definisi yang mencakup keempat atribut definisi yang ada dalam literatur, dan satu pembenaran lebih umum daripada yang lain. Temuan ini menunjukkan varians dalam literatur (lihat Tabel 1 ). Namun, jika digabungkan, satu karakteristik konsisten secara keseluruhan: semua definisi menunjukkan bahwa komplikasi bergantung pada kompleksitas pesan pengirim. Pembenaran utama adalah karena orang yang mengatakan kebenaran memberikan lebih banyak informasi, mereka cenderung melaporkan komplikasi daripada pembohong yang menjaga pesan mereka tetap sederhana. Konsistensi dalam literatur yang ada memberikan informasi penting untuk replikasi konseptual: analis dapat secara independen menentukan apa yang dimaksud eksponen dengan komplikasi.

Untuk memeriksa komplikasi melalui replikasi konseptual, pembuat kode harus dilatih terlebih dahulu untuk mengidentifikasi kompleksitas pesan. Karakteristik ini muncul dalam definisi pertama: ‘apa pun yang dikatakan seseorang yang memperumit pernyataan 2 [a] (Vrij et al., 2017 , hlm. 45)’. Para pendukungnya telah memperluas pengertian komplikasi, dengan menambahkan bahwa kompleksitas tersebut, baik yang direncanakan maupun tidak, dapat terwujud dalam dampak pada pengirim (misalnya kejadian yang memengaruhi pencerita dan membuat situasi menjadi lebih rumit) atau penyampaian pesan (misalnya kejadian yang membuat situasi menjadi lebih sulit untuk dilaporkan).

Yang penting, menurut justifikasi dalam literatur, pernyataan pengkodean untuk komplikasi harus dapat membedakan antara orang yang mengatakan kebenaran dan pembohong dengan andal—terutama karena kecenderungan orang yang mengatakan kebenaran untuk berterus terang. Para pendukung berpendapat bahwa orang yang mengatakan kebenaran cenderung tidak menyaring komplikasi, tidak seperti pembohong yang secara aktif menghindarinya—tetapi analis harus berhati-hati dengan justifikasi ini. Sebagian besar publikasi yang menggunakan justifikasi tentang keterbukaan orang yang mengatakan kebenaran dan preferensi pembohong untuk pesan yang sederhana mengutip Hartwig dkk. ( 2007 ) sebagai bukti pendukung. Perlu dicatat bahwa dalam penelitian Hartwig dkk., memang, 35 dari 41 orang yang mengatakan kebenaran melaporkan menggunakan apa yang dapat diartikan sebagai strategi keterbukaan: ‘Katakan yang sebenarnya tentang apa yang terjadi’ (Hartwig dkk., 2007 , hlm. 220). Namun, pembohong tidak selalu melaporkan menggunakan strategi menjaga pesan mereka tetap sederhana (atau singkat); sebaliknya, mereka bersedia membocorkan informasi yang menyesatkan. Sembilan dari 41 pembohong melaporkan bahwa strategi mereka melibatkan penyediaan cerita yang terperinci, sembilan lainnya mengatakan mereka menghindari kebohongan, enam mengatakan mereka berusaha untuk menyediakan cerita yang konsisten, dan empat menggunakan alibi. Strategi-strategi ini mungkin mencakup komplikasi—tidak ada alasan kuat untuk berasumsi bahwa strategi membocorkan informasi yang menyesatkan akan secara otomatis menyingkirkan komplikasi.

Seseorang dapat berpendapat bahwa definisi dan pembenaran harus dioperasionalkan untuk memahami sepenuhnya apa yang tercakup dalam suatu konstruksi. Mungkin operasionalisasi komplikasi yang asli dapat mengungkapkan alasan mengapa pembohong (termasuk mereka yang membocorkan informasi yang menyesatkan) menghindari pelaporan komplikasi. Saya akan membahas masalah itu selanjutnya.

Informasi yang dapat membantu dalam mereproduksi temuan yang dipublikasikan
Tabel 3 berisi data yang mendukung temuan yang dilaporkan di sini.

Proses pengkodean
Tidak ada publikasi (0 dari 25) yang mendaftarkan terlebih dahulu protokol pengodean untuk variabel komplikasi. Yang saya maksud dengan protokol pengodean adalah instruksi yang diterima pembuat kode untuk mengidentifikasi komplikasi. Beberapa publikasi (12 dari 25) mendaftarkan terlebih dahulu prosedur penelitian dan/atau analisis daya—tetapi tidak ada informasi tentang bagaimana penulis berencana untuk mengodekan komplikasi. Paling banyak, beberapa pendaftaran terlebih dahulu menyertakan definisi atau contoh komplikasi. Dalam kasus tertentu, penulis mencatat bahwa ‘pengodean akan dilakukan pada transkrip menggunakan protokol yang ada (Leal, Vrij, Deeb, & Fisher, 2023 )’. Namun, tidak ada spesifikasi dari protokol yang ada tersebut.

Meneliti prapendaftaran protokol pengkodean bukan berarti menyarankan bahwa prapendaftaran secara otomatis membawa ketelitian ilmiah. Tujuannya adalah untuk melakukan penyelidikan menyeluruh terhadap semua kemungkinan lokasi tempat informasi dapat diarsipkan, yang saat ini mencakup prapendaftaran.

Selanjutnya, saya memeriksa masing-masing publikasi untuk protokol pengkodean—lokasi lain untuk menemukan buku kode. Mirip dengan prapendaftaran, tidak ada publikasi (0 dari 25) yang menyertakan deskripsi buku kode, protokol pengkodean, atau ‘protokol yang ada’. Namun, setiap publikasi menyertakan setidaknya satu contoh komplikasi. Dua penulis (Leal, S. dan Vrij, A.) secara eksplisit dicatat dalam 12 dari 25 publikasi sebagai orang yang mengajarkan pembuat kode cara membuat kode komplikasi. Untuk setiap publikasi, setidaknya dua pembuat kode dilatih, dan pelatihan tersebut berhasil secara konsisten (ICC berkisar antara 0,60 dan 0,95; modus = 0,95—lihat tabel suplemen). Namun masih belum jelas apa sebenarnya yang diajarkan kepada pembuat kode dan bagaimana mereka melakukannya. Meskipun operasionalisasi komplikasi asli adalah sebuah misteri, orang dapat berpendapat bahwa memeriksa data mentah dapat membantu analis independen dalam menandai variabel tersebut. Jadi, saya menyelidiki ketersediaan data.

Ketersediaan data
Data mentah anonim dari semua 25 publikasi tidak tersedia untuk umum (0 dari 25). Satu-satunya data mentah yang dapat diakses adalah contoh komplikasi yang disebutkan dalam masing-masing publikasi. Empat dari 25 artikel menyertakan tautan ke kumpulan data yang tersedia untuk umum, di mana komplikasi dikodekan ke dalam nilai numerik (tidak ada data mentah yang disertakan).

Ringkasan proses pengkodean dan ketersediaan data
Secara keseluruhan, literatur yang ada hampir tidak sesuai dengan reproduktifitas temuan asli atau replikasi langsung. Analis independen tidak dapat melacak secara tepat bagaimana komplikasi dikodekan dalam makalah asli atau apa sebenarnya yang dikodekan sebagai komplikasi—karena tidak tersedianya data yang akut. Dengan kata lain, seseorang tidak dapat mengaudit pengodean literatur yang ada untuk memastikan apakah pengodean tersebut sesuai dengan definisi komplikasi.

Bias seleksi
Analisis bias seleksi dilakukan di R menggunakan paket ‘zcurve’ versi 2.4.2. (Bartoš & Schimmack, 2022 ). Data dan kode untuk mereproduksi analisis tersedia di sini: https://osf.io/7s6kq/ .

Gambar 2 memberikan snapshot dari analisis z -curve. Sebagian besar studi dalam literatur menghasilkan hasil yang signifikan secara statistik di mana pernyataan orang yang mengatakan kebenaran mengandung lebih banyak komplikasi (yaitu batang di sisi kanan garis merah pada Gambar 2 ). Dan sementara Risiko Penemuan Palsu (FDR) rendah (7%), interval kepercayaan benar-benar bipolar (0%–100%)—yang memperkenalkan ketidakpastian tentang FDR. Observed Discovery Rate (ODR = 93%) lebih dari dua kali lipat Expected Discovery Rate (EDR = 42%)—menunjukkan bahwa persentase temuan yang signifikan secara statistik dalam literatur saat ini lebih tinggi daripada apa yang dijamin oleh kekuatan studi yang ada. Namun, interval kepercayaan EDR adalah antara 5% dan 100%: rentang ekstrem ini memperkenalkan ketidakpastian tentang kemungkinan bias seleksi. Expected Replication Rate (ERR) adalah 75%, menunjukkan bahwa temuan yang ada pada komplikasi cenderung bereplikasi—jika seseorang menggunakan protokol pengkodean yang sama dengan studi masing-masing dalam literatur. Namun sebagaimana dibahas sebelumnya, protokol pengkodean tidak tersedia di seluruh literatur.

DISKUSI META SAINS
Pelajaran dari praktik dokumentasi dalam penelitian komplikasi
Komplikasi telah dideskripsikan sebagai petunjuk diagnostik terbaik untuk mendeteksi kebenaran (misalnya Vrij, Deeb, et al., 2021 ; Vrij, Leal, et al., 2021 ; Vrij, Palena, et al., 2021 ). Variabel tersebut muncul dalam literatur bersamaan dengan tersedianya sumber daya sains terbuka—memberikan harapan yang wajar bahwa materi yang relevan akan diarsipkan pada repositori yang dapat diakses jika tidak dalam publikasi yang ada. Karya ini menyelidiki apakah harapan tersebut telah terpenuhi dalam rangka reproduktifitas. Dengan cara ini, temuan dapat berfungsi sebagai bukti konkret untuk mengarahkan penelitian masa depan pada praktik yang memfasilitasi dan menghalangi reproduktifitas.

Perkiraan numerik menunjukkan bahwa hasil yang ada dalam literatur mungkin dapat direplikasi—tetapi dengan peringatan penting: replikasi tersebut sepenuhnya bergantung pada perolehan protokol pengkodean dan data mentah dari studi asli. Namun, informasi penting tersebut tidak dapat diakses publik. Definisi komplikasi cukup konsisten di seluruh literatur, tetapi tanpa protokol pengkodean yang dapat ditindaklanjuti untuk memandu para pemangku kepentingan, setiap operasionalisasi komplikasi yang independen tetap rentan terhadap penjelasan post hoc. Penjelasan tersebut akan terus-menerus melindungi komplikasi dari pengujian yang ketat. Perlu dicatat bahwa 29 dari 30 publikasi yang termasuk dalam penelitian ini ditulis oleh setidaknya satu penulis dari publikasi awal tentang komplikasi (yaitu, Vrij et al., 2017 ). Misalkan upaya independen gagal untuk mereplikasi salah satu dari 29 temuan tersebut; dapat dikatakan bahwa kegagalan tersebut disebabkan oleh sistem pengkodean yang tidak ideal. Saya akan menggunakan studi terbaru (yaitu Deeb et al., 2024 ) 3 untuk menunjukkan kerentanan tersebut terhadap penjelasan post hoc yang mencegah pengujian objektif. Konsekuensi tersebut akan membawa pedihnya kebutuhan akan reformasi dan solusi potensial untuk memfasilitasi reproduktifitas.

Deeb et al. ( 2024 ) melatih sekitar setengah dari partisipan mereka untuk mengidentifikasi komplikasi (yaitu partisipan yang terlatih). Kelompok kontrol (yaitu partisipan yang tidak terlatih) tidak menerima persiapan apa pun. Paket pelatihan adalah skrip yang mendefinisikan komplikasi, membenarkan diagnostikitasnya, dan menyertakan lima contoh (lihat https://osf.io/d69ve/ ). Informasi ini serupa dengan apa yang dapat ditemukan dalam publikasi apa pun yang ada tentang komplikasi, bukan pelatihan yang mungkin diterima oleh pembuat kode dalam studi asli. Jadi, partisipan yang terlatih dalam studi Deeb et al. mirip dengan pemangku kepentingan yang mencoba replikasi konseptual. Mereka harus menggunakan definisi, pembenaran, dan contoh untuk mengoperasionalkan cara mengidentifikasi komplikasi secara independen dalam serangkaian pernyataan benar dan salah. Deeb et al. ( 2024 ) menginstruksikan partisipan yang terlatih untuk menyoroti komplikasi dan membuat penilaian kebenaran; partisipan yang tidak terlatih diminta untuk menyoroti detail yang membantu penilaian kebenaran mereka. Dengan cara ini, kemampuan partisipan yang terlatih untuk mengidentifikasi komplikasi dapat diperiksa terhadap kemampuan partisipan yang tidak terlatih untuk secara tidak sengaja mengandalkan komplikasi.

Perbedaan dalam akurasi penilaian kebenaran antara peserta yang tidak terlatih dan yang terlatih sangat mendekati nol ( d  = −0,02). Selain itu, kemampuan peserta untuk mengidentifikasi komplikasi sebagai fungsi dari kebenaran dan pelatihan lemah: rasio keberhasilan untuk peserta yang terlatih adalah d  = 0,09, dan d  = −0,25 untuk peserta yang tidak terlatih. Rata-rata, peserta yang tidak terlatih secara tidak sengaja menandai komplikasi 21% dari waktu, dan peserta yang terlatih secara akurat mengidentifikasi komplikasi 29% dari waktu. Yang penting, rasio keberhasilan peserta yang terlatih (14,37%) lebih kecil daripada alarm palsu mereka (24,47%) dan kecenderungan untuk melewatkan apa yang penulis tentukan sebagai komplikasi (32,79%). Ketidakmampuan peserta terlatih Deeb et al. untuk mengidentifikasi dan mengandalkan komplikasi sangat menggema.

Deeb et al. ( 2024 ) menulis bahwa peserta yang terlatih mungkin telah salah memahami konsep komplikasi. Penjelasannya adalah bahwa meskipun peserta melaporkan bahwa mereka memahami komplikasi, mereka tidak dapat mengidentifikasi komplikasi yang ditandai oleh Deeb et al. Namun, protokol pengkodean asli—yang digunakan dalam literatur yang ada—untuk melatih pembuat kode dan data terkait masih menjadi misteri. Selain itu, pengkodean peserta yang terlatih tidak tersedia untuk umum. 4 Dengan demikian, melakukan audit yang tidak memihak untuk memastikan apakah peserta pelatihan Deeb et al. salah memahami komplikasi hampir mustahil.

Deeb et al. ( 2024 ) membahas dua penjelasan post hoc tambahan mengapa kinerja peserta yang terlatih tidak mereplikasi temuan dalam literatur: (1) Pelatihan mungkin terlalu singkat atau tidak sensitif, dan (2) mengidentifikasi komplikasi mungkin menuntut secara kognitif—ini adalah poin yang adil. Namun, ada kemungkinan ketiga. Mungkin literatur yang mendukung komplikasi mungkin karena karakteristik permintaan—yaitu, pembuat kode menjadi sadar akan dan dipengaruhi oleh hasil yang lebih disukai penulis. Tentu saja, tidak ada alasan untuk mengutamakan penjelasan post hoc saya daripada penjelasan Deeb et al. atau sebaliknya. Namun demikian, karakteristik permintaan, kemungkinan bahwa komplikasi adalah isyarat kebenaran yang lemah, atau kemungkinan bahwa komplikasi adalah variabel ilusi, layak untuk dimasukkan dalam agenda penelitian. Namun, pemeriksaan semacam itu hanya dapat dilakukan secara objektif jika protokol pengkodean dan data mentah (yang anonim) tentang komplikasi menjadi tersedia untuk umum untuk audit independen.

Panggilan untuk bertindak
Jelaslah bahwa kurangnya aksesibilitas terhadap protokol pengkodean dan data mentah anonim merupakan hambatan signifikan terhadap reproduktifitas. Hambatan ini berbahaya: hal ini mencegah pemangku kepentingan untuk mengaudit temuan yang dipublikasikan, yang memungkinkan penjelasan temuan yang tidak valid dengan penjelasan post hoc yang bergantung pada informasi yang tidak dapat diakses. Jika kita tidak mulai menganggap serius reproduktifitas, kita akan tetap tidak mengetahui kredibilitas literatur kita.

Minimalnya, editor dan pengulas jurnal harus bersikeras pada buku kode protokol pengkodean. Menyediakan data mentah anonim yang sesuai juga harus menjadi persyaratan kecuali hambatan khusus seperti perjanjian hibah mencegah pembagian data. Informasi tersebut harus tetap dapat diakses oleh komunitas ilmiah pasca-publikasi. Sifat penelitian deteksi kebohongan verbal memerlukan kebijakan ini. Kita tahu bahwa pengkodean isyarat verbal rentan terhadap fleksibilitas analitik (Schutte et al., 2021 ). Dan kita tahu bahwa fleksibilitas analitik adalah saluran untuk positif palsu—terlepas dari niat terbaik kita (Simmons et al., 2011 ). Oleh karena itu, data berkode dan statistik keandalan antar penilai tidak akan mencukupi. Informasi ini hanya memberi tahu kita bahwa penulis berhasil membuat pembuat kode setuju tentang cara memproses data. Informasi tersebut menambah ketelitian ilmiah jika penulis menyertakan apa yang benar-benar perlu kita ketahui, yaitu apakah suatu protokol dapat diulang dalam audit.

Penting untuk mengklarifikasi makna ‘dapat diulang dalam audit independen’ yang disebutkan dalam paragraf sebelumnya. Estimasi reliabilitas antar penilai berdasarkan frekuensi isyarat dalam pernyataan hampir tidak mengungkapkan apakah pembuat kode benar-benar konsisten. Misalnya, dua pembuat kode independen masing-masing dapat menandai tujuh komplikasi dalam pernyataan atau transkrip. Dan unit masing-masing yang diidentifikasi oleh setiap pembuat kode dapat tumpang tindih, tetapi tumpang tindih itu dapat berisi informasi yang lebih atau kurang berbeda. Misalnya, Komplikasi 1 yang ditandai oleh pembuat kode dapat terlihat seperti ini: Pembuat kode A  = [informasi tambahan dalam transkrip] Komplikasi 1 ; Pembuat kode B  = Komplikasi 1 [informasi tambahan dalam transkrip]. Meskipun kedua pengodean menyertakan unit yang diminati, pembagian kode tentu saja berbeda. Keterbatasan ini menjadi lebih rumit pada beberapa pengodean—unit yang berbeda diperlakukan sebagai unit yang sama. Dan estimasi reliabilitas secara keliru akan menunjukkan bahwa pembuat kode konsisten bahkan ketika pengodean mereka tidak selalu identik. Krippendorff ( 1995 ) secara luas menjelaskan perlunya unitisasi yang kuat saat mengodekan data berkelanjutan seperti transkrip verbal. Kita perlu mengetahui apakah pembuat kode independen akan mengidentifikasi kejadian yang sama (termasuk pembagian informasi yang sama) sebagai isyarat (seperti komplikasi) contoh demi contoh. Yang penting, apakah pembuat kode dari laboratorium independen akan menandai komplikasi yang sama seperti yang dikodekan sebagai komplikasi dalam studi yang dipublikasikan? Untuk mencoba memecahkan masalah pengulangan ini, paling tidak, buku kode isyarat deteksi kebohongan harus tersedia untuk umum.

Tujuan utama Penelitian Psikologi dan Hukum adalah untuk menginformasikan keputusan kebijakan dalam penegakan hukum (misalnya Kassin et al., 2025 ). Para pembuat kebijakan cenderung lebih percaya diri pada penelitian yang dapat diverifikasi. Peringatan ini bukan berarti bahwa reproduktifitas cukup untuk aplikasi praktis. Implementasi semacam itu memerlukan titik batas yang tervalidasi. Sejauh mana isyarat harus ada atau tidak ada untuk memungkinkan penilaian kebenaran yang meyakinkan? Kita hanya dapat menjawab pertanyaan-pertanyaan penting tersebut secara ketat jika ada cara yang dapat direproduksi untuk mengidentifikasi dan menghitung isyarat kebenaran.

Keberatan yang mungkin perlu ditangani terlebih dahulu secara tertulis. Untuk menolak ajakan bertindak, seorang kritikus dapat menggunakan ungkapan ‘ketiadaan bukti bukan berarti bukti ketiadaan’. Tegurannya adalah—masih belum ada ‘mayat’ yang menjamin tingkat kewaspadaan ini: penelitian saat ini hanya menunjukkan bahwa protokol pengodean dan data mentah (yang tidak dikodekan) tidak tersedia untuk umum untuk komplikasi (dan mungkin isyarat lainnya). Penulis yang relevan mungkin akan memberikan informasi yang hilang setelah melihat tinjauan saat ini. Jika perubahan itu terjadi, maka artikel ini hanya akan menjadi sekadar gosip yang tidak perlu. Keberatan yang mungkin ini mengabaikan poin penting. Pelajaran yang dapat dipetik di sini bukanlah sekadar tidak adanya bukti. Inilah ‘mayat yang sudah mati’: masalahnya adalah bahwa tidak adanya bukti adalah bukti praktik yang menghambat kemungkinan koreksi diri dalam sains. Saat ini, setiap analis yang ingin mengaudit penelitian komplikasi tidak akan berhasil, dan tinjauan saat ini memberikan bukti mengapa kegagalan tidak dapat dihindari.

Investigasi saat ini mengungkap satu ‘mayat pepatah’. Berapa banyak lagi yang ada? Pertanyaan ini mengundang komentar tentang kendala umum dan implikasi dari pekerjaan saat ini. Akan tergoda untuk mengabaikan temuan saat ini jika seseorang tidak menggunakan variabel komplikasi dalam penelitian mereka sendiri—ini adalah kesalahan. Pengungkapan bahwa penelitian komplikasi tidak cocok untuk reproduktifitas seharusnya menjadi panggilan darurat bagi semua peneliti isyarat deteksi kebohongan (lihat juga Levine, 2018 ). Menggali mayat pepatah lain tidak akan banyak mengubah panggilan untuk bertindak—satu sudah cukup untuk membuat kasus; idealnya, seharusnya tidak ada mayat sejauh menyangkut reproduktifitas. Pelajaran penting bagi semua peneliti deteksi kebohongan adalah bahwa program penelitian dapat berakar tanpa basis dokumentasi yang kuat. Dan keterbatasan ini pada akhirnya akan menimbulkan keraguan pada basis bukti program. Melakukan analisis retrospektif untuk membuktikan halaman belakang seseorang bebas dari mayat juga bukan penggunaan sumber daya yang bijaksana. Ke depannya, kami harus memperkuat praktik dokumentasi kami, dan cara terbaik untuk melakukannya adalah dengan meminta jurnal menerapkan ajakan bertindak.

Investigasi ini harus menjadi kisah peringatan bagi siapa pun yang mengedit, melakukan, atau mengonsumsi penelitian deteksi kebohongan. Selain itu, pengkodean data verbal tidak terbatas pada publikasi tentang deteksi kebohongan. Metode ini umumnya digunakan dalam penelitian Psikologi dan Hukum untuk mengidentifikasi variabel seperti akurasi memori, konfabulasi, dan kerja sama (yaitu pengungkapan informasi). Seruan untuk bertindak terkait reproduktifitas diperlukan di seluruh bidang. Rekomendasi populer dalam penelitian Psikologi dan Hukum adalah bahwa verifikasi adalah ciri kredibilitas (misalnya Nahari et al., 2014 ). Mari kita praktikkan apa yang kita khotbahkan. Kita harus menaati rekomendasi kita sendiri dengan memastikan penelitian kita dapat diverifikasi melalui reproduktifitas.