Tekrarlanabilirlik: Sonuç Neden Her Zaman Tutmaz?

Bir çalışma bir sonuç yayımlar. Başka bir ekip aynı yöntemi yeni veriyle kurar ve sonucu bulamaz. Bu duruma tekrarlanabilirlik sorunu denir. Özellikle psikoloji ve biyomedikal alanın bir kısmında, özgün makalelerin önemli bir bölümü ikinci denemede aynı çıkmamıştır. Bu, bilimin uydurma olduğu anlamına gelmez. Yayımlanan her cümlenin aynı sağlamlıkta olmadığı anlamına gelir.

Tekrar ne demektir

Tekrar, aynı makaleyi sesli okumak değildir. Yöntemi, yeni bir örneklem ya da yeni bir ölçümle kurmaktır. Sonuç benzer çıkarsa iddia güçlenir. Çıkmazsa iddia daralır ya da yöntemdeki gizli bir fark aranır. Daralmak, ilk ekibin kötü niyetli olduğunu tek başına kanıtlamaz. Kanıtlamadığı yerde de ilk cümle otomatik doğru kalmaz.

Bilimsel yöntemin hipotezden teoriye giden yolu ayrı bir yazıda anlatılır. Tekrar, o yolun bir basamağıdır. Basamak atlanırsa teori, tek bir makalenin üstünde durur. Tek makale, sürpriz bir gürültü de olabilir.

Neden şişkin bir raf oluşur

Dergiler, tutan sonucu tutmayandan daha çok basar. Tutmayan çalışma çekmecede kalır. Rafa bakan kişi, yalnızca tutanları görür ve etkinin sanıldığından büyük olduğunu sanır. Buna yayın yanlılığı denir. Bir de aynı veri kümesinin birçok biçimde denenmesi vardır. Denemelerden biri tesadüfen eşiği geçer ve o yazılır. Eşik, keşif gibi görünür. Tekrar, eşiği geçemez.

Korelasyon ile nedenselliği karıştırmak da bu rafa eklenir. İki şey birlikte değişiyor diye biri ötekini doğurmuş sayılır. O ayrım ayrı bir yazıda durur. Tekrar, nedenselliği kendiliğinden kurmaz. Yalnızca aynı bağın yeni veride de görünüp görünmediğini sorar.

Her alan aynı rafta değil

Çekirdek fizikteki bazı sonuçlar, birbirinden bağımsız düzeneklerde yıllarca aynı çıkar. Bu, fiziğin her makalesinin otomatik sağlam olduğu anlamına gelmez. Psikolojideki her sonucun da çürük olduğu anlamına gelmez. Alanlar, örneklemin zorluğu ve ölçünün netliği bakımından ayrılır. İnsan davranışı, bir mıknatısın sapmasından daha çok değişkene bağlıdır. Değişken çoksa tekrar da daha kırılgandır.

Haber bu ayrımı silerse okur, ya her şeye inanır ya hiçbirine inanmaz. İkisi de tembel bir raftır. Daha kullanışlı soru, bu sonucun tekrarlanıp tekrarlanmadığıdır. Haber okurken bakılacak noktalar ayrı bir yazıda toplanır. Tekrar, o listenin en ağır maddelerinden biridir.

Ne değiştirildi

Kimi alanlar, veriyi toplamadan önce yöntemi kayda geçirmeyi yaygınlaştırdı. Kayıt, sonradan yalnızca tutan denemeyi yazmayı zorlaştırır. Açık veri, başkasının hesabı yeniden kurmasını sağlar. Bu önlemler sorunu bir gecede silmez. Silmediği yerde de işe yaramaz değillerdir. Rafın şişkinliğini azaltırlar.

Tek bir çürüyen makale, yanındaki bütün rafları çöpe atmaz. Çok sayıda çürüyen makale ise o rafın başlığını küçültür. Küçültmek, bilimin bittiği cümlesi değildir. Güvenin, alana ve tekrara göre ayarlandığı cümlesidir.

Sık sorulan sorular

Tekrar tutmazsa ilk çalışma yalan mıydı?

Tek başına bunu söyleyemezsiniz. Gizli bir yöntem farkı da olabilir, ilk sonuç bir tesadüf de. Yine de tutmayan sonuç, tekrar olmadan sağlam sayılmaz.

Bütün bilim bundan etkilenir mi?

Her alan aynı oranda etkilenmez. Ölçüsü net ve çok kez kurulmuş sonuçlar daha dayanıklıdır. Dayanıklılık, alana göre sorulur. Tek bir manşet bütün rafları kapatmaz.

Tekrar nedenselliği kanıtlar mı?

Hayır. Aynı bağın yeni veride de göründüğünü gösterir. Bağın neden olduğunu göstermek, ayrıca bir düzenek ister. Birlikte değişmek, doğurmak demek değildir.