Araştırma Yapanların Geç Öğrendiği Beş Ders

Bir araştırmanın yapılabilmesi, ciddi bir ön hazırlık ve araştırma yöntemleri, istatistik, vb konularda yeterli bilgi birikimi gerektiriyor. Bu yazımda birlikte çalıştığım araştırmacıların "bunu keşke daha önce bilseydim" dediği konuları derledim:

1. İSTATİSTİK UZMANINA HER ŞEY OLUP BİTİNCE DEĞİL, ÇALIŞMAYA BAŞLAMADAN DANIŞMAK

“Araştırma yapıldıktan sonra istatistikçiye başvurmak, ölüye otopsi yapmasını istemekten başka bir şey değildir. Çünkü, bu aşamada istatistikçi sadece araştırmanın neden öldüğünü söyleyebilir.” R.A. Fisher

Çoğu araştırmacı tarafından istatistik süreci yalnızca analizden ibaret görülmektedir. Oysaki analize gelene kadar; çalışma tasarımı, örneklem sayısı belirlenmesi, uygun veri girişi yapabilme gibi konularda da çalışmanın hayatını kurtaran önlemler alınmalıdır.

Yeri gelmişken istatistiğe bakış açısıyla ilgili problemli olarak gördüğüm bazı algı biçimlerinden de bahsetmek istiyorum. Bunları maddelerle özetlemek istiyorum:

• Önce istatistik okuryazarı olmaya çalışmak yerine istatistikçiliğe soyunmak.

• İstatistiğe okul zamanında gereken önemi ve ilgiyi göstermemek.

• İstatistiğin yabancı dil gibi kullanılmadıkça unutulduğunun farkında olmamak.

• İstatistik okuryazarlığına sadece akademik çıktı üretenlerin ihtiyaç duyduğunu varsaymak.

“İstatistiksel düşünme, gün gelecek tıpkı okuryazar olmak gibi iyi bir yurttaş olmanın en gerekli unsurlarından olacak.” H. G. Wells

2. UYGUN ÖRNEKLEM SAYISININ ÇALIŞMANIN BAŞINDA TAHMİN EDİLMESİ GEREKTİĞİ (GÜÇ ANALİZİ)

Bilimsel araştırmaların temel amacı, en basit ifadeyle gerçeğe yani hakikate ulaşmaktır. Gerçekte ve pratik hayatta anlam ifade eden sonuçları, teorik olarak da gösterebilmektir. İstatistikte bu tutarlılığı ifade eden kelime, “GÜÇ” olarak sunulmaktadır (statistical power). Yani gerçek hayatta anlam ifade eden fark veya ilişki, istatistiksel anlamda da gösterilebildiği ölçüde çalışma güçlüdür. Bunu bilmeden çalışmaya başlayan araştırmacılar maalesef iki türlü olumsuz sonuçla karşılaşılabilir:

1. Gerçekte klinik olarak anlam ifade eden bir sonucun istatistiksel olarak anlamsız bulunması (örneklem yetersizliği)

2. Gerçekte klinik olarak anlam ifade etmeyen bir sonucun istatistiksel olarak anlamlı bulunması (örneklem fazlalığı)

Elbette şanslı olanlar, farkında olmadan uygun sayıda örneklemle güçlü bir çalışma yürütmüş olabilir. Ancak hakem önerilerine göre seçtikleri örneklem sayısına yine de tabir-i caizse “kılıf uydurmak” zorunda kalacaklardır. Çünkü artık pek çok dergi, güç analizini nasıl yaptığınıza dair bir açıklama paragrafı yazmanızı istemektedir.

Bilgili ve farkındalığı yüksek olan araştırmacılar ise güç analizi veya örneklem sayısı tahminlemesini çalışmaya başlamadan önce yaparak işini şansa bırakmayacaktır. Güçlü çalışma deyince aklımıza ne gelmeli?

1. Gerçekte klinik olarak anlam ifade eden bir sonucun istatistiksel olarak da anlamlı bulunması (örneklem düşük değil)

2. Gerçekte klinik olarak anlam ifade etmeyen bir sonucun istatistiksel olarak da anlamsız bulunması (örneklem fazla değil)

Güç analizi, çeşitli paket programlar (GPower en ünlüsü) veya çeşitli web ve masaüstü hesaplayıcılar aracılığıyla yapılmaktadır. Bunun için verebileceğim iki tüyo var:

• Ana hipoteziniz için kullanılması gereken istatistiksel testi belirleyerek google’da uygun anahtar kelimelerle tarama yapmak. Örn: “sample size calculation for kappa correlation” veya “power analysis for paired t test” gibi…

• Özellikle güç analizi konusunda deneyimli bir istatistik uzmanından destek almak

İstatistik uzmanı size şu soruları soracaktır. Bu soruların yanıtlarına hazırlıklı giderseniz süreç kolaylıkla tamamlanacaktır.

1. Çalışmanın ana amacı nedir?

2. Birincil çıktı (sonlanım) özelliği nedir? Sürekli mi kategorik mi?

3. Veri nasıl analiz edilecek? (fark, ilişki, uyum, vb)

4. Ne kadar küçük bir farkın saptanmasını pratikte önemli buluyoruz? (etki büyüklüğü)

5. Evrendeki değişkenlik nedir? (standart sapma / hata payı)

6. İstenen α (1. Tip hata) ve β (2. Tip hata) nedir?

7. Örneklem bölüştürme (n2/n1) oranı nedir?

8. Öngörülen kayıp veri (drop out) oranı nedir?

Sonuç olarak kaliteli araştırmalar için, örneklem sayısının çalışma bittikten sonra değil, en başında doğru şekilde tahminlemesi yapılmalıdır.

3. UYGUN VERİ DOĞRULAMA YÖNTEMLERİNİ KULLANARAK ANALİZE BAŞLAMAK

Veri doğruluğu da doğru örneklem sayısıyla çalışmak kadar önemli bir konudur. Doğru veriyle çalışmak için yapmamız gereken temel uygulamaları maddeleyecek olursak:

• Veri toplama yöntemini amaca uygun seçmek (ör: deneysel çalışma, gözlemsel çalışma, tanısal çalışma, vb)

• Veri toplarken acele etmemek, dikkatli ve sistematik olmak

• Değişken tipini (nominal, ordinal, interval, scale) ve analizi düşünerek veri girişi yapmak

• Satırlarda deneme birimleri (hastalar, sağlıklı bireyler dahil tüm gruplar) sütunlarda değişken isimleri olacak şekilde verileri tek bir veri tabanında birleştirmek

• Verilerin veri tabanına doğru şekilde aktarıldığına emin olmak (hatalı olduğu düşünülen veriyi veri tabanına dahil etmemek)

• Verileri toplarken veya topladıktan sonra uygun dönüşümler yapma (aritmetik hesaplar, grup birleştirmeleri, vb)

• Her değişkeni başka bir değişkenle teyit edecek çaprazlama tutarlılık kontrolü yapmak (ör: ad-soyad ile cinsiyet tutarlılığı)

• Boş bırakılması gereken veri ile “0” olarak girilmesi gereken veriyi ayırt etmek

• El ile hesap yapmaktan kaçınarak, formül veya fonksiyonları kullanarak dört işlem yapmak

• Veriyi göz ile değil, metrik işlemler yaparak kontrol etmek

• Veriyi Excel yerine analiz edilecek programa doğrudan girmek (aktarmada karşılaşılacak olası hatalara engel olmak için)

Veri yönetimini tuzaklarla dolu bir macera olarak görüyorum. Ne kadar kontrol edersek edelim yine de öngöremediğimiz hatalarla karşılaşabiliyoruz. Hatalı veriyle çalışmak nelere neden olur?

• Çalışmanın kalitesi düşer.

• Çalışmanın süresi uzar.

• Çalışmanın maliyeti artar.

• Araştırmacının bildiği/bilmediği hatalı sonuçlar üretilir.

• Çalışma iptal edilir.

Unutmayın ki verinizin sorumluluğu öncelikle sizin üzerinizde; istatistik uzmanında veya bir başkasında değil. Yanlış veriyle doğru analiz yapmak mümkün olmuyor. Yani doğru analizin ilk kuralı, doğru veriyle çalışmak. Doğru veriyle çalışmak için ihtiyaç duyduklarımız: Aceleci olmama, şüpheci olma, sıkı kontrol ve veri yönetimi yeteneğini geliştirme…

4. ÖLÇME ARAÇLARI ARASINDAKİ FARKI AYIRT ETMEK

Araştırmacılar, belirli bir olgu hakkında bireylerin fikir, tutum ve tercihlerini ölçmek isteyebilir. Fakat kullandıkları psikometrik bir terime karşılık gelen Türkçe karşılık uygun değilse, yapılan işlemler de hatalı olabilmektedir. Örneğin anketlerden elde edilen puanların toplanabilirliği yoktur ve toplam puan bir yargı ifade etmez. Bu sebepten “anketin güvenirliği ve geçerliği”nden söz edilemez. Ölçek (scale) ise bireylerin tutumlarını sayısallaştırmak amacıyla oluşturulmuş ölçme aracıdır. Bu nedenle hesaplanan toplam veya ortalama puan, bir anlam ifade eder. Ölçekler, geçerlilik ve güvenilirlik ölçütleriyle standardize edilmelidir.

Aşağıdaki tabloda, anket, ölçek, envanter ve test ölçüm araçlarının belirli özelliklere göre birleştiği ve ayrıştığı noktaları sembolize ederek ifade etmeye çalıştım (Alanın uzmanı değilim, hatalı olduğum yerler varsa beni bu konuda bilgilendirmenizden memnun olurum).

Tablo 1. Ölçme araçlarının belirli özelliklere göre karşılaştırılması

Özellikle ölçek ve anket arasındaki farkı ayırt edemeyen araştırmacılarla sıkça karşılaşıyoruz. Onlara sunduğumuz öneriler genellikte şu şekilde oluyor:

• Güvenilirliği ve geçerliliği bilinen ve Türk kültürüne (Türkçeye değil!) uyarlanmış ölçüm aracı kullanınız.

• Ölçüm aracını geliştirebilirsiniz.

• Ölçüm aracını Türk kültürüne uyarlayabilirsiniz.

Elbette tüm bunları yaparken bir Ölçme ve Değerlendirme uzmanı veya bir İstatistik uzmanından destek almanızı öneririz.

5. ARAŞTIRMA YÖNTEM VE DESENLERİNİ BİLEREK ÇALIŞMA TASARLAMAK

"Elinde çekiç olan her şeyi çivi olarak görür." Abraham Maslow

Araştırmacılar, hipotezlerine en uygun araştırma yöntemini bulmada zorluk yaşayabilmektedir. Bu gerçekten de kolay bir süreç değil. Doğru araştırma yöntemini seçebilmek için yöntemsel enstrümanları iyi tanımak gerekir. Araştırmacının bildiği yöntem repertuarı ne kadar genişse çalışmanın amaç, hedef ve hipotezlerine uygun yöntem ve desen seçimi o kadar mümkündür. Ancak işin başka bir zorluğu da araştırma yapılan alana göre yöntemlerin değişkenlik göstermesidir. Sosyal Bilimler, Fen Bilimleri, Sağlık Bilimleri veya Eğitim Bilimleri gibi alanlarda kullanılan çok farklı yöntem ve desenler mevcuttur. Araştırmacıların kafası bu noktada karışabilir. Kişisel gözlemime göre, Sosyal Bilimlerde araştırma üreten araştırmacıları Nitel ve Karma Yöntem Araştırmalara, Sağlık Bilimlerindeki araştırmacıları ise Nicel Araştırmalara nispeten daha aşina görüyorum. Örneğin Tablo 1’de Eğitim Bilimleri ve Sosyal Bilimlerde kullanılan yöntemler sunulurken, şekil 1 ve şekil 2’de sağlık araştırmalarında kullanılan tasarımları görebilirsiniz. Bu konuda “Bilimsel Araştırma Yöntemleri Ve Veri Toplama Araçları Listesi” başlıklı yazımı da gözden geçirebilirsiniz.

Tablo 2. Araştırma Yöntem ve Desenleri Listesi*

*Doç. Dr. Mustafa Metin, “Kuramdan uygulamaya eğitimde bilimsel araştırma yöntemleri.” Pegem Akademi Yayıncılık, 2014.

Şekil 1. Sağlık Bilimlerinde Araştırma Yöntemleri

Şekil 2. Klinik denemelerde kullanılan çalışma tasarımları

Doğru yöntem seçimini olumsuz etkilediğini gözlemlediğim birkaç faktörü sunmam gerekirse:

• «Veriyi toplayalım da sonra karar veririz» mantığı

• Belirsiz veya uygun olmayan tanımlanmış problemler

• Yeni bilgi veya iç görü üretmeyen araştırma soruları

• Popüler konuların veya yöntemlerin peşinden gitmek

Tıpkı istatistiksel test seçimi gibi, araştırma yöntemi de hipoteze göre seçilir. “Ben şu testi yapmak istiyorum” veya “ben şu yöntemi kullanmak istiyorum” motivasyonuyla çalışmaya başlamak, işe yararlığı düşük çalışmalara neden olacaktır.

Doğru yöntem seçilmemesi ne ile sonuçlanır?

• Yanlış bir temele oturmuş, hipotezlere hizmet etmeyen araştırmalar

• Güvenilir olmayan, yanlı, gerçekten uzak sonuçlar

• Bilimsel çalışmanın reddi/revizyonu ile sonuçlanabilir.

Bu konudaki çözüm önerilerim ise:

• Araştırma sorularının net olması

• Tüm araştırma türlerinin (repertuvarı) hangi durumlarda ve nasıl kullanıldıklarını bilmek.

• Araştırma yöntemini hipoteze göre seçmek

• Benzer çalışmaların artı/eksilerini yöntemsel açıdan değerlendirmektir

Tüm araştırmacılara zorlu araştırma süreçlerinde kolaylıklar diliyorum…