Abstract

Methods: In the study, items of the recent board exam, which was held in Eskişehir on April 12, 2015, were analyzed in terms of difficulty, discrimination, and validity.

Results: It was detected that correct answer items were distributed equally in the exam set, the average rate of questions answered correctly was 63.79%, 59% of the questions were answered correctly above average, and range of exam scores was wide. Rate of questions with desired difficulty index level was 51% and rate of questions with desired discrimination index level was 76%. Of the questions, 9% was invalid while 66% had a high level of validity.

Conclusion: Board written exam seems to be a valid test since exam questions cover all topics in the field of expertise, and the number of questions and rate of valid questions are high. The proportion of those successful in the exam was high and candidates were entitled to take the next step. It is assumed that candidates will be successful in the next phase.

Yeterlik tıptaki bir uzmanlık alanında yapılacak eğitimde uzman adayının dalı ile ilgili eğitimi yeterli bir şekilde alıp almadığının değerlendirilmesidir. Yeterlilik kurullarınca verilen bu belge ile uzman hekimlerin standart bir eğitim programını ve uzmanlık alanında yetkin sağlık hizmetleri sunumu için gerekli bilgi beceri ve deneyime sahip olup olmadığını değerlendiren sınavları başarıyla tamamladığı konusunda topluma güvence verilmektedir.[1]

Tıpta uzmanlık eğitiminin standardizasyonu, denetimi, izlemi ve geliştirilmesinin giderek önem kazandığı günümüzde uzmanlık dernekleri yeterlik kurullarını oluşturmuş ve üyelerine yeterlik belgeleri vermeye ve izlemeye başlamışlardır.[1]

Yeterlik kurullarının işlevleri yasal metinlerde tanımlanmıştır.[2] Kalp ve Damar Cerrahisi Yeterlik Kurulu kurulduğu 2006 yılından bu yana 12 yazılı, 6 sözlü/uygulama sınavı yapmıştır. Bu süre içerisinde yeterlik belgesi alan kişi sayısı 354’dür. Ülkemizde ilk kez yapılan bu çalışmanın amacı son yapılan yazılı sınavın sınav analizlerinin yapılması ve bundan sonraki yazılı sınavlar için daha iyi bir sınav seti hazırlamada anahtar konularda öneriler geliştirmektir.

Methods

Yeterlik kurulu tarafından duyuru sonrası sınava katılmayı talep eden kişi sayısı 99 idi. Sınava yeterlik kurulu yönergesi gereği kalp damar cerrahisi uzmanları ve son yıl asistanları katıldı.

Sınav setinin hazırlanması ve uygulaması
Sınav seti kalp ve damar cerrahisi ile ilgili temel konu alanlarını kapsayacak biçimde hazırlandı (Tablo 1).

Tablo 1: Konu alanlarına göre sınav sorularının dağılımı

Konu alanında yetkin kişilerden soruların çoktan seçmeli ve tek doğru yanıtlı olarak hazırlanması istendi. Sınav setinde negatif puan uygulaması (yanlışın doğruyu götürmesi) yoktu. Tek kitapçık olarak hazırlanan sınav setinde her bir soru değeri bir puan olan 100 soru vardı. Yazılı sınavının cevap kağıdı katılımcıların bilgilerinin basıldığı bir optik okuyucu formu şeklinde hazırlanmıştı.

Sınavda her bir katılımcının aldığı puanlar (mutlak puan) hesaplandı. Yeterlik kurulu tarafından uzlaşma yoluyla (Angoff yöntemi)[3] sınavdan 67 puan ve üzeri alma başarı kriteri olarak belirlendi. Katılımcılara sınav puanı değil, sınavda başarılı olup olmadıkları bilgisinin aktarılmasına karar verildi.

Ayrıca sınava katılanların yaş, cinsiyet, mezun oldukları fakülte, uzmanlıklarını aldıkları kurum, uzmanlık süresi, çalıştıkları kurum ve sınava girme sayısı gibi demografik değişkenlerle ilgili bilgileri de kaydedildi.

Madde analizi
Madde analizi sınavın bir gruba uygulandıktan sonra, istatistiksel teknikler yardımıyla sınav seti kapsamındaki maddelerin tek tek analiz edilmesidir.[4] Madde analizi; kusurlu maddelerin belirlenmesi, sınavın iyileştirilmesini gerektiren kısımları hakkında bilgi edinilmesine yardımcı olur.

Madde analizi ile maddenin zorluk düzeyi (yani ne kadar doğru cevaplandığı) ve maddenin ayırt ediciliği (yani bilenle bilmeyeni ne kadar iyi ayırdığı) konularında bilgi edinilir. Madde analizinin hesaplanmasında iki farklı teknik kullanıldı. Birinci teknikte klasik test teorisine göre %27’lik alt ve üst başarı düzeyinin karşılaştırması yapılarak yorum yapılır. Bu teknikte sorular üzerinde zorluk ve ayırıcılık indeksi hesaplanır. Madde zorluk indeksi 0 ile 1 arasında değerler alabilir. Testin tümü için zorluk indeksleri ortalamasının 0.5 civarında olması istenir. Madde ayırıcılık indeksi ise -1 ile +1 arasında değerler alabilir. Ayırıcılık indeksinin ise 0.3’den büyük olması istenir.[5] Bu teknikte %46’lık orta düzey başarı gösteren katılımcıların puanları hesaplama içinde yer almadığı için güvenilirlik yorumunda eksiklik olmaktadır. Bu nedenle biserial analiz olarak adlandırılan ikinci teknikte ise sınava katılanların tamamı üzerinden zorluk indeksi ve geçerlilik hesaplaması yapılabilir. Güvenilirlik bir sınavın tutarlı biçimde uygulanması ve puanlanması hakkında bilgi verirken, geçerlilik sınavın gerçekten ölçmek istediği durumu ölçüp ölçmediği konusunda bilgi vermektedir. Hem klasik test teorisine göre yapılan madde analizinde hem de biserial analiz ile sınavın geçerlilik ve güvenilirliği hakkında bilgi edinmek mümkündür.

İstatistiksel analiz
Madde analizinin; sınava katılanların puan dağılım istatistikleri (ortalama, ortanca, standart sapma, dağılım (range), minimum ve maksimum değerler), katılımcıların sınav başarılarının dağılımı, sorularda doğru yanıt şıkkının dağılımı, sorularının ortalama doğru yanıtlanma oranı, başarı sınırının altında ve üstünde doğru yanıtlanan soru dağılımı, konu alanlarına göre başarı sınırının altında ve üstünde doğru yanıtlanan soru dağılımı, soruların zorluk ve ayırıcılık indeksi, biserial analizi hesaplandı. Bu analizler ile oluşturulan sınav setinin konu alanına göre geçerlilik ve güvenilirlik durumları değerlendirildi.

Ayrıca sınava katılanlarla ilgili tanımlayıcı istatistikler de hesaplandı. Başarı puanlarının kategorik değişkenlerle karşılaştırılmasında ki-kare, sürekli değişkenlerle karşılaştırılmasında ise Student t-testi kullanıldı. İstatistiksel anlamlılığın değerlendirilmesinde α değeri 0.05 olarak alındı. Veriler Windows için PASW 18.0 versiyon (IBM SPSS Inc., Chicago, IL, USA) paket programında değerlendirildi.

Results

Sınava girenlerin yüzde %50’sini (n=46) Hacettepe, İstanbul (Cerrahpaşa/İstanbul Tıp), Ege, Gazi, Uludağ, Dokuz Eylül üniversitesi mezunları oluşturmaktaydı.

Sınava katılanların %60.9’u (n=56) uzmanlığını üniversitelerden almıştı. Eğitim araştırma hastaneleri içinde ise en fazla Dr. Siyami Ersek, Kartal Koşuyolu ve diğer Yüksek İhtisas hastanelerinden uzmanlık eğitimi aldıkları görüldü (%30.4). Sınava katılanların halen çalıştıkları kurumlar değerlendirildiğinde %35.9’unun üniversitelerde, %29.3’ünün eğitim araştırma hastanelerinde, %26.1’inin ise devlet hastanelerinde çalıştıkları saptandı. Katılımcıların %6.5’i ise özel hastanede çalışmaktaydı. Bu durumda sınava katılanların %66.7’si uzmanlık eğitimi veren bir kurumda çalışmaktaydı.

Katılımcıların sınava giriş sayıları değerlendirildiğinde %88’i (n=81) ilk kez, %10.9’u (n=10) ikinci kez sınava girmekteydi. Bir katılımcı ise üçüncü kez sınava katıldığını belirtti.

Katılımcıların sınavdan aldıkları puan dağılımı incelendiğinde ortalamanın 68.50±8.03 (min: 40, maks: 88) puan olduğu görüldü. Katılımcıların aldıkları puanların tepe değeri anlamına gelen ortanca değer 69 idi. Dağılımın yani minimum ve maksimum puanlar arasındaki farkın (range 48) alınan maksimum puanın yarısından büyük olması o sınavda puanların oldukça geniş bir dağılım gösterdiğinin kanıtıydı. Puanların belli bir alanda birikmemesi, dağılması sınavın güvenilirliği konusunda olumlu olarak yorumlandı (Şekil 1).

Şekil 1: Sınavdan alınan puanların dağılımı.

Sınavdan başarılı olma oranı (67 puan ve üzeri) %63 (n=58) idi. Katılımcıların cinsiyetine göre sınavdan başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (ki-kare: 0.847 p=0.357). Ancak kadınların başarı oranı (%75) erkeklere (%61.3) kıyasla daha yüksekti.

Katılımcıların uzmanlık eğitimi aldıkları kuruma göre sınavdan başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (ki-kare: 1.878 p=0.171). Ancak eğitim araştırma hastanelerinde uzmanlık eğitimi alanların başarı oranı (%71.4) üniversitede uzmanlık eğitimi alanlara (%57.1) kıyasla daha yüksekti. Benzer bir durum halen çalıştıkları kurumlar için de geçerliydi (eğitim araştırma hastanelerinde çalışanların %66.7’si sınavda başarılı olmuşken üniversitede çalışanların %63.6’sı başarılı oldu.

Katılımcıların uzman veya asistan olmalarına göre sınavdan başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (ki-kare=0.113 p=0.737). Ancak uzmanların başarı oranı (%63.5) asistanlara (%57.1) kıyasla daha yüksekti. Katılımcıların sınavdan başarılı olma durumu yaşlarına (t=0.163 p=0.871) ve uzmanlık sürelerine (t=0.642 p=0.523) göre değişiklik göstermemekteydi.

Sınav setinde doğru yanıtların dağıtılması durumu incelendiğinde her şıkkın eşit temsiliyette (%23-29) yer aldığı görüldü. Bu durum da sınav setinin hazırlanmasında titiz davranıldığının bir göstergesidir. Sınav sorularının ortalama doğru yanıtlanma oranı %63.7±22.25 (min: 7, maks: 93) olarak bulundu. Sınav setindeki 41 soru (%41) ortalamanın altında, 59’u (%59) ise ortalamanın üzerinde doğru olarak yanıtlanmıştı. Sınav sorularının 27’sinin %81-90 oranında doğru yanıtlandığı görülmektedir (Şekil 2).

Şekil 2: Sınav sorularının doğru yanıtlanma oranlarının dağılımı.

Konu alanlarına göre soruların doğru yanıtlanma oranları incelendiğinde kapak cerrahisi sorularının bir kısmının, kalp yetmezliği cerrahisi ve aort cerrahisi sorularının ortalamanın (63.7 ve üzeri) üstünde doğru olarak yanıtlandığı görülmektedir. Konjenital kalp cerrahisi ve kapak cerrahisi sorularının bir kısmının, koroner cerrahi sorularının ise ortalamanın (63.7 ve altı) altında doğru olarak yanıtlandığı görülmektedir (Tablo 2).

Tablo 2: Konu alanına göre soruların doğru yanıtlanma oranlarının ortalamaya göre dağılımı

Yüzde 27’lik alt ve üst grup karşılaştırması ile sınav sorularının zorluk dereceleri hesaplandı. Soruların ortalama zorluk indeksi 0.59±0.20 (min: 0.07 maks: 0.87) olarak bulundu. Sınav sorularının %51’inin (51 soru) istenen (kolay, önerilen, zor) zorlukta, %38’inin çok kolay, %11’inin ise çok zor olduğu görüldü. İstenen zorluk indeksine sahip 51 soru içinde kapak cerrahisi, konjenital kalp cerrahisi ve kalp yetmezliği cerrahisi sorularının ağırlıklı yer aldığı görüldü. Kalp cerrahisi genel konu alanında ise istenen düzeyde zorluk indeksine sahip soru bulunmamaktaydı (Şekil 3).

Şekil 3: Konu alanlarına göre sorularının zorluk indeksleri.

Koroner cerrahisi (%72.7), konjenital kalp cerrahisi (%71.4), kapak cerrahisi (%57.1), kalp yetmezliği cerrahisi (%56.3) ve aort cerrahisi (%50) konu alanlarındaki sorularının zorluk indeksi istenen düzeydeydi (Şekil 4).

Şekil 4: Konu alanı sorularının istenen zorluk indeksine sahip olma oranları.

Çok kolay soruların aort cerrahisi, kapak cerrahisi ve kalp yetmezliği cerrahisi konu alanlarında olduğu saptandı. Çok zor sorular ise konjenital kalp cerrahisi, damar cerrahisi, kapak cerrahisi ile kardiyak fizyoloji alanlarında idi.

Alt ve üst grup karşılaştırmasında sınav sorularının ayırıcılık dereceleri hesaplandı. Soruların ortalama ayırıcılık indeksi 0.33±0.13 (min: 0.00 maks: 0.59) olarak bulundu. Buna göre sınav sorularının %76’sının (76 soru) istenen (iyi, çok iyi) ayırıcılıkta ve %15’inin sınırda olduğu, %9’unun ise bilen ile bilmeyeni birbirinden ayırmadığı görüldü. İstenen ayırıcılık indeksine sahip 76 soru içinde kapak cerrahisi, kalp yetmezliği cerrahisi ve aort cerrahisi sorularının ağırlıklı yer aldığı görüldü. Sınırda ayırıcılık indeksine sahip soruların konu alanları kapak cerrahisi, kalp yetmezliği cerrahisi ve konjenital kalp cerrahisidir. Ayırıcılığı zayıf olup bilen ile bilmeyeni birbirinden ayıramayan soruların konu alanları incelendiğinde damar cerrahisi, kapak cerrahisi, kardiyak fizyoloji, aort cerrahisi ve konjenital kalp cerrahisi sorularının ayırıcılık gücünün zayıf olduğu görüldü (Şekil 5).

Şekil 5: Konu alanlarına göre sorularının ayırıcılık indeksleri.

Kardiyak anatomi, aritmi cerrahisi ve kalp cerrahisi genel konu alanlarının sorularının tamamında ayırıcılık indeksleri istenen düzeydeydi. Yani bu sorular konuyu bilen ile bilmeyeni birbirinden ayırmıştı. Aort cerrahisi (%92.3) ve koroner cerrahisi (%90.9) sorularında istenen ayırıcılık indeks oranları çok yüksekti. En düşük oran %33.3 ile kardiyak fizyoloji sorularındaydı (Şekil 6). Damar cerrahisi sorularının bilen ile bilmeyeni ayırma gücü %50 idi.

Şekil 6: Konu alanı sorularının istenen ayırıcılık indeksine sahip olma oranları.

Madde analizinde, aynı konu alanı soruları için gerek zorluk gerekse ayırıcılık indeksinin farklı düzeylerde olduğu görüldü. Bu durum sınav seti bakımından sorun teşkil etmemekteydi. Çünkü aynı konu alanı için farklı kurumlarda çalışan birden fazla eğitici, farklı bilgi düzeylerinde çok sayıda soru hazırlamıştı. Bir sınavda farklı zorluk ve ayırıcılık indeksine sahip soruların normal dağılıma uygun biçimde dağılması istenir, bu durum bir çelişki oluşturmamaktaydı.

Sınava katılanların tamamının madde analizine tabii tutulduğu biserial analizi ile sınav setinin geçerlilik durumu incelendiğinde soruların %66’sının yüksek düzey geçerlikte, %15’inin orta düzey geçerlilikte %10’unun kısmen geçerli, %9’unun ise geçersiz olduğu görüldü. Soruların geçerlilik durumları konu alanlarına göre karşılaştırıldığında kapak cerrahisi, kalp yetmezliği cerrahisi ve aort cerrahisi sorularında yüksek düzeyde geçerli soruların daha fazla olduğu yani soruların ölçmek istenen durumu ölçmeye muktedir olduğu saptandı (Şekil 7).

Şekil 7: Konu alanı sorularının geçerlilik durumlarının dağılımı.

Biserial analizde %9’u (n=9) geçersiz olarak hesaplanan sınav sorularının zorluk ve ayırıcılık gücü tekrar incelendi. Bu soruların %88.9’unun çok zor ve ayırıcılık gücünün zayıf olduğu görüldü. Sorunun zor olması ve ayırıcı olmaması bu sorunun yanıtlanmasında sorun yaşandığını, bilen ile bilmeyeni birbirinden ayırmada yeterli olmadığını bu nedenle de bu sınavın ölçmek istediği bilgi düzeyini ölçmede yetersiz olduğunu göstermektedir. Geçersiz soruların konu alanına göre dağılımı Tablo 3’de verilmiştir.

Tablo 3: Biserial analizde geçersiz olarak hesaplanan soruların konu alanına göre dağılımı

Geçersiz olan soruların teknik analizi bir konu alanı uzmanı ile tekrar gözden geçirildi. Buna göre konjenital kalp cerrahisi sorularından birinin üst uzmanlık düzeyinde olduğu, diğerinin ise soru kökünün uygun olmadığı, sınavın genel amacına uygun olmadığı yani geçersiz olduğu saptandı. Geçersiz olarak hesaplanan diğer yedi sorunun ise bilgi ağırlıklı olup kalp ve damar cerrahisi uzmanlık alanının çekirdek müfredatı kapsamında olduğu görüldü.

Discussion

Bulgular arasında en çok dikkati çeken konular, sınava katılanların genç yaşta olması, erkek katılımcıların fazla olmasına rağmen başarı oranının kadınlarda daha yüksek olması, uzmanlık eğitiminin daha çok üniversitelerden alındığı ve halen daha fazla çalışılan kurumların üniversiteler olmasına rağmen eğitim araştırma hastanelerinde çalışanların sınav başarısının daha yüksek olduğudur. Sınav setinin oluşturulmasında doğru yanıt şıklarının eşit dağıtıldığı, soruların doğru yanıtlama oranının ortalama %63.79 olduğu, soruların %59’unun ortalamanın üzerinde yanıtlandığı, sınavdan alınan puanlarda dağılımın (range) geniş bir aralıkta olduğu saptandı. Madde analizinde istenen zorluk düzeyine sahip soru oranın %51, istenen ayırıcılık düzeyine sahip soru oranın %76, geçersiz olan soru oranın %9, yüksek düzeyde geçerli soru oranın %66 olduğu saptandı.

Bu bulgular eşliğinde sınav setinin kapsadığı soruların uzmanlık konu alanının tamamını temsili olarak kapsaması ve soru sayısının fazla olması, yazılı sınavdan başarılı olanların sözlü sınava girecek olması ve o sınavdan da başarılı olacakları varsayımı ile biserial analizde yüksek düzeyde geçerli soruların oranın yüksek olması sınavın geçerli bir sınav olduğunu göstermekteydi.

Benzer şekilde sınav setinde konu alanı sorularının dağılımının yeterli temsiliyette olması, yanıtlamada tek doğru yanıtın olması ve kafa karıştırıcı yanıtların az olması, soruların yüksek oranda istenen zorluk indeksine sahip olması, ayırıcılık gücünün çok yüksek olması sınavın güvenilir olduğunu yani benzer katılımcılarla tekrarlandığında benzer sonuçların elde edileceğini göstermekteydi.

Özetle, yeterlik kurulu tarafından hazırlanarak gerçekleştirilen bu sınavın geçerli ve güvenilir olduğu görülmektedir.

Araştırma bulgularına dayanarak bundan sonraki sınav uygulamaları için aşağıdaki öneriler geliştirilmiştir.

• Yapılan sınav analizinin yeterlik kurulu tarafından ayrıntılı biçimde değerlendirilmesi ve özellikle geçersiz olarak saptanan soruların tekrar gözden geçirilmesi.

• Yeterlik kurulunun sınav analizinde yüksek ve orta düzeyde geçerli bulunan sorulardan oluşan bir soru bankası oluşturması ve böylece geçerli sorulardan oluşan bir soru bankası ile gelecekte yapılacak sınav planlamasının daha kolay olmasının sağlanması.

• Bilgi düzeyini ölçmede konu alanlarının en alt düzeyi olan “bilmek” ve en üst düzeyi olan “değerlendirmek” aşamasına kadar değişen düzeylere göre bir çapraz tablo (belirtke tablosu) hazırlanarak sınav setinin oluşturulması sayesinde sınavın kapsayıcılığının artırılması.

• Her yıl yapılan sınavların madde analizinin yapılarak yıllar arası karşılaştırmaların yapılması.

• Yeterlik kurulunun sınav sorusu yazma konusunda konu alanında yetkin eğiticilere ölçme değerlendirme kurs/çalıştayları düzenlemesi.

• Yeterlik kurulunun sınava katılanlara kendi yanıtlarının analizini içeren bir karne hazırlanması.

Yeterlik kurulunun yaptığı sınavların geçerli ve güvenilir olması, uzmanların sağlık hizmetine yansıyan bilgilerinin daha nitelikli olmasını sağlayacaktır.

Teşekkür
Aşağıda isimleri verilen yeterlik kurulu üyelerine sınavın hazırlanması ve gerçekleştirilmesinde verdikleri emeklerden dolayı teşekkür ederiz.

Suat Buket, Kent Hastanesi, Kalp Damar Cerrahisi Kliniği, İzmir

Berent Dişçigil, Adnan Menderes Üniversitesi Tıp Fakültesi, Kalp Damar Cerrahisi Anabilim Dalı, Aydın

Serdar Günaydın, Özel Medline Eskişehir Hastanesi, Kalp Damar Cerrahisi Kliniği, Eskişehir

Ferşat Kolbakır, Ondokuz Mayıs Üniversitesi, Kalp ve Damar Cerrahisi Anabilim Dalı, Samsun

Davit Saba, Kartal Koşuyolu Yüksek İhtisas Eğitim ve Araştırma Hastanesi, Kalp Damar Cerrahisi Kliniği, İstanbul

Nehir Sucu, Mersin Üniversitesi Tıp Fakültesi, Araştırma ve Uygulama Hastanesi, Kalp Damar Cerrahisi Anabilim Dalı, Mersin

Çıkar çakışması beyanı
Yazarlar bu yazının hazırlanması ve yayınlanması aşamasında herhangi bir çıkar çakışması olmadığını beyan etmişlerdir.

Finansman
Yazarlar bu yazının araştırma ve yazarlık sürecinde herhangi bir finansal destek almadıklarını beyan etmişlerdir.

References

1) Kınay M, Zorlu P. UYEK faaliyetleri ve TTB-UDKK-UYEK çalıştayı. TTB-UDKK Bülteni 2006;1;21-2.

2) Türk Kalp ve Damar Cerrahisi Yeterlik Kurulu. http://www. tkdcd.org/content/157/yeterlik-kurulu-yonergesi [Erişim tarihi: 22 Nisan 2015]

3) McAleer S. Choosing assessment instruments. In: Dent JA, Harden RM, editors. A practical guide for medical teachers. 3rd ed. Edinburgh: Churchill Livingstone/Elsevier; 2000. p. 279-288.

4) Tekin H. Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınları; 2000. s. 238.

5) Ölçme araçlarında bulunması gereken nitelikler. http:// talimterbiye.mebnet.net/program-gel-birimi/Soru%20 Analizleri-%20Rapor.pdf [Erişim tarihi: 22 Nisan 2015]