Abstract

Background: This study aims to evaluate the item analyses of the 2016 written exam of Turkish Society of Cardiovascular Surgery Proficiency Board and conduct yearly comparisons.

Methods: The last of the written exams, which are performed annually, were held in Eskişehir in May 2016. The exam items were analyzed in terms of difficulty, discrimination, and validity.

Results: Correct answer items were distributed equally. The average percentage of questions answered correctly was 70.7%. Of the questions, 56% were answered above the average. Range of exam scores was narrower compared to last year’s exam. According to the item analysis; rate of questions with the desired difficulty level was 39%, rate of questions with the desired discrimination level was 52%, rate of invalid questions was 54%, and rate of questions with high level of validity was 9%. A comparison of the exams of years 2015 and 2016 revealed that the latter exam was easier, had low discrimination, and weaker validity.

Conclusion: According to our findings, subject areas and number of questions in the exam set were effective on the validity of the exam. At least 70% of the questions in the exam set should include the main topics of the specialty and the number of questions should not be changed according to years. With the Proficiency Board forming a question bank and keeping the questions with high validity in the bank, the exam may become more qualified over the years.

Uzmanlık eğitiminin farklı kurumlarda ve farklı eğiticilerin rehberliğinde verilmesi, ünvanı aynı olsa dahi hekimlerin yetkinliklerinde farklılığa yol açabilmektedir. Bu durum dolayısı ile sağlık hizmetinin sunumunu da farklılaştırarak aksaklıklara neden olmaktadır Uzmanlık eğitiminde usta çırak ilişkisi ile öğrenmenin halen çok değerli bir yeri olmakla birlikte uzmanlık alanının gerektirdiği minimum yetkinliklerin öğrenilmesi de son yıllarda uzmanlık derneklerinin ve sağlık otoritelerinin başlıca uğraş alanlarından olmuştur.[1] Tıpta Uzmanlık Kurulu Müfredat Oluşturma ve Standart Belirleme Sistemi (TUKMOS) her bir uzmanlık dalı için müfredat oluşturmak ve standart belirlemek amacıyla çalışmalar yürütmektedir.[2] Bu çalışmalar ile uzmanlık eğitimi tamamlandığında önceden tanımlanmış yetkinliklere ulaşarak yeterlilik alabilmesini ve uzman olabilmeyi sağlayacak bir müfredat oluşturmak ve uzmanlık eğitimi veren kurum ve programların sahip olmaları gereken eğitim kaynaklarının yeterlik düzeylerini gösterecek standartları belirlemeye yardımcı olmak amaçlanmaktadır. Uzmanlık dernekleri tarafından uzmanlık alanına yönelik olarak sürekli mesleksel gelişim (okullar, kurslar gibi) ve sınavlar ile de uzmanlık eğitiminin niteliğinin artırılmasına çalışılmaktadır. Uzmanlık dernekleri, yeterlik kurullarının çalışmaları ile bir anlamda uzman ve uzman hekim adayının dalı ile ilgili eğitimi yeterli bir şekilde alıp almadığı değerlendirilmektedir. Yeterlik belgesini almak, hekimin standart bir eğitim programını tamamladığının ve uzmanlık alanıyla ilgili bilgi, beceri ve deneyime sahip olduğunun göstergesi olarak değerlendirilmektedir.[1] Bu nedenle tıpta uzmanlık eğitiminin standardizasyonu, denetimi, izlemi ve geliştirilmesinin giderek önem kazandığı günümüzde uzmanlık dernekleri yeterlik kurullarını oluşturmuşlar ve üyelerine yeterlik belgeleri vermeye ve izlemeye başlamışlardır.[1]

Yeterlik kurullarının işlevleri yasal metinlerde tanımlanmıştır.[3] Kalp ve Damar Cerrahisi Yeterlik Kurulu kurulduğu tarihinden bu yana 13 yazılı, 8 sözlü/ uygulama sınavı yapmıştır. Yeterlik belgesi alan kişi sayısı 393’tür.

Bu çalışmada Kalp ve Damar Cerrahisi Yeterlik Kurulu tarafından 2016 yılında yapılan yazılı sınav analizleri hakkında bilgi verilmesi, yıllar arası karşılaştırmaların yapılması ve iyi bir sınav seti oluşturmada kurula rehberlik edilmesi amaçlanmaktadır.

Methods

Kalp ve Damar Cerrahisi Yeterlik Kurulu tarafından planlanan yazılı sınavlarının sonuncusu 8 Mayıs 2016 tarihinde Eskişehir’de gerçekleştirildi. Uzmanlık derneği tarafından soru yazmaya davet edilen, alanında uzman öğretim üyeleri tarafından hazırlanan sınav soruları yeterlik kurulu üyeleri tarafından sınav setine dönüştürülmüş ve yanıtların optik okuyucu vasıtayla alınmasına olanak sağlayan bir sınav hazırlanmıştır.

2016 yılı yazılı sınavına yeterlik kurulu yönergesi gereği kalp damar cerrahisi uzmanları ve son yıl asistanları katılmış ve 92 kişi başvurmuştur.

Sınav setinin hazırlanması ve uygulaması
Sınav seti kalp ve damar cerrahisi ile ilgili temel konu alanlarını kapsayacak biçimde hazırlanmıştır (Tablo 1).

Tablo 1: Konu alanlarına göre sınav sorularının dağılımı

Sınav sorularının çoktan seçmeli ve tek doğru yanıtlı olarak hazırlanması konu alanında uzman kişilerden istenmiştir. Sınav setinde negatif puan uygulaması (yanlışın doğruyu götürmesi) yoktur. Tek kitapçık olarak hazırlanan sınav setinde her bir soru değeri bir puan olan 100 soru vardır.

Sınavda her bir katılımcının aldığı puanlar (mutlak puan) hesaplanmıştır. Yeterlik kurulu tarafından uzlaşma yoluyla sınavdan 65 ve üzeri puan alma başarı kriteri olarak belirlenmiştir.[4] Katılımcılara sınavdan aldıkları puan yerine sınav başarısı konusunda bilgi verilmiştir.

Madde analizi
Madde analizi sınavın bir gruba uygulandıktan sonra, istatistik teknikler yardımıyla sınav seti kapsamındaki maddelerin tek tek analiz edilmesidir.[5] Madde analizi; kusurlu maddelerin belirlenmesi ve sınavın iyileştirilmesini gerektiren kısımları hakkında bilgi edinilmesine yardımcı olur.

Madde analizi ile maddenin zorluk düzeyi (yani ne kadar doğru cevaplandığı) ve maddenin ayırt ediciliği (yani bilenle bilmeyeni ne kadar iyi ayırdığı) konularında bilgi edinilir. Madde analizinin hesaplanmasında iki farklı teknik kullanılmıştır. Birinci teknikte klasik test teorisine göre %27’lik alt ve üst başarı düzeyinin karşılaştırması yapılarak yorum yapılır. Bu teknikte sorular üzerinde zorluk ve ayırıcılık indeksi hesaplanır. Madde zorluk indeksi 0 ile 1 arasında değerler alabilir. Testin tümü için zorluk indeksleri ortalamasının 0.5 civarında olması istenir. Madde ayırıcılık indeksi ise -1 ile +1 arasında değerler alabilir. Ayırıcılık indeksinin ise 0.3’den büyük olması istenir.[6] Bu teknikte %46’lık orta düzey başarı gösteren katılımcıların puanları hesaplama içinde yer almadığı için güvenilirlik yorumunda eksiklik olmaktadır. Bu nedenle Biserial analiz olarak adlandırılan ikinci teknikte ise sınava katılanların tamamı üzerinden zorluk indeksi ve geçerlilik hesaplaması yapılabilir. Güvenilirlik bir sınavın tutarlı biçimde uygulanması ve puanlanması hakkında bilgi verirken, geçerlilik ise sınavın gerçekten ölçmek istediği durumu ölçüp ölçmediği konusunda bilgi vermektedir. Her iki analiz ile sınavın geçerlilik ve güvenilirliği hakkında bilgi edinmek mümkündür.

İstatistiksel analiz
Sınava katılanların puan dağılım istatistikleri (ortalama, ortanca, standart sapma, aralık (range), minimum ve maksimum değerler), katılımcıların sınav başarılarının dağılımı, sorularda doğru yanıt şıkkının dağılımı, sorularının ortalama doğru yanıtlanma oranı, başarı sınırının altında ve üstünde doğru yanıtlanan soru dağılımı, konu alanlarına göre başarı sınırının altında ve üstünde doğru yanıtlanan soru dağılımı, soruların zorluk ve ayırıcılık indeksi, analizi, hesaplandı. Bu analizler ile oluşturulan sınav setinin konu alanına göre geçerlilik ve güvenilirlik durumları değerlendirildi.

Ayrıca sınava katılanlarla ilgili tanımlayıcı istatistikler de hesaplandı. Başarı puanlarının kategorik değişkenlerle karşılaştırılmasında Ki-kare, sürekli değişkenlerle karşılaştırılmasında ise Student t-testi kullanıldı. İstatistiksel anlamlılığın değerlendirilmesinde alfa değeri 0.05 olarak alındı. Veriler PASW 18.0 versiyon (SPSS Inc., Chicago, IL, USA) veri paketinde değerlendirildi.

Results

Türk Kalp ve Damar Cerrahisi Yeterlik Kurulu tarafından hazırlanan 2016 yılı yeterlik yazılı sınavına başvuranların %69.56’sı (n=64) sınava katılmıştı. Katılımcıların %89.1’i (n=57) erkek, %10.9’u (n=7) kadındı. Kalp ve damar cerrahisi disiplininin uzmanlık eğitimi ve meslekte deneyimi dikkate alındığında sınava katılanların cinsiyet dağılımı beklendiği gibi idi. Sınava katılanların %76.6’sı (n=49) uzman hekim %24.4’ü (n=15) asistan idi.

Sınava katılanların halen çalıştıkları kurumlar değerlendirildiğinde %50’sinin üniversitelerde, %31.3’ünün eğitim araştırma hastanelerinde, %9.4’ünün ise devlet hastanelerinde çalıştıkları saptandı. Katılımcıların %6.3’ü ise özel hastanede çalışmaktaydı. Katılımcıların %3’ü ise çalıştıkları kurumu belirtmemişti. Bu durumda sınava katılanların %81.3’ü uzmanlık eğitimi veren bir kurumda çalışmaktaydı.

Katılımcıların sınavdan aldıkları puan dağılımı incelendiğinde ortalamanın 70.69±7.77 (min: 52, maks: 83) puan olduğu görüldü. Katılımcıların aldıkları puanların tepe değeri anlamına gelen ortanca değer 72 idi. Aralık yani minimum ve maksimum puanlar arasındaki farkın (Aralık [range] 31) alınan maksimum puanın yarısından küçük olması sınavda alınan puanların 2015 yılı bulgularına göre daha dar bir aralıkta dağılım gösterdiğinin kanıtıydı. Puanların dağılımı grafik olarak incelendiğinde sağa yatık bir grafik olduğu görülmektedir (Şekil 1).

Şekil 1: Sınavdan alınan puanların yıllara göre karşılaştırılması.

Sınavdan başarılı olma oranı (65 puan ve üzeri) %75 idi (n=48). Katılımcıların cinsiyetine göre sınavda başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (Ki-kare=4.31 p=0.59). Ancak erkeklerin (%78.9) başarı oranı kadınlara (%42.9) kıyasla daha yüksekti.

Katılımcıların halen çalıştıkları kurumlara göre sınavda başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (Ki-kare=1.05 p=0.90). Üniversitede çalışanların %78.1’i, eğitim araştırma hastanelerinde çalışanların ise %75’i sınavda başarılı olmuştu.

Katılımcıların uzman veya asistan olmalarına göre sınavdan başarılı olma durumu incelendiğinde istatistiksel olarak anlamlılık saptanmadı (Ki-kare=0.02 p=0.86). Uzmanların (%75.5) ve asistanların (%73.3) başarı oranları benzerdi.

Sınav setinde doğru yanıtların dağıtılması durumu incelendiğinde her şıkkın eşit olarak temsil (%18-%23) edildiği görüldü. Bu durum sınav setinde doğru yanıtların dağıtılmasında titiz davranıldığının göstergesidir. Böylece katılımcıların belli bir şıkkı işaretlemeleri ile puan almaya ilişkin şans faktörü en aza indirilmiştir. Sınav sorularının ortalama doğru yanıtlanma oranı %70.65±23.24 (min: 5, maks: 100) olarak bulundu. Sınav setindeki 44 soru (%44) ortalamanın altında doğru olarak yanıtlanabilmişti. Soruların 56’sı (%56) ise ortalamanın üzerinde doğru olarak yanıtlanmıştı (Şekil 2).

Şekil 2: Sınav sorularının doğru yanıtlanma oranlarının dağılımı.

Soru sayısı fazla olan konu alanlarının doğru yanıtlanma oranları değerlendirildiğinde konjenital kalp cerrahisi, kapak cerrahisi ve damar cerrahisi sorularının önde olduğu görüldü (Şekil 3).

Şekil 3: Ortalamanın üzerinde doğru yanıtlanan soruların konu alanına göre dağılımı.

Madde analizi ile ilgili bulgular
Sınav sorularının zorluk dereceleri %27’lik alt ve üst grup karşılaştırması ile hesaplandı. Soruların ortalama zorluk indeksi 0.69±0.23 (min: 0.05 maks: 1.00) olarak bulundu. Sınav sorularının %39’u (39 soru) istenen (kolay, önerilen, zor) zorluk indeksine sahipti. Soruların %50’sinin çok kolay, %7’sinin ise çok zor olduğu görüldü. İstenen zorluk indeksine sahip 39 soru içinde, kapak cerrahisi (10 soru), damar cerrahisi (9 soru) ve aort cerrahisi (7 soru) sorularının ağırlıklı yer aldığı görüldü. Aritmi cerrahisi ve yoğun bakım prensipleri konu alanlarındaki soruların analizinde “istenen düzeyde zorluk indeksine sahip” soru olmadığı saptandı. Bu alandaki soruların tamamı kolay soru olarak analiz edildi.

Sınav sorularının ayırıcılık dereceleri %27’lik alt ve üst grup karşılaştırması ile hesaplandı. Soruların ortalama ayırıcılık indeksi 0.18±0.19 (min: -0.24 maks: 0.70) olarak bulundu. Sınav sorularının %52’si (52 soru) ayırıcılık indeksi istenen düzeydeydi (sınırda, iyi ve çok iyi). Soruların %41’inde ayırıcılık indeksi zayıf bulundu. Soruların %7’si ise kullanılmamalı olarak analiz edildi. İstenen ayırıcılık düzeyine sahip 52 soru içinde, kapak cerrahisi (11 soru), damar cerrahisi (11 soru), aort cerrahisi (9 soru) ve konjenital kalp cerrahisi (7 soru) sorularının ağırlıklı yer aldığı görülmekteydi. Kapak cerrahisi, konjenital kalp cerrahisi, damar cerrahisi, koroner cerrahisi ve kardiyak anatomi soruları (toplam 7 soru) analizde “kullanılması önerilmemekte” sonucu elde edildi. Bu sorular bilen ile bilmeyeni ayırma gücü bakımından sorunluydu (Şekil 4).

Şekil 4: Konu alanlarına göre soruların zorluk ve ayırıcılık dereceleri.

Biserial analizi ile sınav setinin geçerlilik durumu incelendiğinde soruların %9’unun yüksek geçerlilikte, %19’unun orta düzeyde geçerlilikte, %17’sinin kısmen geçerli ve %54’ünün geçersiz ve %1’inin de kesinlikle geçersiz olduğu görüldü. Soruların geçerlilik durumları konu alanlarına göre karşılaştırıldığında damar cerrahisi (14 soru), kapak cerrahisi (9 soru), aort cerrahisi (9 soru) ve konjenital kalp cerrahisi (7 soru) sorularının geçersiz olduğu yani soruların ölçmek istenen durumu ölçmeye muktedir olmadığı saptandı (Şekil 5).

Şekil 5: Konu alanı sorularının geçerlilik durumları.

Damar cerrahisi konu alanındaki bir soru kesinlikle geçersiz olarak analiz edildi. Nedeni araştırıldığında bu sorunun çok zor olduğu ve yanıtlanma oranı düştüğü için geçerliliğinin de düştüğü saptandı. Bundan sonraki analizler geçersiz olarak analiz edilen 54 soru üzerinde yapıldı. Geçersiz olan soruların zorluk ve ayırıcılık durumları değerlendirildiğinde, geçersiz 54 sorudan 37’sinin (%68.5) çok kolay, 38’inin (%70.3) ise zayıf ayırıcılıkta olduğu saptandı (Şekil 6). Geçersiz soruların altısı (%11.1) analizlerde kullanılmamalı olarak saptandı. Bu durum da analizlerin birbirini desteklediğinin göstergesiydi.

Şekil 6: Geçersiz olan soruların zorluk ve ayırıcılık durumları.

Sınav setinde geçersiz soruların olması, puan grafiğinin sağa kaymasının nedenini de açıklamaktadır. Sınav setindeki soruların yaklaşık yarısı çok kolay olduğu için katılımcıların çoğunluğu tarafından doğru yanıtlanmış, bu da sorunun bilen ve bilmeyeni ayırma gücünü düşürmüştür. Kısacası geçersiz soru sayısı arttıkça katılımcıların doğru yanıtlama oranı da artmış ve sınavdan alınan puanlar da artmıştır. Bu durum da katılımcıların puanlarının ortalamanın sağında kümelenmesine neden olmuştur.

Geçersiz olan soruların teknik analizi bir konu alanı uzmanı ile tekrar gözden geçirilmiştir. Sınav setinin hazırlanması sırasında alan uzmanı eğiticilerden alana özgü soru almada zorluklar yaşanmıştır. Bu zorlukların aşılması amacıyla önceki sınavlarda kullanılan sorular aynen veya ufak değişiklikler yapılarak sınav setine dahil edilmiştir. Soruların temininde yaşanan bu sorunlar nedeniyle sınav seti daha çok bilgi ağırlıklı ve kolay sorulardan oluşturulmuş bu da sınavın geçerlilik durumunu olumsuz etkilemiştir.

Discussion

Türk Kalp ve Damar Cerrahisi Derneği Yeterlik Kurulu sorumluluğunda yeterliğin belirlenmesinde ilk aşama olan yazılı sınavların sonuncusu Mayıs 2016 tarihinde Eskişehir’de yapılmıştır. 2015 ve 2016 yılında yapılan yazılı sınav analizleri karşılaştırıldığında, her iki yılda da 100 soruluk, tek doğru yanıtı olan sınav seti kullanılmıştır.[7] Konu alanlarına göre karşılaştırıldığında iki sınav arasında farklılıkların olduğu görülmektedir (Şekil 7). Kapak cerrahisi ve konjenital cerrahi sınavda aynı soru sayısı ile yer alırken, damar cerrahisi sorularının 2016 sınavında çoğunluğu oluşturduğu görülmektedir. Kardiyopulmoner baypas teknikleri ve yoğun bakım prensipleri 2016 sınavında yer almıştır. Konu alanlarına göre sınav soru sayısında değişiklik yapılması 2015 yılında yapılan sınav analizlerinden yararlanılarak sınav hazırlanmasının bir göstergesidir.

Şekil 7: Konu alanlarının yıllara göre karşılaştırılması.

Bunların yanı sıra 2015 ve 2016 yılında yapılan yazılı sınavlara ilişkin saptamalar özetle şöyledir;[7]

• 2016 sınavına -toplam katılan sayısı az olmakla birlikte- asistanların katılımı bir önceki yıla göre daha fazladır.
• 2016 sınavına eğitim araştırma hastanelerinde çalışanlar daha fazla katılmış, dolayısı ile 2015 yılı sınavına göre uzmanlık eğitimi veren kurumda çalışanların sınava katılım oranı artmıştır.
• 2016 sınavında sınavdan alınan ortalama puan önceki yıla göre daha yüksektir.
• Konu alanlarına göre istenen zorluk düzeyi yıllara göre değişim göstermiştir. 2016 yılı sınavının çok kolay sorulardan oluştuğu ve geçerlilik durumunun düştüğü saptanmıştır.

Yeterlik kurulu tarafından hazırlanarak gerçekleştirilen yazılı sınavların 2015 ve 2016 yılı analizleri sınavın güvenilirlik geçerliliği hakkında farklı düzeylerde fikirler vermiştir. Araştırma bulgularına dayanarak bundan sonraki sınav uygulamaları için aşağıdaki öneriler geliştirilmiştir

• Sınav seti için konu alanlarının netleştirilmesi ve soru dağılımının her sınav için aynı olacak şekilde sabitlenmesi gereklidir. Bunun için bir ön çalışma yapılmıştır. Bundan sonra planlanacak sınavlarda uzmanlık alanı için önemli olan ana konuların [kalp yetmezliği cerrahisi (15 soru), kapak cerrahisi (15 soru), koroner cerrahisi (15 soru), aort cerrahi (15 soru) ve konjenital kalp cerrahisi (10 soru)] 70 soru ile, diğer yan konuların ise [damar cerrahisi (10 soru), kardiyopulmoner baypas teknikleri (7 soru), yoğun bakım (6 soru) ve kardiyak anatomi (7 soru)] 30 soru ile temsil edilmesine karar verilmiştir. Ayrıca sonraki yıllarda yapılacak sınavların planlanmasında ana konular ve soru sayılarının değiştirilmemesine, soru değişiminin 30 soruluk yan konularda yapılmasına karar verilmiştir. Böylece sınavlar arasında ana konular bakımından değişiklik olmadan yıllar içinde ölçülmek istenen konular için standardizasyon getirilebilecektir.

• Sınav sorularının hazırlanması sırasında bilgi ağırlıklı olmasından ziyade sentez ve değerlendirme ağırlıklı olgu soruları şeklinde hazırlanması konusunda eğiticilerin çaba sarf etmesi gereklidir.

• Yapılan sınav analizinin yeterlik kurulu tarafından ayrıntılı biçimde değerlendirilmesi ve özellikle geçersiz olarak saptanan soruların tekrar gözden geçirilmesi, sınav analizlerinden de yararlanarak bir soru bankası oluşturması gereklidir.

Teşekkür
Aşağıda isimleri verilen yeterlik kurulu üyelerine sınavın hazırlanması ve gerçekleştirilmesinde verdikleri emeklerden dolayı teşekkür ederiz.

• Suat Buket, Kent Hastanesi, Kalp Damar Cerrahisi Kliniği, İzmir
• Saadettin Dernek, Osmangazi Üniversitesi Tıp Fakültesi Göğüs Kalp ve Damar Cerrahisi Anabilim Dalı, Eskişehir
• Murat Özeren, Mersin Üniversitesi Tıp Fakültesi, Araştırma ve Uygulama Hastanesi, Kalp ve Damar Cerrahisi Anabilim Dalı, Mersin
• Tufan Paker, Amerikan Hastanesi, Kalp ve Damar Cerrahisi Bölümü, İstanbul
• Sadık Eryılmaz, Ankara Üniversitesi Tıp Fakültesi Kalp Merkezi Kalp ve Damar Cerrahisi Kliniği, Ankara
• Mehmet Kaplan, Dr. Siyami Ersek Göğüs Kalp ve Damar Cerrahisi Eğitim ve Araştırma Hastanesi, Kalp ve Damar Cerrahisi Kliniği, İstanbul

Çıkar çakışması beyanı
Yazarlar bu yazının hazırlanması ve yayınlanması aşamasında herhangi bir çıkar çakışması olmadığını beyan etmişlerdir.

Finansman
Yazarlar bu yazının araştırma ve yazarlık sürecinde herhangi bir finansal destek almadıklarını beyan etmişlerdir.

References

1) Kınay M, Zorlu P. UYEK faaliyetleri ve TTB-UDKK-UYEK çalıştayı. TTB-UDKK Bülteni 2006;1;21-2.

2) Tıpta Uzmanlık Kurulu Müfredat Oluşturma ve Standart Belirleme Sistemi, Kalp ve Damar Cerrahisi Uzmanlık Eğitimi Çekirdek Müfredatı. Available from: http://www. tuk.saglik.gov.tr/muf2.1/kalp_ve_damar_cerrahisi/kalp_ damar_cerrahisi_mufredat_v.2.1.pdf. [Accessed: Februrary 22, 2017]

3) Türk Kalp ve Damar Cerrahisi Yeterlik Kurulu Yönergesi. Available from: http://www.tkdcd.org/content/157/yeterlikkurulu- yonergesi. [Accessed: Februrary 22, 2017].

4) McAleer S. Choosing assessment instruments. In: Dent John A, editor. A practical guide for medical teachers. Dundee: Elsevier; 2000. p. 279-88.

5) Tekin H, editör. Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınları; 2000.

6) Ölçme araçlarında bulunması gereken nitelikler. Available at: http://talimterbiye.mebnet.net/program-gel-birimi/Soru%20 Analizleri-%20Rapor.pdf. [Accessed: Februrary 22, 2017].

7) Şahin H, Atay Y, Yağdı T, Aykut Aka S. Türk Kalp ve Damar Cerrahisi Derneği Yeterlik Kurulu 2015 yazılı sınavı madde analizleri. Turk Gogus Kalp Dama 2015;23:427-33.