ผลวิจัยจะน่าเชื่อถือได้ก็ต่อเมื่อเครื่องมือเก็บข้อมูลมีคุณภาพ คู่มือนี้สรุปการตรวจ 2 ค่าที่กรรมการประเมินผลงานมักถามถึง คือ ความเที่ยงตรงเชิงเนื้อหา (ค่า IOC) และความเชื่อมั่น (ค่าสัมประสิทธิ์แอลฟาของครอนบาค) พร้อมตัวอย่างการคำนวณ
ความเที่ยงตรงเชิงเนื้อหา — ค่า IOC
ดัชนีความสอดคล้องระหว่างข้อคำถามกับวัตถุประสงค์ (Index of Item-Objective Congruence) พัฒนาโดย Rovinelli และ Hambleton (1977) ใช้ความเห็นของผู้เชี่ยวชาญตรวจว่าข้อคำถามแต่ละข้อวัดตรงกับวัตถุประสงค์หรือไม่
- ผู้เชี่ยวชาญ
- อย่างน้อย 3 คน ด้านเนื้อหา ด้านการวัดผล และด้านการสอนวิชานั้น
- การให้คะแนน
- +1 = สอดคล้อง · 0 = ไม่แน่ใจ · −1 = ไม่สอดคล้อง
- สูตร
- IOC = ผลรวมคะแนนของผู้เชี่ยวชาญ (ΣR) ÷ จำนวนผู้เชี่ยวชาญ (N)
- เกณฑ์
- ข้อที่ได้ 0.50 ขึ้นไปใช้ได้ (เกณฑ์ที่นิยมในงานวิจัยไทย) ข้อที่ต่ำกว่าให้ปรับตามข้อเสนอแนะแล้วตรวจใหม่
ตัวอย่าง: ผู้เชี่ยวชาญ 5 คนให้คะแนนข้อที่ 1 เป็น +1, +1, +1, 0, +1 ได้ IOC = 4 ÷ 5 = 0.80 จึงใช้ได้ ส่วนข้อที่ 2 ได้ +1, 0, 0, −1, +1 ได้ IOC = 1 ÷ 5 = 0.20 ต้องปรับปรุง