6448 Views |
การประเมินผลกระทบ (Impact Evaluation) ที่กล่าวถึงในบทความนี้มี 5 ประเภท ได้แก่
1.Type A: Post-implementation
2.Type B: Pre and post implementation
3.Type C: Pre-test Post-test Control Group Design
4.Type D: Pre and post-intervention project group with post-intervention only comparison group.
5.Type E: Post-implementation only project and comparison groups with no baseline data
การประเมินเป็นศาสตร์และศิลป์ชั้นสูง ใช้ในการตัดสินว่าผู้ถูกประเมินนั้นอยู่ในเกณฑ์ดีหรือแย่เพียงใด การประเมินถูกใช้กันอย่างแพร่หลายในวงการต่างๆ เช่น การประเมินผลการเรียน นักศึกษาจะถูกพิจารณาผลการเรียนแบ่งเป็นเกรด A, B, C, D และ F (เกรด F หมายถึงไม่ผ่าน) หากเป็นเรื่องการทำงานพนักงานบริษัทก็ถูกประเมินผลการทำงาน เพื่อประเมินศักยภาพในการทำงานรวมถึงเป็นข้อมูลในการพิจารณาการขึ้นเงินเดือนหรือเลื่อนขั้น ในภาพระดับองค์กร เช่น หน่วยงานเอกชน ราชการและรัฐวิสาหกิจ การประเมินผลการดำเนินงานองค์กรจะถูกใช้เพื่อให้ทราบถึงผลการบริหารจัดการในแต่ละส่วนงานว่าได้บรรลุตามเป้าหมายที่กำหนดไว้หรือไม่ นอกจากนี้หากพิจารณาลงไปถึงระดับโครงการ การประเมินยังใช้ในการบอกถึงผลกระทบ (Impact) ว่าโครงการที่ทำอยู่นั้นสร้างผลลัพธ์หรือมูลค่าเพิ่มให้เกิดขึ้นมากน้อยเพียงใด (ทั้งที่วัดได้โดยตรงและทางอ้อม) เพียงแค่การกล่าวนำในขั้นต้นนี้ เราก็เห็นถึงประโยชน์ของการประเมินเป็นอย่างมาก แต่ในทางปฏิบัตินั้นผู้ที่เกี่ยวข้องกับการประเมินก็ทราบดีว่าการประเมินนั้นมีความยากที่จะทำให้มีคุณภาพดีและได้รับการยอมรับจากผู้ถูกประเมิน และด้วยเหตุที่การประเมินถูกใช้กันอย่างกว้างขวาง สำหรับบทความนี้จึงขอจำกัดเนื้อหาที่เกี่ยวข้องเฉพาะการประเมินรูปแบบหนึ่งที่กำลังได้รับความนิยม เรียกว่า การประเมินผลกระทบ (Impact Evaluation) โดยเรียบเรียงและอ้างอิงมาจากเอกสารของหน่วยงานที่ชื่อ Impact Evaluation Thematic Group ของ World bank, (2006) ซึ่งในบทความนี้จะกล่าวถึงการประเมินผลกระทบแบบที่ไม่มีคุณภาพ และแบบที่มีคุณภาพเป็นที่ยอมรับ นอกจากนี้ยังเสนอแนวทางการประเมินผลกระทบภายใต้ข้อจำกัดด้านงบประมาณ ซึ่งผู้เขียนคิดว่าเนื้อหาดังกล่าวน่าจะมีประโยชน์กับผู้ที่เกี่ยวข้องกับการประเมินพอสมควรและหากผู้อ่านสนใจในรายละเอียดสามารถอ่านได้จากเอกสารต้นฉบับที่แนบไว้ท้ายบทความนี้
การประเมินผลกระทบที่ไม่มีคุณภาพนั้นเป็นเช่นไร ลองพิจารณาถึงเหตุการณ์นี้ บริษัท A มีการวัดความพึงพอใจของลูกค้า โดยผลการวัดความพึงพอใจของลูกค้าในปีนี้พบว่าลูกค้ามีความพึงพอใจเป็น 90% โดยทั่วไปคงจะมองว่าบริษัท A มีระดับความพึงพอใจอยู่ในเกณฑ์ดี เราเรียกการประเมินแบบนี้ว่า Post-implementation (Type A ในตารางที่ 1) ที่เป็นรูปแบบการประเมินที่มีคุณภาพต่ำที่สุดเพราะเป็นการวัดผลครั้งเดียวไม่มีการเปรียบเทียบผลกับ Base-line เลย แต่หากนำผลคะแนนความพึงพอใจของลูกค้าในปีก่อนมาพิจารณาพบว่ามีคะแนนความพึงพอใจ 95% ในขณะที่ปีนี้มีคะแนนเป็น 90% นั่นหมายความว่าเมื่อระยะเวลาผ่านไปคะแนนความพึงพอใจยิ่งลดลง นี่คือผลของการเปรียบเทียบกับ Base-line จึงทำให้เรารู้ว่าคะแนนแย่ลง จะเห็นได้ว่า Base-line นั้นถูกใช้ในการประเมินเพื่อทำให้ผลการประเมินมีคุณภาพมากขึ้น และเราเรียกการประเมินที่มี Base-line ว่าเป็นแบบ Pre and post implementation (Type B ในตารางที่ 1) อย่างไรก็ตามรูปแบบการประเมินทั้งสองแบบนี้ (ทั้ง Type A และ B) ยังไม่ได้แสดงถึงผลกระทบของโครงการหรือ Treatment ที่ใส่เข้าไปว่ามีผลต่อคะแนนความพึงพอใจมากน้อยเพียงใดเพราะไม่มีกลุ่มควบคุมมาวัดผลเปรียบเทียบกรณีที่ไม่มีโครงการนั้นๆ จึงสรุปว่าเป็นการประเมินผลกระทบทั้งสองแบบนี้ (Type A และ Type B) ไม่ค่อยมีคุณภาพเป็นที่ยอมรับเท่าไรนัก
ตารางที่ 1 แสดงแบบแผนการประเมินทั้งแบบ Post-implementation
และแบบ Pre and Post implementation
รูปแบบการประเมิน (Evaluation Design) | Base-line | Treatment | Post intervention | ลักษณะสำคัญ |
* Post-implementation (Type A) | - | - | P1 (90) | เป็นการประเมินที่ไม่น่าเชื่อถือมากที่สุดเพราะวัดผลครั้งเดียวโดยไม่มีการวัดผลก่อน (Baseline) มาเป็นตัวเปรียบเทียบ |
* Pre and post implementation (Type B) | P1 (95) | - | P2 (90) | เป็น รูปแบบการประเมินที่พบเห็นโดยทั่วไปคือมีการเปรียบเทียบผลคะแนนกับข้อมูล Baseline เป็นการวัดความแตกต่างของผลจากช่วงเวลาที่ต่างกัน (แต่ยังไม่ใช่การประเมินผลกระทบ) |
P1 คือการวัดครั้งที่หนึ่ง |
P2 คือการวัดครั้งที่สอง |
ตัวเลขในวงเล็บ () เป็นตัวอย่างคะแนนตามเนื้อหาที่ผู้เขียนยกขึ้น |
แล้วการประเมินผลกระทบที่มีคุณภาพดีมีคุณลักษณะเป็นอย่างไร จุดสำคัญของการประเมินผลกระทบที่ดีคือมีการวัดผลในกลุ่มควบคุม (Control Group) เพื่อเปรียบเทียบผลกระทบของโครงการ (Project intervention) ด้วย ซึ่งในทางทฤษฏีการคัดเลือกกลุ่มควบคุมเข้ามานั้นควรใช้วิธีการสุ่มจากตัวอย่างที่มี (Random assignment) เพื่อให้ได้มาซึ่งกลุ่มควบคุมที่ไม่มีอคติหรือการจงใจเลือกมาให้มีลักษณะคะแนนต่ำหรือสูงตามความเป้าประสงค์ของผู้ประเมิน กลุ่มควบคุมที่ได้มาด้วยวิธีการสุ่มจะถูกคละและถูกเลือกมาอย่างเท่าเทียมกันเวลานำไปเปรียบเทียบกับกลุ่มที่ให้ Treatment (Treatment คือ ผลจากโครงการนั่นเอง) เราจึงเรียกว่า Equivalent control group สามารถนำมาเปรียบเทียบผลทั้งก่อนและหลังกับกลุ่มที่ให้ Treatment ได้อย่างเท่าเทียมกัน เช่นคะแนนความพึงพอใจลูกค้าก่อนมีโครงการหรือที่เรียกว่าการให้ Treatment ของทั้งสองกลุ่มเป็น 95% แต่เมื่อวัดผลหลังใส่ Treatment เข้าไปคะแนนเพิ่มเป็น 100% ขณะที่กลุ่มควบคุมมีคะแนน 95% เช่นเดิม นั่นคือ Treatment ส่งผลต่อคะแนนแตกต่างกับกลุ่มควบคุม เช่นนี้แล้วเราก็สามารถมั่นใจได้ว่าผลดังกล่าวเกิดจากโครงการที่ใส่เข้าไปจริงๆ สรุปได้ว่ารูปแบบการประเมินแบบ Pre-test Post-test Control Group Design (Type C) เป็นเครื่องมือการประเมินเพื่อบอกว่าหากมีโครงการนั้นๆ เกิดขึ้นผลกระทบ (Impact) ของโครงการนั้นจะเป็นเท่าใด โดยใช้การเปรียบเทียบผลลัพธ์กับกลุ่มควบคุม (Control Group) ซึ่งรูปแบบการวัดผลการประเมินแบบนี้ได้แสดงไว้ในตารางที่ 2
ตารางที่ 2 แสดงแบบแผนการประเมินแบบ Pre-test Post-test Control Group Design (Type C)
Pre-test Post-test Control Group Design (Type C) | |||
Time | T1 จุดเริ่มต้นก่อนเริ่มโครงการ (Base-line) | T2 Project intervention | T3 End of project |
Project Group | P1 (95) | X | P2 (100) |
Randomized or non-randomized control group | C1 (95) | - | C2 (95) |
P1 คือการวัดครั้งที่หนึ่งก่อนให้มีโครงการ (Project) |
P2 คือการวัดครั้งที่สองหลังจากดำเนินโครงการไปแล้ว |
C1 คือการวัดผลจากกลุ่มควบคุมในช่วงเวลาเดียวกับ P1 |
C2 คือการวัดผลจากกลุ่มควบคุมในช่วงเวลาเดียวกับ P2 |
X คือกิจกรรมหรือโครงการที่ใส่เข้าไป |
ตัวเลขในวงเล็บ () เป็นตัวอย่างคะแนนตามเนื้อหาที่ผู้เขียนยกขึ้น |
เป็นที่ทราบดีว่างานประเมินผลกระทบเป็นงานที่มีต้นทุนสูงเพราะต้องวัดผลหลายครั้งตามระเบียบวิธีที่ถูกต้องของการประเมินผลแบบ Pre-test Post-test Control Group (Type C) เพื่อให้มั่นใจว่าผลการประเมินมีความถูกต้องแม่นยำว่าผลกระทบนั้นเกิดขึ้นจากโครงการจริงๆ แม้ว่าวิธีนี้เป็นการประเมินผลกระทบที่ดีที่สุด แต่ด้วยความยุ่งยากและเปลืองงบประมาณในการทำการประเมินจึงพบว่าหลายองค์กรนิยมใช้รูปแบบการประเมิน Pre and post implementation ซึ่งเป็นวิธีการประเมินที่มีต้นทุนต่ำ แต่น้อยคนที่ทราบว่าผลการประเมินจากวิธี Pre and post implementation (Type B) นั้นไม่สามารถวัดผลกระทบได้เพราะไม่มีกลุ่มควบคุมมาเป็นกลุ่มเปรียบเทียบ ดังนั้นหากต้องการความประหยัดโดยที่ประสิทธิภาพของการประเมินผลกระทบยังพอเชื่อถือได้ World bank ได้แนะนำให้เราปรับจากรูปแบบการประเมิน Pre-test Post-test Control Group (Type C) มาเป็นรูปแบบตามตารางที่ 3 ได้ โดยในคอลัมน์สุดท้ายจะบอกถึงต้นทุนการประเมินที่ประหยัดได้เป็นเปอร์เซนต์ หากเป็น Type D จะประหยัดได้ 25% แต่ถ้าเป็น Type E จะประหยัดได้ถึง 50%
ตารางที่ 3 การประเมินที่ประหยัดได้เมื่อเทียบกับ Pre-test Post-test Control Group Design (Type C)
รูปแบบการประเมิน (Evaluation Design) | T1 จุดเริ่มต้นก่อนเริ่มโครงการ (Base-line) | T2 Project intervention | T3 End of project | % Cost savings เมื่อเทียบกับตารางที่ 2 |
Pre and post-intervention project group with post-intervention only comparison group. (Type D) | P1 | X | P2 C2 | 25% |
Post-implementation only project and comparison groups with no baseline data (Type E) |
|
| P1 C1 | 50% |
P1 คือการวัดครั้งที่หนึ่ง ส่วน P2 คือการวัดครั้งที่สอง
X คือกิจกรรมหรือโครงการที่ใส่เข้าไป
เทคนิคแนวทางการประเมินผลกระทบให้มีต้นทุนที่ต่ำลงตามแนวทางในตาราง 3 เหมาะกับองค์กรที่มีข้อจำกัดด้านงบประมาณ แต่การปรับเป็นรูปแบบการประเมินเป็น Type D และ E ก็มิได้รับประกันว่าจะมีคุณภาพการประเมินเท่ากับ Pre-test Post-test Control Group (Type C) และจุดสำคัญที่ต้องทำให้ได้คือการสุ่มกลุ่มควบคุมขึ้นมาเท่านั้น เพราะเราใช้การวัดผลจากกลุ่มควบคุมเพียงครั้งเดียวกลุ่มควบคุมจึงต้องมีความน่าเชื่อถือได้ โดยคุณภาพของผลการประเมินผลกระทบโดยทั่วไปพิจารณาได้จากรายการต่อไปนี้
อย่างไรก็ตามในบทความนี้มีเนื้อหาเกี่ยวข้องกับการประเมินเฉพาะรูปแบบการประเมินผลกระทบเท่านั้น เพราะการประเมินนั้นมีหลายรูปแบบ เช่น การประเมินผลการดำเนินงาน การประเมินผลสัมฤทธิ์ทางการศึกษา ซึ่งการประเมินเหล่านี้มีแนวทางที่ต่างออกไป สำหรับบทความต่อไปที่เกี่ยวข้องกับเนื้อหาในบทความนี้ (ดูรายละเอียดคลิ๊ก) จะยังเป็นเรื่องของการประเมินผลกระทบเช่นเดิม แต่จะแนะนำวิธีการที่จะจัดการประเมินผลกระทบภายใต้ข้อจำกัดด้านเวลาและการเข้าถึงข้อมูลว่ามีเทคนิคในทางปฏิบัติอย่างไร
เรียบเรียงโดย
อมรเทพ ทองชิว
ฝ่ายวิจัย IRDP
Reference.
Independent Evaluation Group, World Bank. (2006). Conducting Quality Impact Evaluations Under Budget, Time and Data Constraints. 1-10.
Additional Resources on Monitoring and Evaluation
http://www.worldbank.org/ieg/
http://www.worldbank.org/ieg/ie/
http://www.worldbank.org/impactevaluation/
http://www.worldbank.org/ieg/ecd/
http://www.mande.co.uk/