Tính giá trị và độ tin cậy của đề thi mcq sản khoa cho sinh viên y năm thứ tư năm học 2014 2015

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.04 MB, 63 trang )

.

BỘ Y TẾ
ĐẠI HỌC Y DƯỢC THÀNH PHỐ HỒ CHÍ MINH
CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ CẤP CƠ SỞ

BÁO CÁO TỔNG HỢP
KẾT QUẢ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC

TÍNH GIÁ TRỊ VÀ ĐỘ TIN CẬY CỦA ĐỀ THI MCQ SẢN KHOA
CHO SINH VIÊN Y NĂM THỨ TƯ NĂM HỌC 2014-2015

Cơ quan chủ trì nhiệm vụ: Khoa Y
Chủ trì nhiệm vụ: ThS. Đoàn Thị Thu Hoa – BS. Âu Nhựt Luân

Thành phố Hồ Chí Minh - 2020
Thành phố Hồ Chí Minh - 2020
.

.

ĐẠI HỌC Y DƯỢC THÀNH PHỐ HỒ CHÍ MINH
CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ

BÁO CÁO TỔNG HỢP
KẾT QUẢ NHIỆM VỤ NGHIÊN CỨU KHOA HỌC VÀ CÔNG NGHỆ
TÍNH GIÁ TRỊ VÀ ĐỘ TIN CẬY CỦA ĐỀ THI MCQ SẢN KHOA
CHO SINH VIÊN Y NĂM THỨ TƯ NĂM HỌC 2014-2015

Cơ quan chủ quản

(ký tên và đóng dấu)

Chủ trì nhiệm vụ
(ký tên)

Cơ quan chủ trì nhiệm vụ
(ký tên và đóng dấu)

Thành phố Hồ Chí Minh - 2020

.

.

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
Thành phố Hồ Chí Minh, ngày 10 tháng 9 năm 2020

BÁO CÁO THỐNG KÊ
KẾT QUẢ THỰC HIỆN ĐỀ TÀI NGHIÊN CỨU KHOA HỌC
I. THÔNG TIN CHUNG
1. Tên đề tài:
Thuộc lĩnh vực (tên lĩnh vực): Giáo dục y khoa
2. Chủ nhiệm nhiệm vụ:
Họ và tên: Đoàn Thị Thu Hoa
Ngày, tháng, năm sinh: 15/03/1976

Nam/ Nữ: Nữ

Học hàm, học vị: Thạc sĩ
Điện thoại: 0918992334
E-mail:
Tên tổ chức đang công tác: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh.
Địa chỉ tổ chức: 217 Hồng Bàng, Quận 5, TPHCM
Địa chỉ nhà riêng: 40 Phan Sào Nam Phường 11 Quân Tân Bình TPHCM
Họ và tên: Âu Nhựt Luân
Ngày, tháng, năm sinh: 15/03/1976

Nam/ Nữ: Nam

Học hàm, học vị:
Điện thoại: 0988006677
E-mail:
Tên tổ chức đang công tác: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh.
Địa chỉ tổ chức: 217 Hồng Bàng, Quận 5, TPHCM
Địa chỉ nhà riêng:
3. Tổ chức chủ trì nhiệm vụ(1):
Tên tổ chức chủ trì nhiệm vụ: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh
Địa chỉ: 217 Hồng Bàng, Quận 5, TPHCM
4. Tên cơ quan chủ quản đề tài: Đại học Y Dược thành phố Hồ Chí Minh
1

Tên Khoa hoặc Trung tâm, đơn vị - nơi quản lý trực tiếp cá nhân làm chủ nhiệm đề tài.

.

.

II. TÌNH HÌNH THỰC HIỆN
1. Thời gian thực hiện nhiệm vụ:
- Theo Hợp đồng đã ký kết: từ tháng 6 năm 2014 đến tháng 10 năm 2015
- Thực tế thực hiện: từ tháng 6 năm 2014 đến tháng 10 năm 2020
- Được gia hạn (nếu có):
Từ tháng…. năm…. đến tháng…. năm….
2. Kinh phí và sử dụng kinh phí:
a) Tổng số kinh phí thực hiện: 5 triệu đồng, trong đó:
+ Kính phí hỗ trợ từ ngân sách khoa học của nhà trường: 5 triệu đồng.
+ Kinh phí từ các nguồn khác: ……………….tr.đ.
b) Tình hình cấp và sử dụng kinh phí từ nguồn ngân sách khoa học:
Số
TT

Theo kế hoạch
Thời gian
Kinh phí
(Tháng, năm)
(Tr.đ)

Thực tế đạt được
Thời gian
Kinh phí
(Tháng, năm)
(Tr.đ)

Ghi chú
(Số đề nghị
quyết tốn)

1
2
…
c) Kết quả sử dụng kinh phí theo các khoản chi:
Đơn vị tính: Triệu đồng
Số
TT
1

2
3
4
5

Theo kế hoạch

Nội dung
các khoản chi

Tổng

NSKH

5.000.
Trả cơng lao động
000đ
(khoa học, phổ
thơng)
Ngun, vật liệu,
năng lượng

Thiết bị, máy móc
Xây dựng, sửa chữa
nhỏ
Chi khác
Tổng cộng

Thực tế đạt được

Nguồn
khác

Tổng

NSKH

Nguồn
khác

5.000.
000đ

- Lý do thay đổi (nếu có):
3. Tổ chức phối hợp thực hiện nhiệm vụ:
Số
TT

Tên tổ chức
đăng ký theo
Thuyết minh

1
2
...

.

Tên tổ chức đã
tham gia thực
hiện

Nội dung
tham gia chủ
yếu

Sản phẩm
chủ yếu đạt
được

Ghi
chú*

.

- Lý do thay đổi (nếu có):
4. Cá nhân tham gia thực hiện nhiệm vụ:
(Người tham gia thực hiện đề tài thuộc tổ chức chủ trì và cơ quan phối hợp, khơng q 10
người kể cả chủ nhiệm)
Số
TT

1

2

Nội dung
tham gia
chính
Viết đề cương
nghiên cứu,
bàn luận kết
quả.
Thu thập số
liệu, phân tích
số liệu
Âu Nhựt Luân Âu Nhựt Luân Viết đề cương
nghiên cứu,
bàn luận, kết
luận
Tên cá nhân
đăng ký theo
Thuyết minh
Đoàn Thị Thu
Hoa

Tên cá nhân
đã tham gia
thực hiện
Đoàn Thị Thu
Hoa

Sản phẩm
chủ yếu đạt
được
Đề cương
nghiên cứu,
bài báo khoa
học

Ghi
chú*

Đề cương
nghiên cứu,
bài báo khoa
học

- Lý do thay đổi ( nếu có):
5. Tình hình hợp tác quốc tế:
Số
TT

Theo kế hoạch
(Nội dung, thời gian, kinh phí,
địa điểm, tên tổ chức hợp tác,
số đoàn, số lượng người tham
gia...)

Thực tế đạt được
(Nội dung, thời gian, kinh phí,
địa điểm, tên tổ chức hợp tác,

số đoàn, số lượng người tham
gia...)

Ghi
chú*

1
2
...
- Lý do thay đổi (nếu có):
6. Tình hình tổ chức hội thảo, hội nghị:
Theo kế hoạch
Thực tế đạt được
Số
(Nội dung, thời gian, kinh phí,
(Nội dung, thời gian,
TT
địa điểm )
kinh phí, địa điểm )
1
2
...

Ghi chú*

- Lý do thay đổi (nếu có):
7. Tóm tắt các nội dung, công việc chủ yếu:
(Nêu tại mục .....của đề cương, không bao gồm: Hội thảo khoa học, điều tra khảo sát
trong nước và nước ngoài)

.

.

Số
TT

Các nội dung, công việc
chủ yếu
(Các mốc đánh giá chủ yếu)

1

Hồn chỉnh bảng thăm dị ý kiến
giảng viên

2

Thời gian
(Bắt đầu, kết thúc
- tháng … năm)
Theo kế
Thực tế đạt
hoạch
được
6/201410/2014

Thu thập số liệu (4 đợt)

10/201407/2015

3

Nhập số liệu

10/201407/2015

4

Xử lý số liệu

6-9/2020

5

Viết bài báo khoa học

10/2020

Bảng thăm
dò ý kiến
giảng viên
Phỏng vấn
người ra đề
thi về test
blueprint.
Giảng viên
xem xét tính
phù hợp của

các trạm thi
Hướng dẫn
CTV lấy dữ
liệu kết quả
thi

Kết quả dữ
liệu được
nhập
Kết quả dữ
liệu được
xử lý
Bài báo tạp
chí y học
TP Hồ Chí
Minh

Người,
cơ quan
thực hiện
Đồn Thị
Thu Hoa

Âu Nhựt
Luân
Đoàn Thị
Thu Hoa

Âu Nhựt
Luân

Đoàn Thị
Thu Hoa
Đoàn Thị
Thu Hoa
Đoàn Thị
Thu Hoa

Âu Nhựt
Luân

- Lý do thay đổi (nếu có):
III. SẢN PHẨM KH&CN CỦA ĐỀ TÀI
1. Sản phẩm KH&CN đã tạo ra:
a) Sản phẩm Dạng I:
Số
TT
1

Tên sản phẩm và
chỉ tiêu chất lượng
chủ yếu
Bài báo tạp chí Y
học trong nước

...
- Lý do thay đổi (nếu có):

.

Đơn
vị đo
1

Số lượng
1

Theo kế
hoạch
10/2020

Thực tế
đạt được

.

b) Sản phẩm Dạng II:
Số
TT

Tên sản phẩm

Yêu cầu khoa học
cần đạt
Theo kế hoạch
Thực tế
đạt được

Ghi chú

1
2
...
- Lý do thay đổi (nếu có):
c) Sản phẩm Dạng III:
Số
TT

Tên sản phẩm

Yêu cầu khoa học
cần đạt
Theo
Thực tế
kế hoạch
đạt được

Số lượng, nơi
cơng bố
(Tạp chí, nhà
xuất bản)

Số lượng
Theo kế hoạch
Thực tế đạt
được

Ghi chú
(Thời gian kết

thúc)

1
2
...
- Lý do thay đổi (nếu có):
d) Kết quả đào tạo:
Số
TT

Cấp đào tạo, Chuyên
ngành đào tạo

1
2
- Lý do thay đổi (nếu có):
đ) Tình hình đăng ký bảo hộ quyền sở hữu cơng nghiệp:
Số
TT

Tên sản phẩm
đăng ký

Kết quả
Theo
kế hoạch

Thực tế
đạt được

Ghi chú
(Thời gian kết
thúc)

1
2
...
- Lý do thay đổi (nếu có):
e) Thống kê danh mục sản phẩm KHCN đã được ứng dụng vào thực tế
Số
TT

Tên kết quả
đã được ứng dụng

1
2
.

Thời gian

Địa điểm
(Ghi rõ tên, địa
chỉ nơi ứng
dụng)

Kết quả
sơ bộ

.

2. Đánh giá về hiệu quả do đề tài mang lại:
a) Hiệu quả về khoa học và công nghệ:
Kết quả từ nghiên cứu này sẽ giúp bộ mơn có thơng tin về chất lượng kỳ thi OSCE của mình,
từ đó có những biện pháp phù hợp để nâng cao chất lượng lượng giá tại bộ môn Sản.

b) Hiệu quả về kinh tế xã hội:
(Nêu rõ hiệu quả làm lợi tính bằng tiền dự kiến do nhiệm vụ tạo ra so với các sản
phẩm cùng loại trên thị trường…)
3. Tình hình thực hiện chế độ báo cáo, kiểm tra của đề tài:
Số
TT
I

II

Nội dung
Báo cáo tiến độ
Lần 1
…
Báo cáo giám định giữa kỳ
Lần 1
….
Chủ nhiệm đề tài
(Họ tên, chữ ký)

.

Thời gian

thực hiện
12/2015

Ghi chú
(Tóm tắt kết quả, kết luận
chính, người chủ trì…)
Thu thập dữ liệu

Thủ trưởng tổ chức chủ trì
(Họ tên, chữ ký và đóng dấu)

.

MỤC LỤC

1. ĐẶT VẤN ĐỀ ...............................................................................................1
1.1. Tính giá trị (Validity)..............................................................................2
1.2. Độ tin cậy (Reliability) ...........................................................................3
1.3. Phân tích câu hỏi .....................................................................................3
1.4. Một số yếu tố bên ngồi có ảnh hưởng đến tính giá trị ..........................4
2. ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU ...................................5
3. KẾT QUẢ ......................................................................................................7
3.1. Ý kiến sinh viên ......................................................................................7
3.1.1. Về các yếu tố bên ngoài ................................................................... 10
3.1.2. Về nội dung đề thi............................................................................. 11
3.2. Độ tin cậy của đề thi, chất lượng câu hỏi về chỉ số khó, chỉ số phân
cách và mồi nhử .......................................................................................... 11
3.2.1. Kết quả đánh giá độ tin cậy, thống kê mô tả số câu hỏi có các độ
khó khác nhau và độ phân cách khác nhau................................................. 11

3.2.2. Chỉ số khó, chỉ số phân cách và hiệu quả của các mồi nhử ............. 12
3.2.3 Hiệu quả mồi nhử của các câu hỏi ..................................................... 18
3.3 Phỏng vấn người chịu trách nhiệm chính trong việc ra đề thi về quá
trình hình thành đề thi ................................................................................. 19
3.4 Ý kiến của 4 giảng viên đánh giá về nội dung ..................................... 21
3.4.1. Kết quả đề thi lý thuyết sản được đánh giá theo chủ đề và bài học . 21
i

.

.

3.4.2. Mức độ quan trọng của kiến thức được lượng giá ........................... 27
3.4.3. Ý kiến của giảng viên về mức độ đại diện được nội dung cần lượng
giá và cân đối của đề thi ............................................................................. 27
3.4.4. Về mức độ kiến thức sinh viên cần vận dụng để trả lời câu hỏi ...... 28
4. BÀN LUẬN - KIẾN NGHỊ ........................................................................... 29

4.1. Yếu tố bên ngoài .................................................................................. 29
4.2. Về nội dung đề thi................................................................................ 29
4.3. Quá trình xây dựng đề thi .................................................................... 30
4.4. Độ tin cậy và phân tích câu hỏi ........................................................... 31
4.5. Một số đề nghị để cải thiện đề thi ........................................................ 31
TÀI LIỆU THAM KHẢO .............................................................................. 33
PHỤ LỤC 1. Phiếu thăm dị ý kiến sinh viên
PHỤ LỤC 2. Bản phân tích đề thi dành cho giáo viên
PHỤ LỤC 3. Đề thi lý thuyết Sản Y4 học kỳ 1 và học kỳ 2 năm học 2014-2015

ii

.

.

1. ĐẶT VẤN ĐỀ
Lượng giá sinh viên đóng vai trị quan trọng trong chương trình
giảng dạy. Việc lượng giá trong giáo dục y khoa có xu hướng dùng các
phương pháp lượng giá khách quan, cụ thể là thi trắc nghiệm câu hỏi nhiều
lựa chọn MCQ. Tại trường ta, việc thi trắc nghiệm MCQ được sử dụng
rộng rãi trong các bộ môn của khoa Y để lượng giá kiến thức sinh viên
trong các kỳ thi kết thúc học phần. Chất lượng của các kỳ thi trắc nghiệm
này vẫn cịn chưa có câu trả lời thỏa đáng, những nghiên cứu chính thức về
chất lượng của kỳ thi MCQ vẫn cịn ít ỏi. Năm 1993-1994, trong nghiên
cứu về đề thi MCQ môn học giải phẫu trường Đại học Y dược thành phố
Hồ Chí Minh của tác giả Ngơ Trí Hùng phân tích về độ khó và độ phân
cách của câu hỏi trắc nghiệm cho thấy khoảng 25-30% câu có độ khó trung
bình từ 0.3-0.7. Trong một nghiên cứu về tính giá trị và độ tin cậy của đề
thi trắc nghiệm nhi cho sinh viên y năm thứ tư năm học 2002-2003 (Hoa,
2005) cho thấy bộ môn chưa xây dựng test blueprint, độ tin cậy của đề thi
là 0.79, các câu hỏi phân bố không cân đối giữa các bài học, hệ số tương
quan giữa 2 đề thi khi xem xét số câu hỏi phân bố giữa các bài học là 0.6.
Tính giá trị và độ tin cậy là 2 đặc tính quan trọng đối với bất kỳ một kỳ
thi nào, do đó tính giá trị và độ tin cậy phản ánh chất lượng của đề thi.
Qua tham khảo tài liệu, để xây dựng một đề thi có tính giá trị cao địi
hỏi một qui trình chặt chẽ nhất định. Quá trình xây dựng đề thi bao gồm
những bước sau:
-

Xác định mục đích bài thi

-

Xây dựng test blueprint bao gồm liệt kê các mục tiêu và nội dung, tỉ lệ

các câu hỏi phân bố cho mỗi mục tiêu và nội dung đó
-

Xây dựng câu hỏi hoặc rút câu hỏi theo test blueprint. Cần rút câu hỏi

nhiều hơn số câu hỏi đã dự định để đảm bảo rằng các câu hỏi dự bị có sẵn
trong trường hợp có những câu hỏi bị loại bỏ. Mục tiêu của bước này là có
được đề thi có tính đại diện.
1

.

.

-

Xem lại câu hỏi đã được lấy ra. Kiểm tra câu hỏi có dùng được khơng

và đáp án có đúng không
-

Bản thảo đề thi được kiểm tra một lần nữa và sửa chữa những lỗi đánh

máy và câu hỏi trùng lắp
-

Sau khi thi xong, các câu hỏi được xem xét một lần nữa dựa trên phân

tích thống kê và ý kiến sinh viên
1.1. Tính giá trị (Validity):
Tính giá trị đề cập đến mức độ mà công cụ lượng giá hay kỳ thi đo
lường được đúng cái muốn đo. Khái niệm tính giá trị được mở rộng thành
tính giá trị nội dung, tính giá trị cấu trúc, tính giá trị liên quan đến tiêu
chuẩn.
Tính giá trị nội dung (content validity): Tính giá trị nội dung là ưu
tiên hàng đầu trong mọi lượng giá. Giá trị nội dung là mức độ “bao trùm”
được nội dung-mục tiêu mơn học. Đó là sự đo lường mức độ mà nó bao
hàm một mẫu đại diện các kiến thức và kỹ năng cần được kiểm tra. Một
phương pháp để lấy mẫu đại diện các kiến thức và kỹ năng cần được kiểm
tra là xây dựng test blueprint. Test blueprint là một đề cương của những nội
dung quan trọng được dạy trong lớp học, đồng thời test blueprint cũng liệt
kê ra số lượng câu hỏi cho mỗi nội dung. Test blueprint xác định những
mục tiêu và nội dung được kiểm tra, trọng số cho những mục tiêu và nội
dung đó.
Nhìn chung cơ bản là có một nhóm chuyên gia về nội dung (panel of
content experts) quyết định những nội dung nào test phải bao phủ và mỗi
lĩnh vực nội dung đo lường cái gì. Phương pháp truyền thống để đánh giá
tính giá trị nội dung tập trung vào sự tương hợp giữa câu hỏi-mục tiêu dựa
trên phán xét của chuyên gia nội dung (Angoff, 1988). Các chuyên gia đưa
ra những phán xét về kiến thức mà mỗi câu hỏi đo lường và so sánh với test
blueprint. Chọn nhóm chuyên gia nội dung, số lượng chuyên gia cần có để
xem xét tính giá trị nội dung thì thay đổi theo các tài liệu khác nhau. Lynn
2

.

.

(1986) đề nghị tối thiểu phải có 3 người. Tuy nhiên những nghiên cứu khác
khuyến cáo con số từ 2-20 người (Gable &Wolf, 1993).
1.2. Độ tin cậy (Reliability):
Độ tin cậy đề cập đến tính hằng định (tính lặp lại) và chính xác của
kết quả lượng giá. Có nhiều nghiên cứu về độ tin cậy của MCQ, phương
pháp thường được dùng nhất là xem xét tính hằng định bên trong (internal
consistency) bằng hệ số Cronbach’s alpha hoặc hệ số Kuder Richardson 20.
Các test có 80-120 câu MCQ có hệ số tin cậy 0.64-0.99 (Fenderson et al,
1997).
Đối với những kỳ thi có mức độ cực kỳ quan trọng như thi cấp bằng
chẳng hạn thì độ tin cậy địi hỏi ít nhất là 0.9. Đối với các kỳ thi có mức độ
quan trọng vừa phải như thi cuối năm chẳng hạn thì địi hỏi độ tin cậy ít
nhất là 0.8. (Downing)
1.3. Phân tích câu hỏi
Chất lượng của các câu hỏi trong bài thi cũng phản ánh chất lượng
của tồn bài thi. Phân tích câu để đánh giá chất lượng từng câu hỏi, thường
dùng chỉ số khó (độ khó difficulty index) và chỉ số phân cách (độ phân
cách discrimination index) và hiệu quả của các mồi nhử (distractor
efficiency).
Chỉ số khó: là tỉ lệ phần trăm số người trả lời đúng câu hỏi đó. Chỉ số
khó càng cao nghĩa là càng nhiều người trả lời đúng câu hỏi đó hay nói
cách khác câu hỏi đó càng dễ.
Chỉ số phân cách: là khả năng câu hỏi đó phân biệt được sinh viên
giỏi với sinh viên kém. Chỉ số phân cách được tính như sau: = (tần số trả

lời đúng trong nhóm cao - tần số trả lời đúng trong nhóm thấp)/(1/2 tổng số
người trong nhóm cao và nhóm thấp). Để có được nhóm cao và nhóm thấp
người ta lấy 27% bài thi có điểm số cao nhất và 27% bài thi có điểm số
thấp nhất (có thể lấy 25%-35%).

3

.

.

Chỉ số phân cách <0.2 nghĩa là câu có độ phân cách kém, 0.2-<0.3
độ phân cách trung bình, 0.3-<0,4 độ phân cách khá, từ 0.4 trở lên độ phân
cách rất tốt.
Cơng thức ở trên đây đề cập cách tính chỉ số phân cách thơng thường
dùng trong lớp học. Ngồi ra một phương pháp thống kê tinh vi hơn thiết
lập mối tương quan giữa điểm của câu hỏi với điểm toàn bộ bài trắc
nghiệm, còn gọi là hệ số tương quan câu hỏi – tổng điểm. Hệ số tương quan
câu hỏi – tổng điểm (iem-total correlation) hay còn được gọi là tương quan
điểm-nhị phân (point-biserial correlation rpbis). Hệ số tương quan điểm-nhị
phân là hệ số tương quan cặp Pearson giữa tổng điểm (nghĩa là điểm của
toàn bài trắc nghiệm) với điểm của mỗi câu trắc nghiệm của các sinh viên
trong nhóm.
Mồi nhử: một câu hỏi MCQ có 1 đáp án đúng và các lựa chọn còn lại
là mồi nhử. Một mồi nhử được lựa chọn dưới 5% được coi như mồi nhử
khơng hiệu quả. Câu hỏi MCQ của Sản có 4 lựa chọn gồm 1 đáp án và 3
mồi nhử, nếu 1 câu có chứa 3 hoặc 2 hoặc 1 hoặc 0 mồi nhử khơng hiệu
quả thì hiệu quả mồi nhử tương ứng sẽ là 0; 33,3; 66,6; 100%.
1.4. Một số yếu tố bên ngồi có ảnh hưởng đến tính giá trị

Có một số yếu tố bên ngồi có ảnh hưởng đến tính giá trị. Đó là
những yếu tố trong bài test chẳng hạn như từ ngữ - cấu trúc câu quá phức
tạp (làm sai lệch ý nghĩa kết quả lượng giá vì đánh giá khả năng thấu hiểu
ngơn ngữ hơn là đánh giá điều chúng ta mong muốn); câu hỏi mơ hồ (dẫn
đến việc hiểu nhầm); thời gian thi không đủ; câu hỏi có gợi ý đốn mị
được câu trả lời đúng (clues); sắp xếp câu hỏi không phù hợp (cho những
câu hỏi khó trong những câu đầu tiên sẽ làm sinh viên mất nhiều thời gian
và sinh viên còn ít thời gian để có thể trả lời những câu hỏi dễ hơn đồng
thời tác động ức chế sinh viên; và những yếu tố trong quản lý kỳ thi (hướng
dẫn cách trả lời không rõ ràng, sinh viên copy bài).

4

.

.

Nếu bài thi sử dụng ngôn ngữ chuyên môn phức tạp làm sinh viên
khó hiểu thì bài thi có thể thiếu tính giá trị vì nó đo lường khả năng ngôn
ngữ của sinh viên hơn là hiểu biết về các khái niệm cần được lượng
giá.(Paxton & Moragh, 2000)
Nghiên cứu này thực hiện trên đề thi trắc nghiệm của bộ môn Sản. Mục
tiêu của nghiên cứu này là xem xét tính giá trị và độ tin cậy của đề thi trắc
nghiệm sản khoa sinh viên y năm thứ tư năm học 2014-2015. Nghiên cứu
sẽ tập trung vào quá trình hình thành đề thi, tính giá trị nội dung, các yếu tố
bên ngồi, độ tin cậy, phân tích các chỉ số của câu hỏi thi.
Trong năm học 2014-2015, lý thuyết sản được giảng dạy trên giảng
đường dưới hình thức bài giảng thuyết trình lecture với 44 tiết giảng cho 34
bài học. Các nội dung này được tái củng cố bằng 7 chủ đề dưới hình thức

team-based learning khi sinh viên đi thực hành. Học phần Sản khoa được
giảng cho năm thứ tư, bao gồm các nội dung từ sinh lí sinh dục nữ, cho đến
thai kì và quản lí thai, rồi chuyển dạ và các vấn đề liên quan và kết thúc
bằng quản lí các vấn đề thường gặp trong thời kì hậu sản, bao gồm cả nuôi
con bằng sữa mẹ.
Như vậy trong năm 2014-2015 sinh viên học lý thuyết sản qua 7 chủ đề và
34 bài học, do đó để xem xét tính giá trị nội dung nghiên cứu sẽ xem xét
các câu hỏi được phân bố như thế nào theo 7 chủ đề và 34 bài học lý
thuyết.
2. ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU:
a. 311 sinh viên Y4 thi Sản học kỳ 1 và 280 sinh viên Y4 thi Sản học kỳ 2
đã trả lời bảng thăm dò ý kiến về đề thi mới vừa thi xong bằng bảng
questionaire gồm 14 câu hỏi về những yếu tố bên ngoài có ảnh hưởng đến
tính giá trị của đề thi (thời gian thi, giám sát thi, từ ngữ trong câu hỏi thi)
và về nội dung đề thi. Đối với mỗi câu hỏi, sinh viên trả lời theo mức độ rất
không đồng ý, không đồng ý, trung lập, đồng ý, rất đồng ý. Thống kê mơ tả
để trình bày kết quả.
5

.

.

b. Dữ liệu kết quả thi của sinh viên 315 sinh viên Y4 học kỳ 1 và 285 sinh
viên học kỳ 2 năm thứ tư tham gia kỳ thi MCQ trong năm học 2014-2015
được thu thập để tính độ tin cậy của đề thi và các chỉ số của câu hỏi.
-

Độ tin cậy của 2 kỳ thi MCQ được đo lường bằng internal consistency

bởi hệ số Kuder Richardson 20
-

Chỉ số khó, chỉ số phân cách và hiệu quả của các mồi nhử được tính

cho mỗi câu hỏi trong đề thi MCQ.
c. Phỏng vấn người chịu trách nhiệm chính trong việc ra đề thi về quá
trình hình thành đề thi, về test blueprint, về xây dựng/rút câu hỏi, chỉnh sửa
câu hỏi, thống kê sau khi thi.
d. Một nhóm 4 giảng viên của bộ môn Sản đánh giá đề thi về nội dung
cũng như các yếu tố ảnh hưởng bên ngồi. Nhóm này đánh giá đề thi của
học kỳ 1 và học kỳ 2 để xem xét liệu 2 đề thi có tương đồng với nhau về
mặt nội dung không. Đối với mỗi câu hỏi trong đề thi, mỗi giảng viên sẽ
đánh giá như sau:
o

Xác định câu hỏi thuộc chủ đề nào (trong 7 chủ đề), thuộc nội dung nào

(thuộc bài học nào trong 34 bài học)
o

Xác định mức độ tư duy sinh viên cần vận dụng để trả lời câu hỏi: mức

độ nhớ lại, mức độ hiểu giải thích, mức độ ứng dụng giải quyết vấn đề.
o

Đánh giá mức độ quan trọng của kiến thức được hỏi theo thang điểm từ

1-4 (từ mức độ “không cần lượng giá” đến mức độ ‘phải lượng giá”)

o

Nhận xét chung về đề thi có cân đối theo chủ đề và bài học hay không

-

Thống kê mô tả phần đánh giá của giảng viên về đề thi theo 7 chủ đề và

34 nội dung bài học. Hệ số tương quan về số câu hỏi được phân bố theo
chủ đề và theo các nội dung bài học giữa 2 đề thi học kỳ 1 và học kỳ 2 sẽ
được tính, một hệ số tương quan cao giữa 2 đề thi sẽ là một chỉ số cho thấy
cả 2 được xây dựng từ một test blueprint.
-

Thống kê mô tả số câu hỏi đề thi theo 3 mức độ tư duy nhớ, hiểu, ứng

dụng.
6

.

.

Điểm trung bình về mức độ quan trọng của kiến thức được lượng giá

-

trong mỗi câu hỏi sẽ được tính, nếu >2,5 nghĩa là kiến thức được lượng giá
là quan trọng.

3. KẾT QUẢ
3.1. Ý kiến sinh viên
Ý kiến sinh viên về mỗi phát biểu liên quan đến các yếu tố bên ngoài
và các yếu tố liên quan nội dung đề thi được trình bày trong bảng 3.1 và 3.2
theo tỷ lệ phần trăm. Điểm trung bình của mỗi phát biểu cũng được tính.
Bảng 3.1. Ý kiến sinh viên ở học kỳ 1
Rất

Khơng Trung Đồng Rất

khơng đồng

lập

ý

đồng bình

đồng

(%)

(%)

ý

ý (%)

ý (%)
1. Nhìn chung đề thi là

(%)

Rất

Khó

Vừa

Dễ

Rất

khó

49,0

sức

0,3

dễ

42,5

7,8

0,3

Đủ

Dư

giờ

giờ

giờ

59,5

37,9

2,6

2. Thời gian làm bài thi Thiếu
là

3. Đề thi có hướng dẫn cụ 3,9

1,0

6,1

54,7

15,9

2,6

53,1

42,1

20,1

57,5

5,2

thi nói chung là dễ hiểu
6. Đề thi có những câu 3,6

4,33

3,49
29,7

32,4

30,1

4,2

hỏi gây hiểu nhầm ý
7. Đề thi có những câu 4,6

1,43

4,15

4. Tổ chức thi nghiêm túc 2,3
5. Các câu hỏi trong đề 1,3

1,67

34,3

thể cách làm bài

3,02
38,9

hỏi dùng từ ngữ khó hiểu

32,0

18,6

5,9
2,82

7

.

Trung

.

phức tạp làm bạn mất
thời gian để hiểu ý câu
hỏi
8. Đề thi có những câu 11,0

39,2

27,2

21,7

1,0

hỏi có manh mối gợi ý
cho câu trả lời đúng
9. Đề thi đánh giá đúng 2,9

2,62
21,4

25,2

43,4

7,1

khả năng của bạn
10. Nội dung bài thi phù 3,9

3,30
17,6

14,7

55,0

8,8

hợp với mục tiêu
11. Nội dung bài thi phù 6,5

3,47
29,2

14,6

45,1

4,5

hợp với nội dung đã được
dạy

3,12

12. Nhìn chung tỷ lệ câu 2,3

22,8

16,0

55,0

3,9

hỏi cho các chương/các
phần cân đối với số giờ
học các chương/các phần
đó

3,36

13. Có các phần quan 6,8

38,8

34,0

19,7

,6

trọng của chương trình
mơn học khơng được hỏi
trong đề thi này
14. Đề thi có những câu 3,6

2,69
30,8

26,9

32,1

6,6

hỏi mà nơi dung của nó
khơng có trong chương
trình giảng dạy

3,07

Bảng 3.2. Ý kiến sinh viên ở học kỳ 2
8

.

.

Rất

Khơng Trung Đồng Rất

khơng đồng ý lập
đồng

(%)

ý (%) đồng bình

(%)

ý

ý (%)
1. Nhìn chung đề thi là

(%)

Rất

Khó

Vừa

khó

53,9

sức

dễ

10,4

0,4

Đủ

Dư

giờ

giờ

giờ

23,9

70,0

6,1

35,4
2. Thời gian làm bài thi Thiếu
là

3. Đề thi có hướng dẫn 5,8

2,5

10,1

Dễ

49,8

Rất

1,76

1,82

31,8

cụ thể cách làm bài
4. Tổ chức thi nghiêm 3,6

Trung

3,99
,7

7,5

46,1

42,1

túc

4,23

5. Các câu hỏi trong đề 3,6

14,0

24,0

52,3

6,1

thi nói chung là dễ hiểu
6. Đề thi có những câu 4,6

3,43
27,1

38,9

24,3

5,0

hỏi gây hiểu nhầm ý
7. Đề thi có những câu 4,3

2,98
38,7

32,6

21,1

3,2

hỏi dùng từ ngữ khó hiểu

phức tạp làm bạn mất
thời gian để hiểu ý câu
hỏi

2,80

8. Đề thi có những câu 7,9

40,5

31,9

18,3

1,4

hỏi có manh mối gợi ý
cho câu trả lời đúng
9. Đề thi đánh giá đúng 4,3

2,65
16,1

khả năng của bạn

40,7

7,9
3,32

9

.

31,1

.

10. Nội dung bài thi phù 7,5

13,3

22,9

49,8

6,5

hợp với mục tiêu
11. Nội dung bài thi phù 5,4

3,34
28,3

26,2

35,1

5,0

hợp với nội dung đã
được dạy

3,06

12. Nhìn chung tỷ lệ câu 3,9

12,2

39,1

40,1

4,7

hỏi cho các chương/các
phần cân đối với số giờ
học các chương/các phần
đó

3,29

13. Có các phần quan 3,6

36,3

35,6

23,0

1,4

trọng của chương trình
mơn học khơng được hỏi
trong đề thi này
14. Đề thi có những câu 5,4

2,82
24,5

34,3

28,9

6,9

hỏi mà nơi dung của nó
khơng có trong chương
trình giảng dạy

3,07

3.1.1. Về các yếu tố bên ngoài:
Hầu hết các phát biểu (hướng dẫn cụ thể cách làm bài, tổ chức thi
nghiêm túc, câu hỏi nói chung dễ hiểu) đều có trung bình cao hơn 3 (thang
điểm giữa của thang 5). Đối với các phát biểu (câu hỏi dùng từ ngữ phức
tạp khó hiểu, câu hỏi có manh mối gợi ý câu trả lời đúng) có điểm trung
bình <3, nghĩa là tỷ lệ không đồng ý nhiều hơn tức đa số cho rằng câu hỏi
khơng có từ ngữ phức tạp khó hiểu, khơng có manh mối đốn mị được câu

trả lời đúng. Tuy nhiên “đề thi có những câu hỏi gây hiểu nhầm ý” có trung
bình 3,02 và 2,98 ở học kỳ 1 và học kỳ 2 cho thấy tỷ lệ sinh viên đồng ý và
10

.

.

tỷ lệ khơng đồng ý là gần bằng nhau, có thể có khả năng có một số câu hỏi
gây hiểu nhầm ý.
Ý kiến của sinh viên về độ khó của đề thi có điểm trung bình thấp ở
cả học kỳ 1 và 2 (1,67 và 1,76) cho thấy đa số sinh viên cho rằng đề thi là
khó.
Thời gian làm bài thi ở học kỳ 1 chỉ có 37.9 % cho rằng đủ giờ, còn
59.5% cho rằng thiếu giờ; ở học kỳ 2 23.9% cho là thiếu giờ 70% cho là đủ
giờ.
3.1.2. Về nội dung đề thi:
Hầu hết các phát biểu (đề thi đánh giá đúng khả năng, nội dung thi
phù hợp mục tiêu, tỷ lệ câu hỏi cân đối) có trung bình cao hơn 3, tuy vậy
phát biểu “đề thi phù hợp nội dung đã được dạy” ” có trung bình chỉ vừa
hơn 3 một ít với 3,12 và 3,06 ở học kỳ 1 và học kỳ 2 cho thấy 35,7% sinh
viên ở học kỳ 1 và 33,7 % sinh viên ở học kỳ 2 không đồng ý với phát biểu
“nội dung bài thi phù hợp với nội dung đã được dạy”.
Đối với phát biểu “có các phần quan trọng của chương trình mơn học
khơng được hỏi trong đề thi này” có trung bình 2,69 và 2,82 cho thấy tỷ lệ
ý kiến không đồng ý nhiều hơn tức là đa số cho rằng các phần quan trọng
đã được hỏi trong đề thi.
3.2. Độ tin cậy của đề thi, chất lượng câu hỏi về chỉ số khó, chỉ số phân
cách và mồi nhử

3.2.1. Kết quả đánh giá độ tin cậy, thống kê mơ tả số câu hỏi có các độ
khó khác nhau và độ phân cách khác nhau
Kết quả đánh giá độ tin cậy của từng đề thi MCQ được trình bày
trong bảng 3.3 bên dưới, thống kê mô tả số câu hỏi có các độ khó khác
nhau (<0,3, từ 0,3-0,7 và >0,7) và độ phân cách khác nhau (<0,2, từ 0,2 <0,3, từ 0,3 - <0,4, >0,4) cũng được trình bày.
Bảng 3.3. Kết quả độ tin cậy, thống kê mô tả số câu hỏi có các độ khó khác
nhau và độ phân cách khác nhau
11

.

.

Học kỳ 1

Học kỳ 2

Số sinh viên dự thi

315

285

Độ tin cậy bài thi

0.4920

0.6235

Độ khó bài thi

0.560

0.563

Độ phân cách bài thi

0.203

0.230

Số câu hỏi dễ có độ khó >0.7

12

17

Số câu hỏi có độ khó trung bình 0.3-0.7 44

40

Số câu hỏi có độ khó <0.3

4

3

Số câu hỏi có độ phân cách < 0.2

28

22

Số câu hỏi có độ phân cách 0.2 - <0.3

19

18

Số câu hỏi có độ phân cách 0.3 - <0.4

13

13

Số câu hỏi có độ phân cách >= 0.4

0

7

Độ tin cậy của đề thi ở cả học kỳ 1 và 2 đều <0.8, cho thấy độ tin cậy
chưa cao. Công thức Spearman Brown được sử dụng để dự đoán sự gia
tăng độ tin cậy bằng cách tăng chiều dài đề trắc nghiệm. Để gia tăng độ tin
cậy thì theo cơng thức Spearman Brown cần gia tăng số câu hỏi trong đề
thi như sau:
rn = nrs/((n-1)rs + 1))
(với n là số lần tăng chiều dài đề trắc nghiệm
rs là độ tin cậy của đề thi hiện tại

rn là độ tin cậy của đề thi được gia tăng số câu hỏi)
Theo công thức này, nếu tăng gấp đơi số câu (tức đề thi có 120 câu) thì hệ
số tin cậy tính ra được là 0.76
Đề thi có độ khó trung bình ở cả học kỳ 1 và học kỳ 2, tuy nhiên độ
phân cách của để thi chưa cao, có 22/60 (36,6%) câu hỏi ở học kỳ 1 và
28/60 (46,6%) câu hỏi ở học kỳ 2 có độ phân cách kém <0.2.
3.2.2. Chỉ số khó, chỉ số phân cách và hiệu quả của các mồi nhử

12

.

.

Chỉ số khó, chỉ số phân cách và số mồi nhử hiệu quả được tính cho
từng câu hỏi trong đề thi MCQ được trình bày trong bảng 3.4 và 3.5
Bảng 3.4. Chỉ số khó, chỉ số phân cách và số mồi nhử hiệu quả của 60 câu
hỏi trong đề thi học kỳ 1
Độ

phân

Số mồi nhử
hiệu quả

Câu

Độ khó