thi

2008

HƯỚNG DẪN SỬ DỤNG
[VITESTA 1.0]
CÔNG TY CỔ PHẦN KHOA HỌC
VÀ CÔNG NGHỆ GIÁO DỤC EDTECH-VN
Địa chỉ:

Phòng 1093 –Toà nhà Thành Công–25 Láng Hạ-Hà Nội

Điện thoại:

(84-4)3 5145566

Fax:

(04)3 5148715

E-mail:



Website:

www.edtech.com.vn

Hà Nội 2008

EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

Giới thiệu
-

VITESTA là một chương trình hỗ trợ phương pháp trắc nghiệm được phát triển bởi Công
ty CP EDTECH-VN. Đây là một chương trình phân tích đánh gía câu hỏi, soạn đề thi,
chấm thi trắc nghiệm… được xây dựng dựa trên Lý thuyết Ứng đáp Câu hỏi (Item
Response Theory - IRT) hiện đại.

-

VITESTA áp dụng giải thuật tối ưu để ước lượng các tham số câu hỏi và năng lực của thí
sinh. So với một số phần mềm đã được sử dụng ở Việt Nam như QUEST hay BILOGMG3, VITESTA cho phép ước lượng kết quả đạt độ chính xác tương đương nhưng thực
hiện nhanh chóng hơn, dễ sử dụng và cung cấp nhiều tiện ích hơn.

-

VITESTA cung cấp nhiều báo cáo dưới dạng văn bản và đồ thị giúp cho người sử dụng có
thể hình dung trực quan về câu hỏi, đề trắc nghiệm, năng lực của thí sinh và quan hệ giữa
các yếu tố đó.

Đối tượng phục vụ
-

Các trường học;

-

Các trung tâm đào tạo, bồi dưỡng;


-

Các sở, phòng giáo dục địa phương;

-

Các chuyên gia trắc nghiệm và giáo viên.

Các ứng dụng chính
-

Tính các tham số đặc trưng và đánh giá chất lượng của câu hỏi, đề trắc nghiệm;

-

Ước lượng năng lực của thí sinh;

-

Xây dựng ngân hàng câu hỏi trắc nghiệm;

-

Thiết kế đề trắc nghiệm.

-

Biến điểm trắc nghiệm thô thành điểm thực theo các thang điểm tùy chọn.


Các tính năng cơ bản của phần mềm
a. Định cỡ đề trắc nghiệm theo các mô hình IRT với 1, 2 và 3 tham số
Bằng một thuật toán ước lượng có hiệu quả cao, từ số liệu ứng đáp của một mẫu thí sinh đối với
một đề trắc nghiệm, phần mềm cho phép ước lượng nhanh chóng các tham số a,b,c của câu hỏi và

2


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
năng lực θ của thí sinh theo lý thuyết IRT. Người sử dụng có thể tùy ý lựa chọn mô hình 1,2 hoặc 3
tham số, và thu được mau lẹ kết quả tương ứng với từng mô hình. Ngoài ra phần mềm còn tính
toán các hàm thông tin, và cung cấp tường minh các đồ thị của đượng cong đặc trưng và hàm
thông tin của từng câu hỏi.

Đường cong đặc trưng câu hỏi và hàm thông tin

Ma trận đường cong đặc trưng câu hỏi của đề trắc nghiệm
b. Cung cấp các số liệu thống kê theo lý thuyết trắc nghiệm cổ điển
Trong quá trình ước lượng tham số câu hỏi theo IRT, phần mềm cũng tính các tham số độ khó, độ
phân biệt theo lý thuyết trắc nghiệm cổ điển, và cung cấp dưới dạng bảng đối với từng câu hỏi của
đề trắc nghiệm để người sử dụng có thể đánh giá trực quan đặc điểm và chất lượng của từng câu

3


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
hỏi. Phần mềm cũng tự động chỉ ra các câu hỏi có độ phân biệt âm, có độ khó quá cao và quá thấp.
Các thông tin này là rất cần thiết để lựa chọn các câu hỏi thích hợp nhằm thiết kế các đề trắc
nghiệm có chất lượng cao.
c. Cung cấp các tham số tổng hợp của đề trắc nghiệm

Hàm thông tin của đề trắc nghiệm và đường cong đặc trưng đề trắc nghiệm (đường cong điểm
thực) là hai đại lượng tổng hợp quan trọng để đánh giá một đề trắc nghiệm. Phần mềm tính toán và
cung cấp tường minh các đồ thị biểu diễn các đại lượng đó. Đây là hỗ trợ rất quan trọng cho việc
đánh giá và thiết kế các đề trắc nghiệm.

Hàm thông tin của đề trắc nghiệm

4


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
Đường cong điểm thực của đề trắc nghiệm
d. Cung cấp thông tin về tương quan giữa đề trắc nghiệm và mẫu thí sinh
Phần mềm cung cấp biểu đồ so sánh phân bố năng lực của thí sinh trong mẫu thí sinh với phân bố
độ khó trong đề trắc nghiệm. Đây là công cụ cung cấp một cảm nhận trực quan về độ khó của đề
trắc nghiệm so với mẫu thí sinh cũng như phân bố năng lực của các thí sinh trong mẫu.

Tương quan giữa đề trắc nghiệm và mẫu thí sinh
e. Cung cấp thông tin về bài làm của từng thí sinh
Để từng thí sinh biết rõ bản thân đã làm các câu hỏi trong đề trắc nghiệm như thế nào phần mềm
cung cấp cho từng thí sinh sơ đố bài làm của thí sinh. Sơ đồ cho biết thí sinh đã làm đúng/sai các
câu trắc nghiệm khó/dễ nào của đề trắc nghiệm.

5


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

Sơ đồ bài làm của thí sinh
f. Biến đổi điểm thô thành điểm thực theo thang điểm tùy chọn

Theo lý thuyết trắc nghiệm điểm thô (tính theo số câu đúng/sai trong đề trắc nghiệm) chưa phải là
kết quả đo lường năng lực của thí sinh, vì điểm được quy định ban đầu cho từng câu trắc nghiệm là
tương đối tùy tiện. Cách biển đổ điểm thô hợp lý nhất là dựa phép chuyển đổi từ giá trị năng lực
của thí sinh ước lượng được thành điểm thực tính theo một thang điểm tùy chọn (trên 10, trên 20,
trên 100 v..v.)

Ví dụ về bảng chuyển đổi điểm thô sang điểm thực
g. So bằng các đề trắc nghiệm

6


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
Khi dùng các đề trắcnghiệm khác nhau để đo lường năng lực của thí sinh, muốn biểu diễncác kết
quả trên cùng một thang năng lực phải so bằng (equating) các đề trắc nghiệm. Phần mềm có tính
năng giúp thực hiện việc so bằng đó, chẳng hạn cố định các thuộc tính của một số câu hỏi được
"neo" từ hai đề trắc nghiệm trong quá trình ước lượng.

7


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
HƯỚNG DẪN CÀI ĐẶT VITESTA 1.0
1. Yêu cầu hệ thống
-

Hệ điều hành: Hỗ trợ trên tất cả các dòng sản phẩm Windows của Microsoft.

-


Bộ nhớ Harddisk: Tối thiểu 3MB còn trống

-

Bộ nhớ RAM: Tối thiểu 128MB.

-

Môi trường phát triển: DOT.NET Framework 2.0 (cung cấp cùng trong thu mực Support)

2. Quy trình cài đặt
-

Chạy file VITESTA.msi hoặc file Setup.Exe trong thư mục cài đặt VITESTA.

-

Chọn Next

-

Lựa chọn thư mục cài đặt và người sử dụng, sau đấy chọn Next

8


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-


Chấp nhận cài đặt (Next)

-

Nhập tên sử dụng và tên tổ chức, sau đó chọn “Sinh mã yêu cầu” để lấy mã yêu cầu.

9


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Để tiếp tục cài đặt, hãy gửi Mã yêu cầu bạn thu được về công ty EDTECH-VN, chúng tôi
sẽ cung cấp cho bạn mã đăng ký của phần mềm. Bạn cũng có thể sử dụng thử phần mềm
này nhưng số lần sử dụng sẽ bị giới hạn là chỉ trong 20 lần.

-

Nhận mã đăng ký và điền vào “Mã đăng ký”

10


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Hoàn thành cài đặt VITESTA


-

Để chạy VITESTA, bạn có thể tìm Short cut VITESTA trên Desktop hoặc chỉ mục
EDTECH – VITESTA từ Start -> Programs.

11


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
-

Sau khi cài đặt, bạn có thể sử dụng một số tệp dữ liệu mẫu trong thư mục Sample từ đĩa cài
đặt hoặc trong thư mục [windows driver]\ Program Files\EDTECH\ VITESTA\
Example

12


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
HƯỚNG DẪN SỬ DỤNG VITESTA 1.0
1. Tạo mới tệp điều khiển
-

Để quản lý dữ liệu bài làm và tệp key của câu hỏi, chương trình sử dụng tệp điều khiển để
lưu các thông tin cần thiết.

-

Để tạo mới tệp điều khiển, chọn một trong 2 chức năng sau:


-

Chương trình sẽ yêu cầu nhập các thông tin về tệp đáp án và tệp dữ liệu

-

Lựa chọn các tệp dữ liệu cần thiết, trong đó:

13


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
o Ví trí câu hỏi: Quy định vị trí bắt đầu của bài làm trong tệp kết quả, cũng là vị trí
bắt đầu của đáp án đầu tiên, ví dụ một dòng trong tệp kết quả như sau:

o Tệp đáp án (key) có một dòng ghi các đáp án đúng, trong đó vị trí bắt đầu đáp án
tương đương với vị trí của câu trả lời đầu tiên trong tệp dữ liệu. Dấu cách (“ “) thay
thế cho trả lời rỗng hoặc sai định dạng.
o Số đáp án: Quy định số đáp án của các câu hỏi. Các câu hỏi phải có cùng số đáp
án.
o Mô hình ước lượng: Loại mô hình (1,2, hay 3 tham số) sẽ được sử dụng được ước
lượng
o Tệp kết quả:

14


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

Quy định các tệp kết quả xuất ra từ chương trình. Nếu được lựa chọn, các tệp này sẽ

được tự động sinh ra sau khi quá trình định cỡ hoàn thành.
-

Sau khi lựa chọn các tệp, dữ liệu sẽ được điền vào các vùng textbox để tiện kiểm tra. Dữ
liệu được xử lý sau cùng chính là dữ liệu trên các vùng Textbox này.

2. Mở tệp điều khiển có sẵn
-

Chọn 1 trong 2 chức năng:

-

Tệp dữ liệu lưu các thông tin cơ bản của đề thi, gồm:
o Đường dẫn tệp dữ liệu và tệp key
o Vị trí bắt đầu câu trả lời (cũng là vị trí bắt đầu đáp án đúng)
o Số lượng đáp án trong mỗi câu hỏi.
o Loại mô hình được áp dụng
o Đường dẫn các tệp kết quả nếu có.

-

Tệp điều khiển có phần mở rộng là .ctl.

15


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
-


Sau khi lựa chọn tệp điều khiển, các thông tin về đề thi sẽ được điền vào vùng dữ liệu
tương ứng:

-

Tệp điều khiển có thể được lưu lại để có thể đánh giá lần sau

hoặc được lại lưu với

tên khác.
3. Định cỡ đề thi theo 3 mô hình
-

Chương trình hỗ trợ định cỡ đề thi theo 3 mô hình, mô hình Rasch 1 tham số, mô hình 2 và
3 tham số. Thông tin chi tiết về các mô hình tìm hiểu trong các tài liệu đính kèm.

-

Lựa chọn chức năng định cỡ thông qua 1 trong 2 cách:

16


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Mô hình ước lượng được áp dụng là mô hình đã được chọn từ trước.

4. Các loại báo cáo

4.1. Báo cáo tổng quan về đề thi:
Chọn chức năng:

để xem báo cáo tổng quan về đề thi và thông số về phép định cỡ

Ngoài các thông tin về đề thi và phép ước lượng, báo cáo này còn cung cấp đánh giá ban đầu
về các độ tin cậy của phép ước lượng thông qua các chỉ số trùng khớp trong (và ngoài) của câu
hỏi
4.2. Báo cáo thống kê theo phương pháp cổ điển
Chọn chức năng:

17


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

Mô hình trắc nghiệm cổ điển mặc dù đánh giá không chính xác về năng lực thí sinh và câu hỏi
(do không thoả mãn tính sample free và item free), tuy nhiên một số giá trị thống kê của mô
hình này vẫn còn được sử dụng và thực sự cần thiết cho quá trình đánh giá câu hỏi cũng như
thí sinh.

-

Độ phân biết: là tương quan giữa điểm trả lời đúng của thí sinh đối với câu hỏi so với tổng
điểm thô của thí sinh. Những câu hỏi có độ phân biệt âm là những câu hỏi có chất lượng
kém (những thí sinh giỏi không làm được nhưng những thí sinh kém lại làm được nhiều
hơn).

-


Tương quan điểm nhị phân của từng phương án: là tương quan giữa việc chọn phương án
của từng thí sinh so với tổng điểm thô của thí sinh. Phương án có độ tương quan điểm nhị
phân cao nhất (thường lớn hơn 0) là phương án có khả năng là đáp đúng cao nhất. Nếu điều
này không xảy ra, có khả năng câu hỏi có sự nhầm lần về đáp án.

-

Giá trị p: Đánh giá độ chính xác hay ý nghĩa (signifficance) của đáp án. Thông thường đối
với dữ liệu tốt p<0.05.
18


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
4.3. Năng lực thí sinh theo IRT
Chọn chức năng:

Giá trị SE (sai số chuẩn) cho phép đánh giá độ chính xác của phép đo đối với thí sinh.
-

Dóng năng lực thí sinh lên đường cong điểm thực của đề thi, chúng ta thu được điểm thực
của thí sinh. Điểm thực này qua phép quy đổi (điểm quy đối tối đa có thể được đặt tuỳ
thích) sẽ được gọi là điểm quy đổi.

-

Trong lý thuyết IRT, điểm quy đổi (ý nghĩa tương đương điểm thực) mới có giá trị đánh
giá. Điểm thô của thí sinh chỉ có ý nghĩa tham khảo.

4.4. Tham số câu hỏi theo IRT
Chọn chức năng:


Tuỳ theo mô hình ước lượng, câu hỏi sẽ có những tham số nhất định

Giá trị MSE cho phép đánh giá độ chính xác của phép đo đối với câu hỏi hiện tại.
5. Các loại đồ thị

19


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
5.1. Phân bố độ khó và năng lực thí sinh
-

Chọn chức năng:
hoặc thông qua biểu tượng

-

Đồ thị phân bố độ khó và năng lực thí sinh cho phép đánh giá ban đầu về mức độ phù hợp
của đề thi so với thí sinh được đo. Năng lực thí sinh và độ khó câu hỏi được đặt trên cùng
thang đo, trong đó đơn vị là 1.

-

Nếu độ khó trung bình quá cao, thì có thể xem là đề thi khó, và ngược lại.

20


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Chỉ số trên mỗi cột màu xanh là Số thứ tự câu hỏi trong đề thi

-

Chỉ số trên mỗi cột màu đỏ là số lượng thí sinh.

-

Vị trí của mỗi cột màu xanh trên trục hoành là độ khó câu hỏi.

-

Vị trí của mỗi cột màu đỏ trên trục hoành là năng lực thí sinh.

5.2. Đường cong điểm thực
-

Chọn chức năng:

hoặc thông qua biểu tượng
-

Đường cong điểm thực cho biết điểm thực phỏng đoán của một thí sinh sẽ nhận được với
một mức năng lực cụ thể biết trước khi làm đề thi này.

-

Chỉ số trên trục tung là điểm thực, giá trị tối đa bằng tổng điểm thô, chính bằng số câu hỏi

trong trường hợp các câu hỏi đều có điểm thô là 1.

5.3. Đường cong hàm thông tin đề thi

21


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam
- Chọn chức năng:

hoặc thông qua biểu tượng
- Đường cong hàm thông tin đề thi cho biết giá trị mức năng lực mà đề thi đánh giá chính xác
nhất, và mức độ chính xác so với các đề thi khác.

-

Tỉ lệ nghịch với đường cong hàm thông tin là đường cong sai số chuẩn.

5.4. Tập hợp đường cong điểm thực, đường cong hàm thông tin

-

Chọn chức năng

hay

-

Tập hợp đồ thị đường cong điểm thực, đường cong hàm thông tin các câu hỏi cho biết khá
chi tiết về đặc trưng mỗi câu hỏi. Hàm thông tin:


22


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Đường cong đặc trưng:

23


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

-

Click vào mỗi hình để xem chi tiết hơn:

5.5. Đồ thị phân bố điểm
-

Chọn chức năng:

24


EDTECH-VN JSC– R1903, Thanh Cong Tower, 25th LangHa Street, HaNoi, VietNam

hoặc thông qua biểu tượng

-

Đồ thị phân bố điểm vẽ lại các điểm dữ liệu từ thực tế trên cơ sở các thí sinh và câu hỏi đã
được đánh giá. Mỗi điểm màu xanh là một nhóm các thí sinh có cũng điểm thô và cùng
mức năng lực thu được từ quá trình ước lượng:

-

Quan sát từ đồ thị này có thể thấy được độ phân tán của mẫu dữ liệu. Mẫu tốt sẽ cho độ
trùng khớp nhỏ và ít điểm phân tán.

-

Click chuột phải đề phóng to đồ thị, click chuột trái đề thu nhỏ. Di chuyển đồ thị để quan
sát tốt hơn:

5.6. Kidmaps (Thống kê bài làm thí sinh)
-

Chọn chức năng:

25