BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH

PHẠM VĂN HỮU THIỆN

ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH
QUA SÓNG NÃO

Chuyên ngành: KỸ THUẬT ĐIỆN TỬ
Mã chuyên ngành: 8520203

LUẬN VĂN THẠC SĨ

THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021


Cơng trình được hồn thành tại Trường Đại học Cơng nghiệp TP. Hồ Chí Minh.
Người hướng dẫn khoa học: TS. Nguyễn Ngọc Sơn
Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường
Đại học Cơng nghiệp thành phố Hồ Chí Minh ngày

tháng

năm 2021

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. ...................................................................... - Chủ tịch Hội đồng
2. ...................................................................... - Phản biện 1
3. ...................................................................... - Phản biện 2
4. ...................................................................... - Ủy viên
5. ...................................................................... - Thư ký

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

CHỦ TỊCH HỘI ĐỒNG

KHOA CÔNG NGHỆ ĐIỆN TỬ
TRƯỞNG KHOA


BỘ CƠNG THƯƠNG
TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP
THÀNH PHỐ HỒ CHÍ MINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: PHẠM VĂN HỮU THIỆN

MSHV: 18104691

Ngày, tháng, năm sinh: 08/10/1980

Nơi sinh: Vĩnh Long

Chuyên ngành: Kỹ Thuật Điện Tử

Mã chuyên ngành: 8520203

I. TÊN ĐỀ TÀI:

ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH QUA SĨNG NÃO
NHIỆM VỤ VÀ NỘI DUNG:
Thu thập và trích x́t các đặc trưng của tín hiệu sóng não EEG từ cảm biến Mind
Wave Mobile 2 trong miền thời gian và miền tần số.
Phân loại 5 tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải,
Dừng” dùng mạng nơ rôn nhân tạo.
Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG.
II. NGÀY GIAO NHIỆM VỤ: Thực hiện quyết số 841/QĐ-ĐHCN ngày
10/07/2020 của Trường Đại Học Công Nghiệp Thành Phố Hồ Chí Minh về việc
giao đề tài và cử người hướng dẫn luận văn thạc sĩ.
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 20/01/2021
IV. NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Nguyễn Ngọc Sơn
Tp. Hồ Chí Minh, ngày … tháng 01 năm 2021
NGƯỜI HƯỚNG DẪN

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

KHOA CÔNG NGHỆ ĐIỆN TỬ
TRƯỞNG KHOA


LỜI CẢM ƠN
Trước tiên, tôi xin gửi lời cảm ơn chân thành đến thầy TS. Nguyễn Ngọc Sơn –
Phó trưởng khoa Công nghệ Điện tử Trường Đại học Công Nghiệp Thành phố Hồ
Chí Minh đã hướng dẫn, định hướng tơi nghiên cứu trong suốt thời gian thực hiện
luận văn. Những hướng dẫn tận tình, tác phong làm việc nghiêm túc và những trao
đổi sâu sắc về những vấn đề trong luận văn của thầy đã giúp tôi nhiều trong nghiên
cứu và định hướng nghiên cứu. Những điều học được từ thầy là cơ sở quan trọng
trong bước đường học tập, làm việc của tôi tiếp theo.
Xin cảm ơn Ban Giám hiệu, các thầy cô khoa Công Nghệ Điện Tử Trường Đại Học

Cơng Nghiệp Thành phố Hồ Chí Minh đã tạo mọi điều kiện thuận lợi cho tơi trong
q trình học tập.
Xin chân thành cảm ơn ông bà, cha mẹ đã luôn động viên ủng hộ vật chất lẫn tinh
thần trong suốt thời gian qua. Xin cảm ơn sự quan tâm giúp đỡ và ủng hộ của các
anh chị, bạn bè, đồng nghiệp trong quá trình thực hiện luận văn.

i


TÓM TẮT LUẬN VĂN THẠC SĨ
Hiện nay, người cao tuổi, người khuyết tật và bệnh nhân đột quỵ trong cộng đồng
chiếm tỉ lệ cao. Để giúp họ cải thiện được chất lượng trong c̣c sống, thì khơng thể
thiếu mợt xe lăn điện thơng minh điều khiển qua sóng não. Trong đề tài này, trước
tiên, tác giả trình bày cách ghi và xử lý tín hiệu sóng não EEG thơ từ cảm biến điện
não đồ MindWave Mobile2. Sau đó, thực hiện phân tích trích xuất các đặc trưng
của 5 tín hiệu EEG mô tả các trạng thái (tới, lùi, rẽ trái, rẽ phải, dừng) trong miền
thời gian dựa vào các mẫu tín hiệu EEG ghi được và phân tích phổ tín hiệu là biến
đổi Fourier nhanh FFT (Fast Fourier Transform) và biến đổi Fourier nhanh ngược
IFFT (Inverse Fast Furier Transform). Các tín hiệu đặc trưng này được đưa vào
mạng thần kinh nhân tạo để học và phân loại thành 5 tín hiêu điều khiển xe lăn
chuyển động (tới, lùi, rẽ trái, rẽ phải, dừng). Cuối cùng, mơ hình thực nghiệm xe lăn
điện được thiết kế để kiểm chứng việc điều khiển xe lăn qua sóng não. Kết quả
kiểm chứng cho thấy, tỉ lệ điều khiển xe lăn qua sóng não di chuyển trung bình đạt
trên 80%. Trong tương lai, xe lăn điện sẽ tiếp tục khả năng điều khiển chính xác qua
sóng não và cũng sẽ thiết kế bổ sung thêm các tính năng khác như tránh vật cản,
định vị, đo các thông số sức khỏe,… để xe lăn ngày càng thông minh và thân thiện
hơn với người sử dụng.

ii



ABSTRACT

Currently, the elderly, people with disabilities and stroke patients in the community
account for a high proportion. To help them improve their quality of life, it is
indispensable to have an intelligent electric wheelchair controlled through brain
waves. In this paper, we first present how to record and process raw EEG signals
from the MindWave Mobile2 EEG sensor. Then, perform analysis to extract 5
characteristic signals describing states (forward, backward, left turn, right turn,
stop) in time domain based on recorded EEG signal samples and analysis of signal
spectrum. The difference is the Fast Fourier FFT (Fast Fourier Transform) and the
Inverse Fast Furier Transform (IFFT). These characteristic signals are fed into the
artificial neural network for learning and classified into 5 signals that control the
wheelchair movement (forward, reverse, left turn, right turn, stop). Finally, the
electric wheelchair experimental model is designed to test wheelchair control over
brain waves. The test results show that the average rate of controlling the
wheelchair through the moving brain waves is over 80%. In the future, electric
wheelchairs will continue to have precise control over brain waves, and will also
design to add other features such as obstacle avoidance, positioning, measuring
health parameters ... for wheelchairs. more and more intelligent and user friendly.

iii


LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của bản thân tôi. Các kết quả nghiên
cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một
nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được
thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.
Học viên


Phạm Văn Hữu Thiện

iv


MỤC LỤC
LỜI CẢM ƠN .......................................................................................................... i
TÓM TẮT LUẬN VĂN THẠC SĨ .......................................................................... ii
ABSTRACT ...........................................................................................................iii
LỜI CAM ĐOAN ................................................................................................... iv
DANH MỤC HÌNH ẢNH ...................................................................................... ix
DANH MỤC BẢNG BIỂU .................................................................................... xi
DANH MỤC TỪ VIẾT TẮT ................................................................................ xii
MỞ ĐẦU ................................................................................................................ 1
1. Đặt vấn đề ........................................................................................................... 1
2. Mục tiêu nghiên cứu ............................................................................................ 1
3. Đối tượng và phạm vi nghiên cứu ........................................................................ 2
4. Cách tiếp cận và phương pháp nghiên cứu ........................................................... 2
5. Ý nghĩa thực tiễn của đề tài ................................................................................. 3
CHƯƠNG 1

TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU ............................ 4

1.1

Giới thiệu ................................................................................................... 4

1.2


Các nghiên cứu trong và ngoài nước ........................................................... 5

1.2.1

Khái niệm về Brain Computer Interface (BCI) ..................................... 6

1.2.2

Các hệ thống BCI đã và đang được phát triển và triển vọng ................ 6

1.3

Nội dung nghiên cứu .................................................................................. 8

CHƯƠNG 2
2.1

CƠ SỞ LÝ THUYẾT .................................................................... 9

Điện não đồ EEG ....................................................................................... 9

2.1.1

Cơ chế điện sinh lý của điện não đồ EEG............................................. 9

2.1.2

Hoạt động điện ở màng tế bào thần kinh ............................................ 10

2.1.3


Tế bào thần kinh và lan truyền kích thích ........................................... 11

2.1.4

Hoạt đợng điện trên da đầu ................................................................ 13

2.1.5

Các đặc trưng và dạng sóng cơ bản của EEG ..................................... 14

2.2

Các vị trí điện cực .................................................................................... 16

v


2.3

Trích xuất đặc trưng ................................................................................. 17

2.3.1

Các phương pháp trích xuất đặc trưng ................................................ 18

2.3.2

Biến đổi Fast Fourier Transform (FFT) và Inverse Fast Fourier
Transform (IFFT) [23] ....................................................................... 21


2.3.3

Đặc trưng EEG trong miền thời gian và miền tần số .......................... 28

2.4

Mạng thần kinh nhân tạo .......................................................................... 29

2.4.1

Mạng thần kinh nhân tạo ANN (Artificial Neural Network) ............... 29

2.4.2

Mơ hình nơ rơn .................................................................................. 29

2.4.3

Kiến trúc mạng .................................................................................. 31

2.4.4

Huấn luyện mạng nơ rôn .................................................................... 35

2.4.5

Luật học mạng nơ rôn ........................................................................ 36

2.4.6


Mạng Perceptron nhiều lớp ................................................................ 39

2.5

Cảm biến đo tín hiệu EEG ........................................................................ 44

2.5.1

Các giá trị dữ liệu .............................................................................. 45

2.5.2

Cấu trúc gói dữ liệu ........................................................................... 45

2.5.3

Phân tích gói dữ liệu .......................................................................... 47

2.5.4

Phân tích data row ............................................................................. 48

CHƯƠNG 3
3.1

PHÂN LOẠI TÍN HIỆU SĨNG NÃO EEG DÙNG MẠNG NƠ
RƠN MLP ................................................................................... 49

Xác định tín hiệu điều khiển xe lăn điện ................................................... 49


3.1.1

Thu thập dữ liệu ................................................................................. 49

3.1.2

Xử lý dữ liệu ...................................................................................... 50

3.1.3

Trích xuất đặc trưng ........................................................................... 51

3.1.4

Kết quả thực nghiệm .......................................................................... 52

3.2

Phân loại tín hiệu EEG dùng mạng nơ rôn ................................................ 60

3.2.1

Cấu trúc mạng nơ rôn ........................................................................ 61

3.2.2

Tập dữ liệu huấn luyện ...................................................................... 63

3.2.3


Thuật toán huấn luyện mạng .............................................................. 68

3.2.4

Kết quả phân loại EEG ...................................................................... 69

3.3

Kết luận .................................................................................................... 76

CHƯƠNG 4

ĐIỀU KHIỂN XE LĂN ĐIỆN DÙNG TÍN HIỆU EEG .............. 77

vi


4.1

Lắp ráp xe lăn điện ................................................................................... 77

4.1.1

Board điều khiển Arduino nano (H4_hình 4.1) .................................. 78

4.1.2

Mơ đun thu phát RF Zigbee UART CC2530 (H8_hình 4.1) ............... 79


4.1.3

Motor DC và Board điều khiển cầu H Mosfet ................................... 80

4.1.4

Cảm biến siêu âm HC-SR04 .............................................................. 82

4.1.5

Bo nguồn giảm áp LM2596 ............................................................... 82

4.1.6

Bo chuyển đổi USB-TTL ................................................................... 83

4.1.7

Bình accqui ........................................................................................ 83

4.2

Kiến trúc điều khiển hệ thống ................................................................... 84

4.2.1

Neurosky Headset .............................................................................. 84

4.2.2


Computer System .............................................................................. 84

4.2.3

RF Zigbee .......................................................................................... 84

4.2.4

Arduino Nano .................................................................................... 85

4.2.5

DC Motor Driver ............................................................................... 85

4.2.6

DC Motor .......................................................................................... 85

4.2.7

Wheelchair ........................................................................................ 85

4.3

Lưu đồ giải thuật điều khiển xe lăn điện ................................................... 86

4.3.1

Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến ................................. 86


4.3.2

Lưu đồ giải thuật xử lý đặc trưng ....................................................... 87

4.3.3

Lưu đồ giải thuật Arduino Nano điều khiển xe lăn điện ..................... 88

4.4

Kết quả điều khiển xe lăn điện thực tế ...................................................... 90

4.4.1

Xử lý tín hiệu EEG ............................................................................ 90

4.4.2

Điều khiển xe lăn điện ....................................................................... 91

4.4.3

Kết quả điều khiển xe lăn điện ........................................................... 92

4.5

Kết luận .................................................................................................... 98

KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................... 99
1.


Kết quả đạt được ........................................................................................ 99

2.

Hướng phát triển đề tài ............................................................................ 100

DANH MỤC CƠNG TRÌNH ĐÃ CÔNG BỐ CỦA HỌC VIÊN ......................... 101
TÀI LIỆU THAM KHẢO ................................................................................... 102

vii


PHỤ LỤC............................................................................................................ 107
1. Chi tiết đặc tính kỹ thuật các thiết bị ............................................................... 107
1.1 Bo điều khiển Arduino nano ...................................................................... 107
1.2 Module thu phát RF Zigbee UART CC2530 .............................................. 114
1.3 Motor DC và Board điều khiển cầu H Mosfet ........................................... 117
1.4 Cảm biến siêu âm HC-SR04 ....................................................................... 122
1.5 Board nguồn giảm áp LM2596 .................................................................. 123
2. Chương trình Matlab thu thập tín hiệu EEG, trích xuất đặc trưng và phân loại tín
hiệu điều khiển .............................................................................................. 124
3. Chương trình vi điều khiển Arduino nano điều khiển xe lăn điện .................... 128
4. Đặc trưng tín hiệu EEG .................................................................................. 136
4.1 Bảng 250 mẫu huấn luyện nơ rôn ............................................................... 136
4.2 Bảng 50 mẫu test nơ rơn ............................................................................ 143
LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN ..................................................... 145

viii



DANH MỤC HÌNH ẢNH
Hình 1.1 Ngun lý P300 [14] ................................................................................. 7
Hình 1.2 Mind cursor [17] ....................................................................................... 8
Hình 2.1 Các thùy trên vỏ não [32] ........................................................................ 10
Hình 2.2 Các giai đoạn đáp ứng kích thích của tế bào thần kinh [33] .................... 11
Hình 2.3 Cấu trúc của mợt tế bào thần kinh [34] .................................................... 12
Hình 2.4 Kết nối giữa các tế bào thần kinh [35] ..................................................... 13
Hình 2.5 Các sóng cơ bản của EEG [36] ................................................................ 14
Hình 2.6 Sóng mu [37] .......................................................................................... 16
Hình 2.7 Các vị trí điện cực theo tiêu chuẩn 10-20 [38] ......................................... 17
Hình 2.8 Biến đổi Fourier hai dãy .......................................................................... 24
Hình 2.9 Sơ đồ phân chia thời gian của tín hiệu ..................................................... 25
Hình 2.10 Mơ hình nơ rơn nhân tạo ....................................................................... 30
Hình 2.11 Mạng nơ rơn mợt lớp với S nơ rơn ........................................................ 32
Hình 2.12 Mơ hình mạng ANN mợt lớp gồm S nơ rơn .......................................... 33
Hình 2.13 Mơ hình mạng ANN gồm 3 lớp ............................................................. 33
Hình 2.14 Mạng ANN 3 lớp dạng rút gọn .............................................................. 34
Hình 2.15 Mơ hình mạng có phản hồi .................................................................... 35
Hình 2.16 Mạng Multi Layer Perceptron 3 lớp ...................................................... 40
Hình 2.17 Cảm biến MindWave Mobile 2 [39] ...................................................... 44
Hình 3.1 Sơ đồ khối q trình xác định tín hiệu ..................................................... 49
Hình 3.2 Tín hiệu cử chỉ hành đợng “mở mắt”, ...................................................... 54
Hình 3.3 Tín hiệu “mở mắt” và “nhắm mắt” miền tần số 9-11hz ........................... 55
Hình 3.4 Tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” miền tần số 1-7hz .............. 56
Hình 3.5 Tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” miền thời gian ................... 56
Hình 3.6 Tín hiệu “mở mắt” và “chớp mắt >1 lần/giây” miền tần số 1-7hz ............ 57
Hình 3.7 Tín hiệu “mở mắt” và “chớp mắt >1 lần/giây” miền thời gian ................. 58
Hình 3.8 Tín hiệu “mở mắt” và “nhìn lên” miền thời gian ..................................... 59
Hình 3.9 Sơ đồ cấu trúc mạng nơ rơn đề x́t ........................................................ 62

Hình 3.10 Lưu đồ thuật tốn h́n luyện mạng ...................................................... 68
Hình 3.11 Mơ hình mạng MLP sử dụng trong hệ thống ......................................... 69
Hình 3.12 Mơ hình phân loại 4 nơ rơn trong lớp ẩn ............................................... 70
Hình 3.13 Kết quả phân loại 4 nơ rơn trong lớp ẩn ................................................ 70
Hình 3.14 Mơ hình phân loại 6 nơ rơn trong lớp ẩn ............................................... 72
Hình 3.15 Kết quả phân loại 6 nơ rơn trong lớp ẩn ................................................ 72
Hình 3.16 Kết quả phân loại 6 nơ rôn trong lớp ẩn lần 2 ........................................ 74

ix


Hình 4.1 Xe lăn điện tái sử dụng từ xe lăn thường ................................................. 77
Hình 4.2 board điều khiển Arduino Nano .............................................................. 78
Hình 4.3 Module thu phát RF Zigbee UART CC2530 ........................................... 79
Hình 4.4 Motor xe lăn điện .................................................................................... 80
Hình 4.5 Mạch điều khiển kép hai cầu H Mosfet ................................................... 81
Hình 4.6 Cảm biến siêu âm HC-SR04 ................................................................... 82
Hình 4.7 Board giảm áp DC LM2596 .................................................................... 82
Hình 4.8 Board chuyển đổi USB-TTL ................................................................... 83
Hình 4.9 Kiến trúc điều khiển hệ thống ................................................................. 84
Hình 4.10 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến .................................... 86
Hình 4.11 Lưu đồ giải thuật xử lý đặc trưng .......................................................... 87
Hình 4.12 Lưu đồ giải thuật Arduino điều khiển xe lăn điện .................................. 88
Hình 4.13 Người điều khiển xe lăn điện thứ 1 ....................................................... 93
Hình 4.14 Người điều khiển xe lăn điện thứ 2 ....................................................... 94
Hình 4.15 Người điều khiển xe lăn điện thứ 3 ....................................................... 95
Hình 4.16 Người điều khiển xe lăn điện thứ 4 ....................................................... 96
Hình 4.17 Người điều khiển xe lăn điện thứ 5 ....................................................... 97

x



DANH MỤC BẢNG BIỂU
Bảng 1.1 Kết quả phân tích dữ liệu từ tín hiệu EEG ................................................. 5
Bảng 1.2 Dữ liệu kết quả từ 5 người tham gia .......................................................... 6
Bảng 2.1 Bảng định nghĩa Single Byte code .......................................................... 47
Bảng 2.2 Multi Byte Code ..................................................................................... 47
Bảng 3.1 Danh sách 5 người tham gia lấy mẫu ...................................................... 52
Bảng 3.2 So sánh đặc trưng của tín hiệu “mở mắt” và “nhắm mắt” ........................ 55
Bảng 3.3 So sánh đặc trưng của tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” ........ 57
Bảng 3.4 So sánh đặc trưng của tín hiệu “mở mắt”, ............................................... 58
Bảng 3.5 So sánh đặc trưng của tín hiệu “mở mắt” và “nhìn lên” .......................... 59
Bảng 3.6 So sánh 9 đặc trưng của 5 tín hiệu cử chỉ hành đợng “mở mắt”, “nhắm
mắt”, “chớp mắt 1 lần/giây”, “chớp mắt >1 lần/giây” và “nhìn lên”. ....... 60
Bảng 3.7 Tập dữ liệu 50 mẫu “mở mắt” được thu thập từ 5 người tham gia ........... 64
Bảng 3.8 Tập dữ liệu 50 mẫu “nhắm mắt” được thu thập từ 5 người tham gia ....... 64
Bảng 3.9 Tập dữ liệu 50 mẫu “chớp mắt 1 lần/giây” .............................................. 65
Bảng 3.10 Tập dữ liệu 50 mẫu “chớp mắt >1 lần/giây”.......................................... 65
Bảng 3.11 Tập dữ liệu 50 mẫu “nhìn lên” được thu thập từ 5 người tham gia ........ 66
Bảng 3.12 Tập dữ liệu 50 mẫu “test” được thu thập từ 5 người tham gia ............... 67
Bảng 3.13 Kết quả phân loại 4 nơ rôn trong lớp ẩn ................................................ 70
Bảng 3.14 Kết quả phân loại 6 nơ rôn trong lớp ẩn ................................................ 73
Bảng 3.15 Kết quả phân loại 6 nơ rôn trong lớp ẩn lần 2 ....................................... 75
Bảng 4.1 Tín hiệu điều khiển xe lăn điện ............................................................... 89
Bảng 4.2 Thông tin 5 người tham gia điều khiển xe lăn điện ................................. 92
Bảng 4.3 Kết quả điều khiển .................................................................................. 93
Bảng 4.4 Kết quả điều khiển .................................................................................. 94
Bảng 4.5 Kết quả điều khiển .................................................................................. 95
Bảng 4.6 Kết quả điều khiển .................................................................................. 96
Bảng 4.7 Kết quả điều khiển .................................................................................. 97

Bảng 4.8 Dữ liệu kết quả từ 5 người tham gia ........................................................ 97

xi


DANH MỤC TỪ VIẾT TẮT
STT
1
2
3
4
5

Từ viết tắt
ANN
AI
BCI
BP
CFT

6
7
8
9

DFT
EEG
FFT
IDFT


10

IFFT

11

MLP

Thuật ngữ
Artificial Neural Network
Artificial Intelligence
Brain Computer Interface
Back Propagation
Continuously Fourier
Transform
Discrete Fourier Transform
Electroencephalogram
Fast Fourier Transform
Fast Continuous Fourier
Transform
Inverse Fast Fourier
Transform
Multi Layer Perceptron

xii

Ý nghĩa tiếng Việt
Mạng thần kinh nhân tạo
Trí tuệ nhân tạo
Giao diện não máy tính

Lan truyền ngược
Biến đổi Fourier liên tục
Biến đổi Fourier rời rạc
Điện não đồ
Biến đổi Fourier nhanh
Biến đổi Fourier liên tục
nhanh
Biến đổi Fourier nhanh
ngược
Perceptron nhiều lớp


MỞ ĐẦU
1. Đặt vấn đề
Ngày nay, do tỷ lệ người cao tuổi trong dân số ngày càng tăng, nhu cầu sử dụng xe
lăn đã tăng đáng kể không chỉ đối với người khuyết tật trong cợng đồng mà cịn đối
với người già và các bệnh khác như đột quỵ làm mất tác dụng của các dây thần kinh
hoặc các bộ phận của cơ thể, bệnh nhân chỉ có thể di chuyển một số khu vực nhất
định như (mắt, lưỡi và não).
Có nhiều phương pháp khác nhau có thể giúp cho người khuyết tật, bệnh nhân sau
đột quỵ; điện não đồ là phương pháp ghi lại hoạt động điện trong não thông qua da
đầu. Phương pháp này đã được sử dụng rộng rãi như một công cụ trong điều trị y tế.
Phương pháp sử dụng điện não đồ giúp người khuyết tật, bệnh nhân sau đột quỵ sử
dụng xe lăn mà họ có thể điều khiển di chuyển được bằng cử chỉ hoặc não bộ.
BCI (Brain Computer Interface) là một hệ thống giúp con người giao tiếp, kiểm
soát, điều khiển các thiết bị xung quanh bằng tín hiệu sóng não, vì vậy bằng cách sử
dụng BCI và thiết bị đọc sóng não EEG kết hợp với xe lăn điện có thể giúp những
người khuyết tật, bệnh nhân sau đột quỵ di chuyển theo suy nghĩ để giúp họ cải
thiện được chất lượng trong cuộc sống.
Như vậy cần thiết để làm xe lăn điện thơng minh có thể được sử dụng bởi nhiều

người từ các bệnh nhân khác nhau. Một trong những hệ thống vẫn đang được
nghiên cứu và được phát triển là việc sử dụng các tín hiệu xử lý điện não đồ (EEG)
của Brain Computer Interface (BCI) để điều khiển các thiết bị như: xe tự động, cánh
tay Robot, xe lăn điện,…
2. Mục tiêu nghiên cứu
Thu thập và trích xuất các đặc trưng của tín hiệu sóng não EEG từ cảm biến Mind
Wave Mobile 2 trong miền thời gian và miền tần số.

1


Phân loại 5 tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải,
Dừng” dùng mạng nơ rôn nhân tạo.
Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG.
3. Đối tượng và phạm vi nghiên cứu
 Đối tượng nghiên cứu:
Xe lăn điện được điều khiển bằng sóng não EEG.
 Phạm vi nghiên cứu:
Điện não đồ và các loại sóng não
Cảm biến đọc sóng não EEG
Biến đổi Fourier (FFT, IFFT)
Mạng thần kinh nhân tạo ANN
Vi điều khiển
Các phương pháp điều khiển xe lăn điện
4. Cách tiếp cận và phương pháp nghiên cứu
 Cách tiếp cận:
Sử dụng thiết bị Neurosky mindwave mobile 2 để thu thập 5 tín hiệu đặc trưng của
sóng não (Tới, lùi, trái, phải, dừng), dựa vào 5 cử chỉ hành động: (mở mắt, nhắm
mắt, chớp mắt 1 lần/giây, chớp mắt >1 lần/giây, nhìn lên).
Dùng phép biến đổi Fourier nhanh Fast Fourier Transform (FFT) và biến đổi ngược

IFFT trích xuất các đặc trưng của 5 cử chỉ hành động: (mở mắt, nhắm mắt, chớp
mắt 1 lần/giây, chớp mắt >1 lần/giây, nhìn lên).
Dùng mạng nơ rơn nhân tạo để h́n luyện, nhận dạng và phân loại 5 cử chỉ hành
động: (mở mắt, nhắm mắt, chớp mắt 1 lần/giây, chớp mắt >1 lần/giây, nhìn lên).

2


Lập trình vi điều khiển nhận tín hiệu từ laptop gửi đến qua RF Zigbee để điều khiển
xe lăn điện di chuyển (Tới, lùi, trái, phải, dừng).
 Phương pháp nghiên cứu:
Tra cứu các nghiên cứu liên quan về EEG.
Nghiên cứu lý thuyết.
Thực nghiệm.
5. Ý nghĩa thực tiễn của đề tài
 Ý nghĩa khoa học:
Phân tích và trích xuất đặc trưng tín hiệu trong suy nghĩ bằng sóng não thơ, dựa trên
thuật toán biến đổi Fourier nhanh (FFT) và Fourier nhanh ngược (IFFT). Đặc trưng
này rất phù hợp để làm đầu vào cho các mơ hình phân lớp học máy, nhất là trong
bài tốn phân loại tín hiệu điện não.
Phân loại tín hiệu sóng não sử dụng mạng thần kinh nhân tạo ANN (mạng truyền
thẳng MLP) để giải quyết các bài tốn liên quan đến tín hiệu điện não và hệ giao
diện não máy tính.
Phân tích, trích xuất đặc trưng và phân loại tín hiệu điện não là bước đầu nghiên
cứu tiếp cận với trí tuệ nhân tạo (AI).
 Ý nghĩa thực tiễn:
Nghiên cứu nhằm góp phần vào chế tạo xe lăn điện giá rẽ để hỗ trợ cho người già,
tàn tật, bệnh nhân đột quỵ.
Nghiên cứu là bước đầu để tiến tới điều khiển những hệ thống thông minh khác
như: Nhà thông điều khiển các thiết bị bằng suy nghĩ, xe không người láy, cảnh báo

tài xế láy xe ngủ gật,… và tiến xa hơn nữa là trí tuệ nhân tạo (AI).

3


CHƯƠNG 1
1.1

TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU

Giới thiệu

Não bộ là trung tâm của hệ thần kinh trung ương, chi phối mọi hoạt đợng của cơ
thể. Trong q trình hoạt động, não bộ tiêu thụ năng lượng lớn đồng thời cũng phát
sinh những tín hiệu đặc trưng, những tín hiệu này được gọi là EEG. Đây chính là cơ
sở khoa học cho các thiết bị ghi nhận tín hiệu sóng não hiện nay. Các thiết bị này sử
dụng các cặp điện cực được chế tạo từ các kim loại dẫn điện tốt như: bạc, vàng,…
để ghi nhận mức chênh lệch áp giữa các điện cực, chúng chủ yếu được sử dụng
trong lĩnh vực y tế để hỗ trợ việc chẩn đoán và điều trị cho các bệnh về thần kinh;
đặc điểm chung của chúng là rất đắt tiền (đặc biệt mợt số thiết bị trong phẫu thuật)
chính vì lý do này mà trước đây chúng chỉ phù hợp với các ứng dụng được trong
điều kiện kỹ thuật nghiêm ngặt như phịng thí nghiệm hay bệnh viện. Ngày nay với
những tiến bộ về khoa học kỹ thuật, nhiều thiết bị ghi nhận EEG được phát triển với
các ưu điểm như quá trình lắp đặt và vận hành đơn giản, được thiết kế với kích
thước nhỏ gọn, người dùng có thể dễ dàng mang đeo, chi phí thấp nên là lựa chọn
phù hợp cho các hệ thống BCI (brain computer interface). Các hệ thống này cho
phép người dùng tương tác với máy tính mợt cách trực tiếp mà khơng cần thơng qua
các ngoại vi như: cḥt hay bàn phím thay vào đó các tín hiệu điều khiển được phát
từ chính não bợ một cách dễ dàng. với sự hỗ trợ của các hệ thống BCI [1] con người
có thể điều khiển các thiết bị điện tử như là một phần của cơ thể, hướng phát triển

này dù còn nhiều hạn chế về công nghệ dẫn đến độ tin cậy của hệ thống không cao
nhưng lại mở ra hy vọng cải thiện chất lượng cuộc sống của những người khiếm
khuyết năng lực vận động trong tương lai gần [2-4]. Trong phạm vi đề tài tác giả
hướng đến mục tiêu tìm các đặc trưng tần số và biên đợ của tín hiệu EEG để thành
các lệnh điều khiển xe lăn điện, khác với các nghiên cứu trước đây là tập trung sử
dụng các cảm biến EEG đa kênh [5-7]; đề tài hướng đến việc sử dụng cảm biến đơn
kênh để tận dụng những ưu điểm như giá rẻ và dễ dàng sử dụng mà vẫn đảm bảo
cho kết quả tốt nhất.

4


Các nghiên cứu trong và ngoài nước

1.2

Các tác giả trong bài báo [8] đã đề cập nghiên cứu “Xe lăn điều khiển dựa trên não
giao diện máy tính sử dụng cảm biến Neurosky Mindwave Mobile 2”. Nội dung
trong nghiên cứu này tác giả sử dụng thiết bị Neurosky Mindwave Mobile 2 để đọc
tín hiệu sóng não EEG, tín hiệu EEG thu được từ cảm biến được gửi đến máy tính
cá nhân (Laptop) qua bluetooth, máy tính đưa tín hiệu nhận được vào phần mềm
Matlab để xử lý và phân loại thành 5 loại dữ liệu điều khiển (tới, lùi, phải, trái, mặc
định); sau đó máy tính gửi 5 loại dữ liệu điều khiển này đến vi điều khiển (Arduino)
bằng module Bluetooth; vi điều khiển nhận được 5 dữ liệu này và sẽ điều khiển cần
điều khiển trên xe lăn điện di chuyển. Trong nghiên cứu này, tác giả chủ yếu xử lý
tín hiệu Alpha cao (tập trung chú ý hoặc thiền định). Tín hiệu Alpha cao này đạt 4060% ở điều kiện bình thường và có thể đạt 100% bằng cách tập trung sự chú ý và
thiền định. Kết quả nghiên cứu trên như sau:
Bảng 1.1 Kết quả phân tích dữ liệu từ tín hiệu EEG
Phân loại tín hiệu


Chú ý

Thiền

Alpha cao

Tới

40 - 60

≥ 60

≥ 12000

Lùi

≥ 60

≤ 55

≥ 12000

Trái

40 - 70

≥ 60

16000 - 38000


Phải

≥ 60

≤ 55

16000 - 38000

Mặc định
Từ dữ liệu thu được trên, kết quả tương đối tốt cho việc di chuyển tới, lùi và mặc
định. Trong khi rẽ phải và rẽ trái tín hiệu EEG tương tự với di chuyển tới và lùi. Vì
vậy, tác giả trong bài báo này đã đề xuất thêm chuyển động mắt liên tục cho rẽ phải
và rẽ trái. Kết quả thêm chuyển động mắt liên tục cho rẽ phải và rẽ trái được kiểm
nghiệm cho 5 người tham gia (mỗi người kiểm nghiệm 9 lần) như sau:

5


Bảng 1.2 Dữ liệu kết quả từ 5 người tham gia
Tín hiệu

Người 1

Người 2

Người 3

Người 4

Người 5


Tồn bộ

Tới

6/9

9/9

7/9

8/9

7/9

82,22%

Lùi

8/9

6/9

7/9

6/9

6/9

73,33%


Trái

4/9

4/9

5/9

3/9

5/9

46,67%

Phải

2/9

1/9

1/9

2/9

2/9

17,78%

55,56%


55,56%

55,56%

52,78%

55,56%

Tồn bợ

1.2.1 Khái niệm về Brain Computer Interface (BCI)
BCI cho phép người dùng điều khiển thiết bị mà không cần phải sử dụng những
phương pháp bình thường thơng qua ngoại vi (cḥt, bàn phím, micro,…), thay vào
đó bằng cách sử dụng các tín hiệu từ não bộ [9]. Hiện tại hầu hết các hệ thống BCI
đang được phát triển chủ yếu tập trung vào lĩnh vực y học, bởi vì tiềm năng của
chúng trong việc cải thiện chất lượng cuộc sống của những người bị khuyết tật khả
năng vận động, sự phức tạp của các hệ thống BCI trước đây làm cho chúng chỉ phù
hợp với các nghiên cứu trong phịng thí nghiệm. Tuy nhiên với các tiến bộ về khoa
học kỹ thuật, trong thời gian gần đây dẫn đến sự ra đời của các thiết bị ghi nhận tín
hiệu EEG giá rẻ, gọn nhẹ và hướng đến người dùng đã đưa các ứng dụng BCI gần
hơn với cuộc sống.
1.2.2 Các hệ thống BCI đã và đang được phát triển và triển vọng
Trong vài năm trở lại đây, các hệ thống BCI đã có những bước tiến triển đáng kể,
kích thước nhỏ gọn, dễ dàng lắp đặt và sử dụng [10], giá cả phù hợp với người dùng
là những yếu tố quan trọng để đưa những nghiên cứu trong phịng thí nghiệm được
ứng dụng vào cuộc sống hiện nay. Một số công ty như: neurosky, emotiv,… đã phát
triển các thiết bị và ứng dụng phục vụ cho cả yêu cầu giải trí và nghiên cứu. Các
công ty này cung cấp các thiết bị phần cứng để ghi nhận tín hiệu EEG trong điều
kiện bình thường ngồi phịng thí nghiệm với ưu điểm là giá thành phù hợp.

Sự phát triển của các phần mềm mã nguồn mở xử lý tín hiệu dùng cho các hệ thống
BCI được tích hợp với Matlab có thể kể đến như: BCI 2000 [11], Open Vibe, EEG

6


lab [12-13], cũng là yếu tố khuyến khích cợng đồng nghiên cứu tham gia nhiều hơn
vào lĩnh vực này.
Hệ thống intendi X là một hệ thống đánh vần dựa vào tín hiệu EEG sử dụng nguyên
lý P300 [14-15]. Người dùng mang một thiết bị ghi nhận gồm nhiều cảm biến và
một bảng ma trận với các phần tử là chữ cái alphabet, hàng và cột của ma trận sẽ
chớp nhanh và ngẫu nhiên; kích thích này tạo ra những phản ứng của não bộ theo
nguyên lý P300, những phản ứng này đủ để hệ thống nhận diện được chữ cái mà
người dùng muốn đánh vần [16]. Hệ thống này được đánh giá là có tốc đợ xử lý
nhanh và dễ dàng sử dụng. theo intendi X “người dùng cần phải luyện tập để thuần
thục trong khoảng thời gian 10 phút”.

Hình 1.1 Nguyên lý P300 [14]
Mind cursor là một nghiên cứu cải tiến bởi wolpaw và Macfarland, sử dụng những
nguyên lý cơ bản của sóng Mu [17], đợ lớn biên đợ để điều khiển con trỏ di chuyển
lên xuống theo phương thẳng đứng và độ sai khác biên độ của giữa các thành phần
phổ năng lượng để điều khiển con trỏ chuột di chuyển theo phương ngang. Bằng
phương pháp này, hệ thống cho phép người dùng điều khiển con trỏ đến 4 góc của
màn hình. Phương pháp sử dụng sóng Mu được sử dụng rộng rãi trong các nghiên
cứu điều khiển bằng sóng não, vì nó có liên kết rất chặt chẽ đến các suy nghĩ điều
khiển vận động.

7



Hình 1.2 Mind cursor [17]
Trong các phương pháp ghi nhận sóng não, EEG được xem xét là phù hợp nhất với
mục đích và quy mơ của đề tài, vì những ưu điểm như: cảm biến EEG có giá thành
phù hợp và có thể dễ dàng tìm thấy trên thị trường, kích thước nhỏ gọn, dễ dàng
mang đeo, khơng tốn nhiều thời gian để lắp đặt nên có thể sử dụng dễ dàng.
1.3

Nội dung nghiên cứu

Nghiên cứu tổng quan về tín hiệu sóng não EEG và cách thu thập sóng não EEG
trong thực tế.
Phân tích, trích xuất các đặc trưng của tín hiệu sóng não EEG được thu thập từ thiết
bị Neurosky mindwave mobile 2.
Sử dụng mạng thần kinh nhân tạo ANN để nhận dạng và phân loại 05 tín hiệu sóng
não EEG trên.
Lập trình nhúng điều khiển xe lăn điện hoạt động đi Tới, đi Lùi, rẽ Phải, rẽ Trái và
dừng bằng sóng não EEG.
Phân tích, đánh giá các kết quả kiểm chứng thực nghiệm để từ đó tổng kết được các
kết quả đạt được, hạn chế và hướng phát triển.

8


CHƯƠNG 2
2.1

CƠ SỞ LÝ THUYẾT

Điện não đồ EEG


EEG (Electroencephalogram) biểu diễn sự chênh lệch của hiệu điện thế theo thời
gian giữa các điện cực đặt ở các vị trí khác nhau trên da đầu theo vùng của vỏ não.
EEG cung cấp thông tin về các hoạt động điện não thông qua biên đợ, tần số, phân
bố khơng gian, hình thái dựa vào phân cực của hiệu điện thế. Trên cơ sở nghiên cứu
các đặc trưng của EEG cho phép các nhà khoa học phát hiện được các biểu hiện
khác nhau của não bộ; từ các đặc trưng này, các nhà khoa học tìm ra được các cử
chỉ hành đợng thơng qua sóng não.
Sự biểu hiện của EEG rất đa dạng ở các đối tượng khác nhau và phụ thuộc vào
nhiều yếu tố như: đợ tuổi, tình trạng tâm lý, tình trạng thức hay ngủ, mức độ tập
trung,... của đối tượng đo.
2.1.1 Cơ chế điện sinh lý của điện não đồ EEG
Vỏ não là lớp ngồi cùng của não bợ và có đợ dày khoảng 2mm đến 3mm, bề mặt
vỏ não được quấn lại bởi các lằn gợn và các khe với nhiều kích thước khác nhau
làm tăng diện tích hệ thần kinh. Diện tích lớn hơn 2,5m2, gồm hơn 10 tỷ nơ rôn thần
kinh.
Vỏ của bộ não gồm hai bán cầu đối xứng (bán cầu trái và bán cầu phải), mỗi bán
cầu được chia thành bốn thùy, đó là: thùy trán, thùy thái dương, thùy đỉnh và thùy
chẩm.
Chức năng mỗi vùng trên các thùy:
- Vùng sơ cấp chiếm diện tích nhỏ, các tế bào thần kinh trong vùng này như: vùng
chuyên vận động ở thùy trán, vùng cảm giác âm thanh ở trên của thùy thái dương.

9


- Vùng thứ cấp các tế bào thần kinh làm nhiệm vụ phân tích, hỗ trợ cho vùng sơ cấp
và chứa các thông tin tham chiếu để so sánh giữa các thơng tin hiện tại với các
thơng tin được tích lũy trước đó.

Hình 2.1 Các thùy trên vỏ não [32]

Điện sinh lý là kết quả các hoạt đợng điện hóa của mợt nhóm các tế bào bị kích
thích.
2.1.2 Hoạt động điện ở màng tế bào thần kinh
Tế bào thần kinh được bao bọc bởi màng huyết tương [18-19], màng này được cấu
tạo gồm các lớp lipid dẫn điện kém. Do tính chất thẩm thấu, màng này cho qua mợt
số chất các kênh khác nhau và ngăn cản với các chất cịn lại.
Các chất lưu bên trong và ngồi tế bào thần kinh gồm: nước (trung hịa điện) và mợt
số ion, do đó có tính dẫn điện. Trong tế bào thần kinh, các ion chính bao gồm: Na +,
K+ và Cl-, các ion khác như: Ca+ cũng tồn tại, nhưng không đóng vai trị quan trọng.
Ở trạng thái bình thường (nghỉ), bên trong tế bào tích điện âm hơn so với bên ngoài,
sự khác nhau này do các ion âm tập trung bên trong nhiều hơn bên ngoài tế bào thần
kinh. Ngược lại phía bên ngồi, các ion dương tập trung nhiều hơn, sự khác biệt này
do nguyên nhân từ độ thẩm thấu của màng tế bào đối với các ion khác nhau là khác
nhau.

10