Trang 1
Giới thiệu Học máy – Mô hình Naïve Bayes
Tô Hoài Việt
Khoa Công nghệ Thông tin
Đại học Khoa học Tự nhiên TPHCM
thviet@fit.hcmuns.edu.vn
Trang 2
Nội dung
Giới thiệu Học máy
Học là gì?
Các vấn đề và ví dụ của học
Mô hình Naïve Bayes
Trang 3
Tại sao Học Máy?
Những tiến bộ gần đây trong thuật toán và lý thuyết
“Dòng lũ” đang lên của dữ liệu trực tuyến
Sức mạnh tính toán đã sẵn sàng
Ngành công nghiệp đang nở rộ

Ba lĩnh vực thích hợp cho học máy
Khai thác dữ liệu: sử dụng dữ liệu cũ để cải thiện quyết định
Các ứng dụng phần mềm chúng ta không thể làm bằng tay
Các chương trình tự tối ưu hoá
Trang 4
Học là gì?
ghi nhớ điều gì đó
học các sự kiện qua quan sát và thăm dò
cải thiện các kỹ năng vận động và/hay nhận thức qua việc luyện tập
tổ chức tri thức mới thành các biểu diễn tổng quát, hiệu quả
Trang 5
Các loại học
Học có giám sát: cho trước một tập mẫucác cặp input/output, tìm một luật thực hiện việc dự đoán các kết xuất gắn với các input mới
Gom cụm: cho trước một tập mẫu, nhưng chưa gán nhãn, gom nhóm các mẫu thành các cụm “tự nhiên”
Học tăng cường: một agent tương tác với thế giới thực hiện các quan sát, hành động, và được thưởng hay phạt; nó sẽ học để chọn các hành động theo cách để nhận được nhiều phần thưởng
Trang 6
Học một Hàm
Cho trước một tập mẫu các cặp input/output, tìm một hàm làm tốt được công việc biểu diễn mối quan hệ
Phát âm: hàm ánh xạ từ ký tự sang âm thanh
Ném một quả bóng: hàm ánh xạ từ vị trí đích thành quỹ đạo cánh tay
Đọc các chữ viết tay: hàm ánh xạ từ tập các điểm ảnh thành các ký tự
Chẩn đoán bệnh: hàm ánh xạ từ các kết quả xét nghiệm thành các loại bệnh tật
Trang 7
Các vấn đề để học một hàm
ghi nhớ

lấy trung bình

tổng quát hoá
Trang 8
Bài toán ví dụ
Khi nào thì lái xe (drive or walk) ? Phụ thuộc vào:
nhiệt độ (temperature)
mưa tuyết dự kiến (expected precipitation)
ngày trong tuần (day of the week)
cô ấy có cần đi mua sắm trên đường về hay không (whether she needs to shop on the way home)
cô ấy đang mặc gì (what’s she wearing)
Trang 9
Ghi nhớ
Trang 10
Ghi nhớ
Trang 11
Lấy trung bình
Xử lý nhiễu trong dữ liệu
Trang 12
Lấy trung bình
Xử lý nhiễu trong dữ liệu
Trang 13
Nhiễu cảm biến
Xử lý nhiễu trong dữ liệu
Trang 14
Nhiễu cảm biến
Xử lý nhiễu trong dữ liệu
Trang 15
Tổng quát hoá
Xử lý dữ liệu chưa từng gặp trước đây
Trang 16
Tổng quát hoá
Xử lý dữ liệu chưa từng gặp trước đây
Trang 17
Một ví dụ khác
<0, 1, 0, 1> = 1
<1, 1, 0, 1> = 0
<0, 1, 0, 1> = 1
<0, 0, 0, 1> = 0
Trang 18
Một ví dụ khác (tt)
<0, 0, 0, 1> = ?
<1, 1, 0, 1> = ?
Trang 19
Naïve Bayes
Dựa trên luật suy diễn xác suất của Bayes
Cập nhật xác suất của giả thiết (hàm phân lớp) dựa trên chứng cứ
Chọn giả thiết có xác suất lớn nhất sau khi tích hợp các chứng cứ

Thuật toán đặc biệt hữu ích cho các lĩnh vực có nhiều đặc trưng
Trang 20
Ví dụ
R1(1,1) = 1/5: tỷ lệ tất cả các mẫu dương (y=1) có đặc trưng 1 = 1
R1(0,1) = 4/5: tỷ lệ tất cả các mẫu dương có đặc trưng 1 = 0
Trang 21
Ví dụ
R1(1,1) = 1/5: tỷ lệ tất cả các mẫu dương (y=1) có đặc trưng 1 = 1
R1(0,1) = 4/5: tỷ lệ tất cả các mẫu dương có đặc trưng 1 = 0
R1(1,0) = 5/5: tỷ lệ tất cả các mẫu âm (y=0) có đặc trưng 1 = 1
R1(0,0) = 0/5: tỷ lệ tất cả các mẫu âm có đặc trưng 1 = 0
Trang 22
Ví dụ
R1(1,1) = 1/5 R1(0,1) = 4/5
R1(1,0) = 5/5 R1(0,0) = 0/5

R2(1,1) = 1/5 R2(0,1) = 4/5
R2(1,0) = 2/5 R2(0,0) = 3/5

R3(1,1) = 4/5 R3(0,1) = 1/5
R3(1,0) = 1/5 R3(0,0) = 4/5

R4(1,1) = 2/5 R4(0,1) = 3/5
R4(1,0) = 4/5 R4(0,0) = 1/5
Trang 23
Dự đoán
R1(1,1) = 1/5 R1(0,1) = 4/5
R1(1,0) = 5/5 R1(0,0) = 0/5
R2(1,1) = 1/5 R2(0,1) = 4/5
R2(1,0) = 2/5 R2(0,0) = 3/5
R3(1,1) = 4/5 R3(0,1) = 1/5
R3(1,0) = 1/5 R3(0,0) = 4/5
R4(1,1) = 2/5 R4(0,1) = 3/5
R4(1,0) = 4/5 R4(0,0) = 1/5
Mẫu mới x = <0,0,1,1>
S(1) = R1(0,1) * R2(0,1) * R3(1,1) * R4(1,1) = .205
S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = 0
Ta có S(1) > S(0), do đó dự đoán lớp 1
Trang 24
Thuật toán Học
Ước lượng từ dữ liệu, với mọi thuộc tính j, có miền giá trị Dj = {v1j, v2j,…vnj}, tính

Trang 25
Thuật toán Dự đoán
Cho một mẫu x mới, x = (x1, x2,… xn), tính





Xuất ra 1 nếu S(1) > S(0)


Trang 26
Thuật toán Dự đoán
Cho một mẫu x mới, x = (x1, x2,… xn), tính





Xuất ra 1 nếu logS(1) > logS(0)


Cộng log sẽ dễ dàng hơn nhiều so với nhân các số nhỏ
Trang 27
Tránh sự xuất hiện của 1 hoặc 0 trong xác suất







Phép sửa lỗi Laplace
Trang 28
Ví dụ với Sửa lỗi
R1(1,1) = 2/7 R1(0,1) = 5/7
R1(1,0) = 6/7 R1(0,0) = 1/7

R2(1,1) = 2/7 R2(0,1) = 5/7
R2(1,0) = 3/7 R2(0,0) = 4/7

R3(1,1) = 5/7 R3(0,1) = 2/7
R3(1,0) = 2/7 R3(0,0) = 5/7

R4(1,1) = 3/7 R4(0,1) = 4/7
R4(1,0) = 5/7 R4(0,0) = 2/7
Trang 29
Dự đoán
R1(1,1) = 2/7 R1(0,1) = 5/7
R1(1,0) = 6/7 R1(0,0) = 1/7
R2(1,1) = 2/7 R2(0,1) = 5/7
R2(1,0) = 3/7 R2(0,0) = 4/7
R3(1,1) = 5/7 R3(0,1) = 2/7
R3(1,0) = 2/7 R3(0,0) = 5/7
R4(1,1) = 3/7 R4(0,1) = 4/7
R4(1,0) = 5/7 R4(0,0) = 2/7
Mẫu mới x = <0,0,1,1>
S(1) = R1(0,1) * R2(0,1) * R3(1,1) * R4(1,1) = .156
S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = .017
Ta có S(1) > S(0), do đó dự đoán lớp 1
Trang 30
Điều cần nắm
Các vấn đề của học máy
Hiểu và sử dụng được mô hình Naïve Bayes
Nắm được các vấn đề của Naïve Bayes