dataminingexample/cheat-sheet.md

📋 CHEAT SHEET - Công Thức Khai Phá Dữ Liệu

📊 PHẦN 1: TIỀN XỬ LÝ DỮ LIỆU

1.1 Thống Kê Mô Tả

Mean (Trung bình)

x̄ = Σxi / n

Ví dụ: [4, 5, 6] → x̄ = 15/3 = 5

Median (Trung vị)

Sắp xếp → Lấy giá trị giữa (hoặc trung bình 2 giá trị giữa)

Ví dụ: [4, 5, 6] → Median = 5
Ví dụ: [4, 5, 6, 7] → Median = (5+6)/2 = 5.5

Mode (Yếu vị)

Giá trị xuất hiện nhiều nhất

Ví dụ: [4, 5, 5, 6] → Mode = 5

---

1.2 Boxplot

Quartiles (Tứ phân vị)

Q1 = Trung vị của nửa dưới
Q2 = Median
Q3 = Trung vị của nửa trên
IQR = Q3 - Q1

Ví dụ: [1, 2, 3, 4, 5, 6, 7, 8, 9]

• Q1 = Median([1,2,3,4]) = (2+3)/2 = 2.5
• Q2 = 5
• Q3 = Median([6,7,8,9]) = (7+8)/2 = 7.5
• IQR = 7.5 - 2.5 = 5

Outliers (Giá trị ngoại lai)

Lower fence = Q1 - 1.5 × IQR
Upper fence = Q3 + 1.5 × IQR
Outlier nếu: x < Lower fence hoặc x > Upper fence

---

1.3 Chuẩn Hóa (Normalization)

Decimal Scaling

x' = x / 10^j
(Chọn j sao cho Max(|x'|) < 1)

Ví dụ: [45, 67, 91] → j=2
91 → 91/100 = 0.91

---

Min-Max Normalization

x' = (x - min) / (max - min) × (new_max - new_min) + new_min

Trường hợp đặc biệt [0, 1]:

x' = (x - min) / (max - min)

Ví dụ: [4, 7, 10] về [0, 1]

• Min=4, Max=10, Range=6
• 7 → (7-4)/6 = 0.5

Ví dụ: [4, 7, 10] về [-1, 1]

x' = (x - min) / (max - min) × 2 - 1
7 → (7-4)/6 × 2 - 1 = 0.5 × 2 - 1 = 0

---

Z-Score Normalization

x' = (x - μ) / σ

Computational Formula cho σ:

σ = √[Σxi²/n - x̄²]

Ví dụ: [4, 7, 10]

• x̄ = 21/3 = 7
• Σxi² = 16 + 49 + 100 = 165
• σ = √[165/3 - 7²] = √[55 - 49] = √6 = 2.45
• 7 → (7-7)/2.45 = 0

---

Modified Z-Score (Robust, dùng MAD thay vì σ)

Phương pháp này kháng nhiễu tốt hơn khi có outliers.

x' = 0.6745 × (x - median) / MAD

Trong đó:
MAD = median(|xi - median|)

Quy trình tính:

Bước 1: Tính Median của dữ liệu

Sắp xếp → Lấy giá trị giữa

Bước 2: Tính độ lệch tuyệt đối

|xi - median| cho tất cả các điểm

Bước 3: Tính MAD

MAD = Median của các độ lệch tuyệt đối

Bước 4: Tính Modified Z-Score

x' = 0.6745 × (x - median) / MAD

Ví dụ: [1, 2, 3, 4, 100] (có outlier)

Bước 1: Median = 3

Bước 2: Độ lệch tuyệt đối

|1-3| = 2
|2-3| = 1
|3-3| = 0
|4-3| = 1
|100-3| = 97
→ [2, 1, 0, 1, 97]

Bước 3: MAD = Median([2, 1, 0, 1, 97])

Sắp xếp: [0, 1, 1, 2, 97]
MAD = 1

Bước 4: Tính Modified Z-Score

x=1:   0.6745 × (1-3)/1 = 0.6745 × (-2) = -1.349
x=2:   0.6745 × (2-3)/1 = 0.6745 × (-1) = -0.6745
x=3:   0.6745 × (3-3)/1 = 0
x=4:   0.6745 × (4-3)/1 = 0.6745 × 1 = 0.6745
x=100: 0.6745 × (100-3)/1 = 0.6745 × 97 = 65.43

So sánh Z-Score thường:

x̄ = (1+2+3+4+100)/5 = 22
σ = 43.36
x=100: (100-22)/43.36 = 1.8 ← Bị ảnh hưởng nặng bởi outlier!

Ưu điểm Modified Z-Score:

• ✅ Không bị ảnh hưởng bởi outliers
• ✅ Dùng Median thay vì Mean
• ✅ Dùng MAD thay vì σ
• ✅ Phát hiện outliers tốt hơn (thường dùng ngưỡng |z'| > 3.5)

---

1.4 Làm Trơn (Binning)

Equal-Width Binning

Bin width = (Max - Min) / số bins

Interval Notation:

Bin 1: [min, min+width)
Bin 2: [min+width, min+2×width)
...
Bin cuối: [..., max]

Ví dụ: [1,2,3,4,5,6,7,8,9] → 3 bins

• Width = (9-1)/3 = 2.67
• Bin 1: [1, 3.67) → 1,2,3
• Bin 2: [3.67, 6.33) → 4,5,6
• Bin 3: [6.33, 9] → 7,8,9

---

Smoothing Methods

1. Bin Means

Thay mỗi giá trị = Trung bình của bin

Ví dụ: Bin [1,2,3] → Mean = 2 → [2,2,2]

2. Bin Medians

Thay mỗi giá trị = Trung vị của bin

Ví dụ: Bin [1,2,3] → Median = 2 → [2,2,2]

3. Bin Boundaries

Thay mỗi giá trị = Min hoặc Max gần nhất

Ví dụ: Bin [1,2,3] → [1,1,3]

---

1.5 Correlation (Tương Quan)

Phương pháp 1: Definitional

r = Σ[(xi - x̄)(yi - ȳ)] / √[Σ(xi - x̄)² × Σ(yi - ȳ)²]

Phương pháp 2: Computational (Khuyến nghị)

Cov(X,Y) = Σ(xi·yi)/n - x̄·ȳ

σx = √[Σxi²/n - x̄²]

σy = √[Σyi²/n - ȳ²]

r = Cov(X,Y) / (σx × σy)

Ví dụ: X=[1,2,3], Y=[2,4,6]

Σxi = 6, Σyi = 12
Σxi² = 14, Σyi² = 56, Σ(xi·yi) = 28
x̄ = 2, ȳ = 4

Cov(X,Y) = 28/3 - 2×4 = 9.33 - 8 = 1.33
σx = √[14/3 - 4] = √[4.67 - 4] = 0.82
σy = √[56/3 - 16] = √[18.67 - 16] = 1.63
r = 1.33/(0.82 × 1.63) = 1.0

Giải thích r:

• r = 1: Tương quan dương hoàn hảo
• r = -1: Tương quan âm hoàn hảo
• r = 0: Không tương quan
• |r| > 0.7: Tương quan mạnh
• 0.3 < |r| < 0.7: Tương quan trung bình
• |r| < 0.3: Tương quan yếu

---

🔍 PHẦN 2: THUẬT TOÁN

2.1 Apriori Algorithm

Support (Độ hỗ trợ)

Support(X) = Số giao dịch chứa X / Tổng số giao dịch

Ví dụ:

• 10 giao dịch, {A,B} xuất hiện 3 lần
• Support({A,B}) = 3/10 = 30%

---

Confidence (Độ tin cậy)

Confidence(X → Y) = Support(X ∪ Y) / Support(X)

Ví dụ:

• Support({A,B}) = 30%
• Support({A}) = 50%
• Confidence(A → B) = 30%/50% = 60%

---

Lift

Lift(X → Y) = Confidence(X → Y) / Support(Y)

Ví dụ:

• Confidence(A → B) = 60%
• Support(B) = 40%
• Lift(A → B) = 60%/40% = 1.5

Giải thích Lift:

• Lift > 1: X và Y có quan hệ dương
• Lift = 1: X và Y độc lập
• Lift < 1: X và Y có quan hệ âm

---

Quy trình Apriori

Bước 1: Tìm L₁ (1-itemsets thường xuyên)

Đếm từng item → Lọc theo min_support

Bước 2: Tìm L₂ (2-itemsets thường xuyên)

Kết hợp các items từ L₁ → Đếm → Lọc theo min_support

Bước 3: Lặp lại cho L₃, L₄, ... cho đến khi không còn itemsets nào

Bước 4: Sinh luật kết hợp từ frequent itemsets

Với mỗi itemset thường xuyên → Sinh tất cả các luật → Lọc theo min_confidence

---

2.2 ID3 Algorithm (Decision Tree)

Entropy (Độ hỗn loạn)

Entropy(S) = -Σ pi × log₂(pi)

Ví dụ: S có 9 Yes, 5 No (tổng 14)

p_yes = 9/14 = 0.643
p_no = 5/14 = 0.357

Entropy(S) = -(0.643 × log₂(0.643) + 0.357 × log₂(0.357))
           = -(0.643 × (-0.637) + 0.357 × (-1.485))
           = -(-0.410 - 0.530)
           = 0.940

---

Information Gain (Lợi ích thông tin)

Gain(S, A) = Entropy(S) - Σ (|Sv|/|S|) × Entropy(Sv)

Ví dụ: Attribute "Weather" có 3 giá trị (Sunny=5, Rain=4, Cloudy=5)

Entropy(S) = 0.940

Sunny: 2 Yes, 3 No → Entropy = 0.971
Rain: 4 Yes, 0 No → Entropy = 0
Cloudy: 3 Yes, 2 No → Entropy = 0.971

Gain = 0.940 - [(5/14)×0.971 + (4/14)×0 + (5/14)×0.971]
     = 0.940 - [0.347 + 0 + 0.347]
     = 0.940 - 0.694
     = 0.246

Chọn attribute có Gain cao nhất làm root node

---

Quy trình ID3

Bước 1: Tính Entropy(S) của tập dữ liệu Bước 2: Tính Gain cho mỗi attribute Bước 3: Chọn attribute có Gain cao nhất → Root node Bước 4: Chia dữ liệu theo giá trị của attribute đã chọn Bước 5: Lặp lại cho mỗi nhánh cho đến khi:

• Tất cả examples trong node có cùng class → Leaf node
• Không còn attribute nào → Leaf node (chọn class phổ biến nhất)
• Không còn example nào → Leaf node (chọn class phổ biến nhất từ parent)

---

2.3 K-means Clustering

Euclidean Distance (Khoảng cách Euclid)

d(p, q) = √[(x₁ - x₂)² + (y₁ - y₂)²]

Ví dụ: p(2,3), q(5,7)

d = √[(2-5)² + (3-7)²]
  = √[9 + 16]
  = √25
  = 5

Cho n chiều:

d(p, q) = √[Σ(pi - qi)²]

---

SSE (Sum of Squared Errors)

SSE = Σ distance²(điểm, tâm cluster)

Ví dụ: Cluster có tâm C(3,3), điểm A(2,3), B(4,5)

SSE = [(2-3)² + (3-3)²] + [(4-3)² + (5-3)²]
    = [1 + 0] + [1 + 4]
    = 1 + 5
    = 6

---

Cập nhật Centroid

Centroid mới = (Trung bình xi, Trung bình yi)

Ví dụ: Cluster có điểm (2,3), (4,5), (6,7)

Centroid = ((2+4+6)/3, (3+5+7)/3)
         = (4, 5)

---

Quy trình K-means

Bước 1: Chọn K centroids ban đầu

Bước 2: Gán mỗi điểm vào cluster gần nhất

Tính khoảng cách từ điểm đến tất cả centroids
→ Chọn centroid có khoảng cách nhỏ nhất

Bước 3: Cập nhật centroid mới

Tính trung bình tọa độ của tất cả điểm trong cluster

Bước 4: Lặp lại Bước 2-3 cho đến khi:

• Centroids không thay đổi, HOẶC
• Điểm không thay đổi cluster, HOẶC
• Đạt số vòng lặp tối đa

Bước 5: Tính SSE cuối cùng

---

📐 CÔNG THỨC BỔ SUNG

Covariance (Hiệp phương sai)

Definitional

Cov(X,Y) = Σ(xi - x̄)(yi - ȳ) / n

Computational (Khuyến nghị)

Cov(X,Y) = Σ(xi·yi)/n - x̄·ȳ

Hoặc:
Cov(X,Y) = [Σ(xi·yi) - (Σxi)(Σyi)/n] / n

---

Standard Deviation (Độ lệch chuẩn)

Definitional

σ = √[Σ(xi - x̄)² / n]

Computational (Khuyến nghị)

σ = √[Σxi²/n - x̄²]

Hoặc:
σ = √{[Σxi² - (Σxi)²/n] / n}

---

Variance (Phương sai)

σ² = Σ(xi - x̄)² / n         (Definitional)
σ² = Σxi²/n - x̄²             (Computational)

---

🎯 BẢNG TÓM TẮT

Các phương pháp chuẩn hóa

Phương pháp	Công thức	Khi nào dùng
Decimal Scaling	x' = x/10^j	Nhanh, đơn giản
Min-Max	x' = (x-min)/(max-min)×(b-a)+a	Cần khoảng cụ thể [a,b]
Z-Score	x' = (x-μ)/σ	Dữ liệu phân phối chuẩn, ít outliers
Modified Z-Score	x' = 0.6745×(x-median)/MAD	Có outliers, cần robust

Lưu ý:

• Z-Score thường: Nhạy cảm với outliers (dùng mean & σ)
• Modified Z-Score: Kháng nhiễu (dùng median & MAD)
• Phát hiện outliers: |Modified Z-Score| > 3.5

---

Khi nào dùng Definitional vs Computational?

Tình huống	Công thức	Lý do
Có bảng chi tiết (xi - x̄)	Definitional	Đã tính sẵn
Chỉ có dữ liệu gốc	Computational	Nhanh hơn
Dùng máy tính/Excel	Computational	Ít sai số
Học lý thuyết	Definitional	Dễ hiểu
Thi trắc nghiệm	Computational	Tiết kiệm thời gian

---

Mức độ tương quan

| |r| | Mức độ | |-----|--------| | < 0.3 | Yếu | | 0.3 - 0.7 | Trung bình | | > 0.7 | Mạnh |

---

Interval Notation

Ký hiệu	Ý nghĩa	Ví dụ
[a, b]	Bao gồm a VÀ b	[1, 5] → 1 ≤ x ≤ 5
[a, b)	Bao gồm a, KHÔNG b	[1, 5) → 1 ≤ x < 5
(a, b]	KHÔNG a, bao gồm b	(1, 5] → 1 < x ≤ 5

Binning:

• Equal-Width: [a, b) cho bins 1 đến n-1, [a, b] cho bin cuối
• Equal-Frequency: [a, b] cho tất cả bins

---

🔑 CÔNG THỨC QUAN TRỌNG NHẤT

Top 12 công thức cần nhớ:

1. Mean: x̄ = Σxi / n
2. Median: Giá trị giữa sau khi sắp xếp
3. Min-Max: x' = (x - min)/(max - min)
4. Z-Score: x' = (x - μ)/σ
5. Modified Z-Score: x' = 0.6745×(x - median)/MAD
6. σ (Computational): √[Σxi²/n - x̄²]
7. Cov (Computational): Σ(xi·yi)/n - x̄·ȳ
8. r (Correlation): Cov(X,Y)/(σx × σy)
9. Support: Count(X)/Total
10. Confidence: Support(X∪Y)/Support(X)
11. Entropy: -Σ pi × log₂(pi)
12. Euclidean Distance: √[Σ(pi - qi)²]

---

💡 MẸO GHI NHỚ

Computational vs Definitional:

• Definitional = Dễ hiểu, nhiều bước
• Computational = Nhanh, ít sai số

Normalization:

• Decimal Scaling = Chia cho 10^j
• Min-Max = Đưa về khoảng [a, b]
• Z-Score = Chuẩn hóa theo phân phối (mean & σ)
• Modified Z-Score = Z-Score robust (median & MAD)

Z-Score vs Modified Z-Score:

• Z-Score = Dùng Mean & σ → Nhạy outliers
• Modified Z-Score = Dùng Median & MAD → Kháng outliers
• MAD = Median của |xi - median|
• 0.6745 = Hằng số để MAD tương đương σ khi phân phối chuẩn

Binning:

• Equal-Width = Chiều rộng đều → Bins có thể rỗng/đông
• Equal-Frequency = Số phần tử đều → Chiều rộng không đều

Apriori:

• Support = Tần suất xuất hiện
• Confidence = Khả năng Y xảy ra khi có X
• Lift > 1 = X và Y liên quan

ID3:

• Entropy cao = Hỗn loạn (nhiều class khác nhau)
• Gain cao = Attribute tốt để phân chia
• Chọn Gain cao nhất làm root

K-means:

• Gán về cluster gần nhất
• Cập nhật centroid = Trung bình điểm trong cluster
• SSE giảm = Cluster tốt hơn

---

✅ CHECKLIST ÔN TẬP

Trước khi thi, đảm bảo bạn biết:

Tiền xử lý:

• Tính Mean, Median, Mode
• Vẽ Boxplot, tìm outliers
• 4 phương pháp chuẩn hóa (Decimal, Min-Max, Z-Score, Modified Z-Score)
• Binning và smoothing
• Tính correlation (cả 2 cách: Definitional & Computational)

Apriori:

• Tính Support
• Tính Confidence
• Sinh luật kết hợp
• Biết khi nào dừng

ID3:

• Tính Entropy
• Tính Information Gain
• Chọn attribute tốt nhất
• Vẽ cây quyết định

K-means:

• Tính khoảng cách Euclid
• Gán điểm vào cluster
• Cập nhật centroid
• Tính SSE

---