dataminingexample/cheat-sheet.md

# 📋 CHEAT SHEET - Công Thức Khai Phá Dữ Liệu

## 📊 PHẦN 1: TIỀN XỬ LÝ DỮ LIỆU

### 1.1 Thống Kê Mô Tả

#### **Mean (Trung bình)**
```
x̄ = Σxi / n
```
**Ví dụ:** [4, 5, 6] → x̄ = 15/3 = **5**

#### **Median (Trung vị)**
```
Sắp xếp → Lấy giá trị giữa (hoặc trung bình 2 giá trị giữa)
```
**Ví dụ:** [4, 5, 6] → Median = **5**  
**Ví dụ:** [4, 5, 6, 7] → Median = (5+6)/2 = **5.5**

#### **Mode (Yếu vị)**
```
Giá trị xuất hiện nhiều nhất
```
**Ví dụ:** [4, 5, 5, 6] → Mode = **5**

---

### 1.2 Boxplot

#### **Quartiles (Tứ phân vị)**
```
Q1 = Trung vị của nửa dưới
Q2 = Median
Q3 = Trung vị của nửa trên
IQR = Q3 - Q1
```

**Ví dụ:** [1, 2, 3, 4, 5, 6, 7, 8, 9]
- Q1 = Median([1,2,3,4]) = (2+3)/2 = **2.5**
- Q2 = **5**
- Q3 = Median([6,7,8,9]) = (7+8)/2 = **7.5**
- IQR = 7.5 - 2.5 = **5**

#### **Outliers (Giá trị ngoại lai)**
```
Lower fence = Q1 - 1.5 × IQR
Upper fence = Q3 + 1.5 × IQR
Outlier nếu: x < Lower fence hoặc x > Upper fence
```

---

### 1.3 Chuẩn Hóa (Normalization)

#### **Decimal Scaling**
```
x' = x / 10^j
(Chọn j sao cho Max(|x'|) < 1)
```
**Ví dụ:** [45, 67, 91] → j=2  
91 → 91/100 = **0.91**

---

#### **Min-Max Normalization**
```
x' = (x - min) / (max - min) × (new_max - new_min) + new_min
```

**Trường hợp đặc biệt [0, 1]:**
```
x' = (x - min) / (max - min)
```

**Ví dụ:** [4, 7, 10] về [0, 1]
- Min=4, Max=10, Range=6
- 7 → (7-4)/6 = **0.5**

**Ví dụ:** [4, 7, 10] về [-1, 1]
```
x' = (x - min) / (max - min) × 2 - 1
7 → (7-4)/6 × 2 - 1 = 0.5 × 2 - 1 = 0
```

---

#### **Z-Score Normalization**
```
x' = (x - μ) / σ
```

**Computational Formula cho σ:**
```
σ = √[Σxi²/n - x̄²]
```

**Ví dụ:** [4, 7, 10]
- x̄ = 21/3 = 7
- Σxi² = 16 + 49 + 100 = 165
- σ = √[165/3 - 7²] = √[55 - 49] = √6 = 2.45
- 7 → (7-7)/2.45 = **0**

---

#### **Modified Z-Score (Robust, dùng MAD thay vì σ)**

Phương pháp này **kháng nhiễu tốt hơn** khi có outliers.

```
x' = 0.6745 × (x - median) / MAD

Trong đó:
MAD = median(|xi - median|)
```

**Quy trình tính:**

**Bước 1:** Tính Median của dữ liệu
```
Sắp xếp → Lấy giá trị giữa
```

**Bước 2:** Tính độ lệch tuyệt đối
```
|xi - median| cho tất cả các điểm
```

**Bước 3:** Tính MAD
```
MAD = Median của các độ lệch tuyệt đối
```

**Bước 4:** Tính Modified Z-Score
```
x' = 0.6745 × (x - median) / MAD
```

**Ví dụ:** [1, 2, 3, 4, 100] (có outlier)

**Bước 1:** Median = 3

**Bước 2:** Độ lệch tuyệt đối
```
|1-3| = 2
|2-3| = 1
|3-3| = 0
|4-3| = 1
|100-3| = 97
→ [2, 1, 0, 1, 97]
```

**Bước 3:** MAD = Median([2, 1, 0, 1, 97])
```
Sắp xếp: [0, 1, 1, 2, 97]
MAD = 1
```

**Bước 4:** Tính Modified Z-Score
```
x=1:   0.6745 × (1-3)/1 = 0.6745 × (-2) = -1.349
x=2:   0.6745 × (2-3)/1 = 0.6745 × (-1) = -0.6745
x=3:   0.6745 × (3-3)/1 = 0
x=4:   0.6745 × (4-3)/1 = 0.6745 × 1 = 0.6745
x=100: 0.6745 × (100-3)/1 = 0.6745 × 97 = 65.43
```

**So sánh Z-Score thường:**
```
x̄ = (1+2+3+4+100)/5 = 22
σ = 43.36
x=100: (100-22)/43.36 = 1.8 ← Bị ảnh hưởng nặng bởi outlier!
```

**Ưu điểm Modified Z-Score:**
- ✅ Không bị ảnh hưởng bởi outliers
- ✅ Dùng Median thay vì Mean
- ✅ Dùng MAD thay vì σ
- ✅ Phát hiện outliers tốt hơn (thường dùng ngưỡng |z'| > 3.5)

---

### 1.4 Làm Trơn (Binning)

#### **Equal-Width Binning**
```
Bin width = (Max - Min) / số bins
```

**Interval Notation:**
```
Bin 1: [min, min+width)
Bin 2: [min+width, min+2×width)
...
Bin cuối: [..., max]
```

**Ví dụ:** [1,2,3,4,5,6,7,8,9] → 3 bins
- Width = (9-1)/3 = 2.67
- Bin 1: [1, 3.67) → 1,2,3
- Bin 2: [3.67, 6.33) → 4,5,6
- Bin 3: [6.33, 9] → 7,8,9

---

#### **Smoothing Methods**

**1. Bin Means**
```
Thay mỗi giá trị = Trung bình của bin
```
**Ví dụ:** Bin [1,2,3] → Mean = 2 → [2,2,2]

**2. Bin Medians**
```
Thay mỗi giá trị = Trung vị của bin
```
**Ví dụ:** Bin [1,2,3] → Median = 2 → [2,2,2]

**3. Bin Boundaries**
```
Thay mỗi giá trị = Min hoặc Max gần nhất
```
**Ví dụ:** Bin [1,2,3] → [1,1,3]

---

### 1.5 Correlation (Tương Quan)

#### **Phương pháp 1: Definitional**
```
r = Σ[(xi - x̄)(yi - ȳ)] / √[Σ(xi - x̄)² × Σ(yi - ȳ)²]
```

#### **Phương pháp 2: Computational (Khuyến nghị)**
```
Cov(X,Y) = Σ(xi·yi)/n - x̄·ȳ

σx = √[Σxi²/n - x̄²]

σy = √[Σyi²/n - ȳ²]

r = Cov(X,Y) / (σx × σy)
```

**Ví dụ:** X=[1,2,3], Y=[2,4,6]
```
Σxi = 6, Σyi = 12
Σxi² = 14, Σyi² = 56, Σ(xi·yi) = 28
x̄ = 2, ȳ = 4

Cov(X,Y) = 28/3 - 2×4 = 9.33 - 8 = 1.33
σx = √[14/3 - 4] = √[4.67 - 4] = 0.82
σy = √[56/3 - 16] = √[18.67 - 16] = 1.63
r = 1.33/(0.82 × 1.63) = 1.0
```

**Giải thích r:**
- r = 1: Tương quan dương hoàn hảo
- r = -1: Tương quan âm hoàn hảo
- r = 0: Không tương quan
- |r| > 0.7: Tương quan mạnh
- 0.3 < |r| < 0.7: Tương quan trung bình
- |r| < 0.3: Tương quan yếu

---

## 🔍 PHẦN 2: THUẬT TOÁN

### 2.1 Apriori Algorithm

#### **Support (Độ hỗ trợ)**
```
Support(X) = Số giao dịch chứa X / Tổng số giao dịch
```

**Ví dụ:**
- 10 giao dịch, {A,B} xuất hiện 3 lần
- Support({A,B}) = 3/10 = **30%**

---

#### **Confidence (Độ tin cậy)**
```
Confidence(X → Y) = Support(X ∪ Y) / Support(X)
```

**Ví dụ:**
- Support({A,B}) = 30%
- Support({A}) = 50%
- Confidence(A → B) = 30%/50% = **60%**

---

#### **Lift**
```
Lift(X → Y) = Confidence(X → Y) / Support(Y)
```

**Ví dụ:**
- Confidence(A → B) = 60%
- Support(B) = 40%
- Lift(A → B) = 60%/40% = **1.5**

**Giải thích Lift:**
- Lift > 1: X và Y có quan hệ dương
- Lift = 1: X và Y độc lập
- Lift < 1: X và Y có quan hệ âm

---

#### **Quy trình Apriori**

**Bước 1:** Tìm L₁ (1-itemsets thường xuyên)
```
Đếm từng item → Lọc theo min_support
```

**Bước 2:** Tìm L₂ (2-itemsets thường xuyên)
```
Kết hợp các items từ L₁ → Đếm → Lọc theo min_support
```

**Bước 3:** Lặp lại cho L₃, L₄, ... cho đến khi không còn itemsets nào

**Bước 4:** Sinh luật kết hợp từ frequent itemsets
```
Với mỗi itemset thường xuyên → Sinh tất cả các luật → Lọc theo min_confidence
```

---

### 2.2 ID3 Algorithm (Decision Tree)

#### **Entropy (Độ hỗn loạn)**
```
Entropy(S) = -Σ pi × log₂(pi)
```

**Ví dụ:** S có 9 Yes, 5 No (tổng 14)
```
p_yes = 9/14 = 0.643
p_no = 5/14 = 0.357

Entropy(S) = -(0.643 × log₂(0.643) + 0.357 × log₂(0.357))
           = -(0.643 × (-0.637) + 0.357 × (-1.485))
           = -(-0.410 - 0.530)
           = 0.940
```

---

#### **Information Gain (Lợi ích thông tin)**
```
Gain(S, A) = Entropy(S) - Σ (|Sv|/|S|) × Entropy(Sv)
```

**Ví dụ:** Attribute "Weather" có 3 giá trị (Sunny=5, Rain=4, Cloudy=5)
```
Entropy(S) = 0.940

Sunny: 2 Yes, 3 No → Entropy = 0.971
Rain: 4 Yes, 0 No → Entropy = 0
Cloudy: 3 Yes, 2 No → Entropy = 0.971

Gain = 0.940 - [(5/14)×0.971 + (4/14)×0 + (5/14)×0.971]
     = 0.940 - [0.347 + 0 + 0.347]
     = 0.940 - 0.694
     = 0.246
```

**Chọn attribute có Gain cao nhất làm root node**

---

#### **Quy trình ID3**

**Bước 1:** Tính Entropy(S) của tập dữ liệu
**Bước 2:** Tính Gain cho mỗi attribute
**Bước 3:** Chọn attribute có Gain cao nhất → Root node
**Bước 4:** Chia dữ liệu theo giá trị của attribute đã chọn
**Bước 5:** Lặp lại cho mỗi nhánh cho đến khi:
- Tất cả examples trong node có cùng class → Leaf node
- Không còn attribute nào → Leaf node (chọn class phổ biến nhất)
- Không còn example nào → Leaf node (chọn class phổ biến nhất từ parent)

---

### 2.3 K-means Clustering

#### **Euclidean Distance (Khoảng cách Euclid)**
```
d(p, q) = √[(x₁ - x₂)² + (y₁ - y₂)²]
```

**Ví dụ:** p(2,3), q(5,7)
```
d = √[(2-5)² + (3-7)²]
  = √[9 + 16]
  = √25
  = 5
```

**Cho n chiều:**
```
d(p, q) = √[Σ(pi - qi)²]
```

---

#### **SSE (Sum of Squared Errors)**
```
SSE = Σ distance²(điểm, tâm cluster)
```

**Ví dụ:** Cluster có tâm C(3,3), điểm A(2,3), B(4,5)
```
SSE = [(2-3)² + (3-3)²] + [(4-3)² + (5-3)²]
    = [1 + 0] + [1 + 4]
    = 1 + 5
    = 6
```

---

#### **Cập nhật Centroid**
```
Centroid mới = (Trung bình xi, Trung bình yi)
```

**Ví dụ:** Cluster có điểm (2,3), (4,5), (6,7)
```
Centroid = ((2+4+6)/3, (3+5+7)/3)
         = (4, 5)
```

---

#### **Quy trình K-means**

**Bước 1:** Chọn K centroids ban đầu

**Bước 2:** Gán mỗi điểm vào cluster gần nhất
```
Tính khoảng cách từ điểm đến tất cả centroids
→ Chọn centroid có khoảng cách nhỏ nhất
```

**Bước 3:** Cập nhật centroid mới
```
Tính trung bình tọa độ của tất cả điểm trong cluster
```

**Bước 4:** Lặp lại Bước 2-3 cho đến khi:
- Centroids không thay đổi, HOẶC
- Điểm không thay đổi cluster, HOẶC
- Đạt số vòng lặp tối đa

**Bước 5:** Tính SSE cuối cùng

---

## 📐 CÔNG THỨC BỔ SUNG

### Covariance (Hiệp phương sai)

#### **Definitional**
```
Cov(X,Y) = Σ(xi - x̄)(yi - ȳ) / n
```

#### **Computational (Khuyến nghị)**
```
Cov(X,Y) = Σ(xi·yi)/n - x̄·ȳ

Hoặc:
Cov(X,Y) = [Σ(xi·yi) - (Σxi)(Σyi)/n] / n
```

---

### Standard Deviation (Độ lệch chuẩn)

#### **Definitional**
```
σ = √[Σ(xi - x̄)² / n]
```

#### **Computational (Khuyến nghị)**
```
σ = √[Σxi²/n - x̄²]

Hoặc:
σ = √{[Σxi² - (Σxi)²/n] / n}
```

---

### Variance (Phương sai)

```
σ² = Σ(xi - x̄)² / n         (Definitional)
σ² = Σxi²/n - x̄²             (Computational)
```

---

## 🎯 BẢNG TÓM TẮT

### Các phương pháp chuẩn hóa

| Phương pháp | Công thức | Khi nào dùng |
|-------------|-----------|--------------|
| **Decimal Scaling** | x' = x/10^j | Nhanh, đơn giản |
| **Min-Max** | x' = (x-min)/(max-min)×(b-a)+a | Cần khoảng cụ thể [a,b] |
| **Z-Score** | x' = (x-μ)/σ | Dữ liệu phân phối chuẩn, ít outliers |
| **Modified Z-Score** | x' = 0.6745×(x-median)/MAD | **Có outliers**, cần robust |

**Lưu ý:**
- **Z-Score thường**: Nhạy cảm với outliers (dùng mean & σ)
- **Modified Z-Score**: Kháng nhiễu (dùng median & MAD)
- Phát hiện outliers: |Modified Z-Score| > 3.5

---

### Khi nào dùng Definitional vs Computational?

| Tình huống | Công thức | Lý do |
|-----------|-----------|-------|
| Có bảng chi tiết (xi - x̄) | Definitional | Đã tính sẵn |
| Chỉ có dữ liệu gốc | Computational | Nhanh hơn |
| Dùng máy tính/Excel | Computational | Ít sai số |
| Học lý thuyết | Definitional | Dễ hiểu |
| Thi trắc nghiệm | Computational | Tiết kiệm thời gian |

---

### Mức độ tương quan

| |r| | Mức độ |
|-----|--------|
| < 0.3 | Yếu |
| 0.3 - 0.7 | Trung bình |
| > 0.7 | Mạnh |

---

### Interval Notation

| Ký hiệu | Ý nghĩa | Ví dụ |
|---------|---------|-------|
| [a, b] | Bao gồm a VÀ b | [1, 5] → 1 ≤ x ≤ 5 |
| [a, b) | Bao gồm a, KHÔNG b | [1, 5) → 1 ≤ x < 5 |
| (a, b] | KHÔNG a, bao gồm b | (1, 5] → 1 < x ≤ 5 |

**Binning:**
- Equal-Width: [a, b) cho bins 1 đến n-1, [a, b] cho bin cuối
- Equal-Frequency: [a, b] cho tất cả bins

---

## 🔑 CÔNG THỨC QUAN TRỌNG NHẤT

### Top 12 công thức cần nhớ:

1. **Mean:** x̄ = Σxi / n
2. **Median:** Giá trị giữa sau khi sắp xếp
3. **Min-Max:** x' = (x - min)/(max - min)
4. **Z-Score:** x' = (x - μ)/σ
5. **Modified Z-Score:** x' = 0.6745×(x - median)/MAD
6. **σ (Computational):** √[Σxi²/n - x̄²]
7. **Cov (Computational):** Σ(xi·yi)/n - x̄·ȳ
8. **r (Correlation):** Cov(X,Y)/(σx × σy)
9. **Support:** Count(X)/Total
10. **Confidence:** Support(X∪Y)/Support(X)
11. **Entropy:** -Σ pi × log₂(pi)
12. **Euclidean Distance:** √[Σ(pi - qi)²]

---

## 💡 MẸO GHI NHỚ

**Computational vs Definitional:**
- **Definitional** = Dễ hiểu, nhiều bước
- **Computational** = Nhanh, ít sai số

**Normalization:**
- **Decimal Scaling** = Chia cho 10^j
- **Min-Max** = Đưa về khoảng [a, b]
- **Z-Score** = Chuẩn hóa theo phân phối (mean & σ)
- **Modified Z-Score** = Z-Score robust (median & MAD)

**Z-Score vs Modified Z-Score:**
- **Z-Score** = Dùng Mean & σ → Nhạy outliers
- **Modified Z-Score** = Dùng Median & MAD → Kháng outliers
- **MAD** = Median của |xi - median|
- **0.6745** = Hằng số để MAD tương đương σ khi phân phối chuẩn

**Binning:**
- **Equal-Width** = Chiều rộng đều → Bins có thể rỗng/đông
- **Equal-Frequency** = Số phần tử đều → Chiều rộng không đều

**Apriori:**
- **Support** = Tần suất xuất hiện
- **Confidence** = Khả năng Y xảy ra khi có X
- **Lift > 1** = X và Y liên quan

**ID3:**
- **Entropy cao** = Hỗn loạn (nhiều class khác nhau)
- **Gain cao** = Attribute tốt để phân chia
- Chọn **Gain cao nhất** làm root

**K-means:**
- Gán về **cluster gần nhất**
- Cập nhật centroid = **Trung bình điểm trong cluster**
- **SSE giảm** = Cluster tốt hơn

---

## ✅ CHECKLIST ÔN TẬP

### Trước khi thi, đảm bảo bạn biết:

**Tiền xử lý:**
- [ ] Tính Mean, Median, Mode
- [ ] Vẽ Boxplot, tìm outliers
- [ ] 4 phương pháp chuẩn hóa (Decimal, Min-Max, Z-Score, Modified Z-Score)
- [ ] Binning và smoothing
- [ ] Tính correlation (cả 2 cách: Definitional & Computational)

**Apriori:**
- [ ] Tính Support
- [ ] Tính Confidence
- [ ] Sinh luật kết hợp
- [ ] Biết khi nào dừng

**ID3:**
- [ ] Tính Entropy
- [ ] Tính Information Gain
- [ ] Chọn attribute tốt nhất
- [ ] Vẽ cây quyết định

**K-means:**
- [ ] Tính khoảng cách Euclid
- [ ] Gán điểm vào cluster
- [ ] Cập nhật centroid
- [ ] Tính SSE

---