Tối ưu hoá nâng cao

Mở đầu: cùng learning rate, một optimizer mất 149 bước, một optimizer chỉ mất 22

Tám bài trước dùng đúng một công thức cập nhật: $w \leftarrow w - \eta \nabla L$ (SGD thuần). Nó đúng về mặt toán học, nhưng ẩn một giả định ngầm nguy hiểm: một learning rate $\eta$ chung cho MỌI tham số. Giả định đó sai bất cứ khi nào loss "cong" khác nhau theo từng hướng — mà trong mạng neural thật, gần như luôn luôn là vậy. Bài này verify bằng số thật: thả cùng 1 điểm xuất phát, cùng 1 learning rate, lên $4$ optimizer khác nhau — SGD thuần cần $149$ bước để hội tụ, trong khi RMSProp chỉ cần $22$ bước. Cùng bài toán, cùng learning rate, chênh nhau gần $7$ lần.

Bạn sẽ xây Momentum và Adam thật vào NeuroJS (không phải giả lập), verify từng công thức bằng tính tay từng bước, và thấy $2$ cạm bẫy quan trọng không kém bản thân optimizer: khởi tạo trọng số sai làm mạng chết hoàn toàn trước cả khi backward chạy, và Adam — dù mạnh — không phải lúc nào cũng là lựa chọn đúng.

1. Vì sao SGD thuần chưa đủ: khe hẹp và giả định sai về 1 learning rate chung

Xét loss $L(x,y) = 0{,}1x^2 + 2y^2$ — một "khe hẹp" (ravine): cong rất mạnh theo $y$ (hệ số $2$), cong rất thoải theo $x$ (hệ số $0{,}1$), lệch nhau $20$ lần. Đạo hàm riêng: $\partial L/\partial x = 0{,}2x$, $\partial L/\partial y = 4y$. Với SGD thuần, mỗi tham số cập nhật theo đúng công thức $w \leftarrow w - \eta \cdot \partial L/\partial w$ — cùng $\eta$ cho cả $x$ lẫn $y$.

Chọn $\eta$ đủ nhỏ để hướng $y$ (cong mạnh) không phân kỳ: cần $|1 - 4\eta| < 1 \Rightarrow \eta < 0{,}5$ (đúng điều kiện hội tụ đã học ở Bài 2, áp cho hệ số cong $4$ thay vì $2$). Chọn $\eta = 0{,}1$: hướng $y$ co lại còn $|1-4\cdot0{,}1|=0{,}6$ mỗi bước — khá nhanh. Nhưng CHÍNH $\eta$ đó áp lên hướng $x$ chỉ co được $|1-0{,}2\cdot0{,}1|=0{,}98$ mỗi bước — cực chậm. Đây là cạm bẫy cốt lõi: không có giá trị $\eta$ nào chung vừa nhanh cho hướng dốc, vừa nhanh cho hướng thoải — $\eta$ đủ an toàn cho hướng cong nhất luôn làm hướng thoải nhất bò cực kỳ chậm.

Verify bằng số thật: xuất phát từ điểm $(-2, 1)$ (loss $= 0{,}1\cdot4 + 2\cdot1 = 2{,}4$), chạy SGD thuần với $\eta=0{,}1$ tới khi loss $< 0{,}001$:

Cùng điểm xuất phát, cùng $\eta=0{,}1$, cùng bài toán — $4$ con số hoàn toàn khác nhau. Ba mục sau giải thích chính xác vì sao.

2. Momentum: tích luỹ vận tốc thay vì nhìn đúng 1 gradient tức thời

Trực giác: một hòn bi lăn xuống dốc không dừng đột ngột mỗi khi mặt dốc nhấp nhô — nó có đà (quán tính) mang nó lướt qua những gồ ghề nhỏ, đồng thời cộng dồn tốc độ khi lăn liên tục theo một hướng. Công thức Momentum thay thế bước cập nhật SGD bằng $2$ dòng:

$$v \leftarrow \beta v + \nabla L \qquad w \leftarrow w - \eta v$$

Trong đó $v$ (vận tốc) là một biến trạng thái MỚI, khởi tạo $0$, được cập nhật mỗi bước; $\beta$ (thường $0{,}9$) quyết định "đà" giữ lại được bao nhiêu từ các bước trước — hệ số $0{,}9$ gần như phổ quát vì nó tương đương lấy trung bình trọng số trên xấp xỉ $1/(1-\beta)=10$ bước gần nhất, đủ để làm mượt nhiễu gradient mà không trễ quá nhiều so với hướng đi thật.

Tính tay $2$ bước với $w_0=5$, gradient CỐ ĐỊNH $g=2$ mỗi bước, $\eta=0{,}1$, $\beta=0{,}9$:

Bước $1$ giống hệt nhau (vì $v$ vừa khởi tạo bằng đúng gradient) — khác biệt bắt đầu lộ ra từ bước $2$: Momentum "nhớ" gradient bước trước nên đi xa hơn SGD thuần khi gradient liên tục cùng hướng, đúng như bảng đua ở Mục 1 cho thấy ($59$ bước so với $149$). Nesterov momentum là một biến thể tính gradient tại điểm "nhìn trước" theo hướng $v$ thay vì tại $w$ hiện tại — cải thiện thêm chút ít, ghi chú ở đây, không cài trong bài (PyTorch: momentum=0.9, nesterov=True).

3. RMSProp & Adam: chia bước theo TỪNG tham số

Momentum vẫn dùng 1 learning rate chung cho mọi tham số — nó làm mượt hướng đi nhưng không giải quyết gốc rễ khe hẹp. RMSProp giải quyết đúng điều đó: theo dõi trung bình động (EMA) của bình phương gradient $c$ riêng cho từng tham số, rồi chia learning rate cho căn của nó:

$$c \leftarrow \beta c + (1-\beta) g^2 \qquad w \leftarrow w - \frac{\eta}{\sqrt{c}+\epsilon}\, g$$

$\epsilon$ (thường $10^{-8}$) chỉ để tránh chia cho $0$. Tham số có gradient LỚN liên tục (như $y$ trong khe hẹp Mục 1) sẽ có $c$ lớn $\Rightarrow$ bước tự động NHỎ lại; tham số gradient nhỏ có $c$ nhỏ $\Rightarrow$ bước tự động LỚN lên — đúng cơ chế cân bằng $2$ hướng cong khác nhau mà $1$ learning rate chung không làm được. Tính tay $2$ bước, cùng $w_0=5$, $g=2$ cố định, $\eta=0{,}1$, $\beta=0{,}9$:

Adam = Momentum + RMSProp + bias correction, đúng $3$ dòng công thức:

$$m \leftarrow \beta_1 m + (1-\beta_1) g \qquad v \leftarrow \beta_2 v + (1-\beta_2) g^2 \qquad w \leftarrow w - \eta \frac{\hat{m}}{\sqrt{\hat{v}}+\epsilon}, \quad \hat{m}=\frac{m}{1-\beta_1^t},\ \hat{v}=\frac{v}{1-\beta_2^t}$$

Giải nghĩa từng ký hiệu: $m$ là EMA của gradient (giống $v$ Momentum, đổi tên vì lý do lịch sử), $v$ là EMA của $g^2$ (giống $c$ RMSProp), $t$ là số bước đã chạy (bắt đầu từ $1$), $\beta_1=0{,}9$, $\beta_2=0{,}999$ (giá trị mặc định gần như mọi nơi). Vì sao cần bias correction: $m, v$ khởi tạo $0$ nên vài bước ĐẦU bị kéo lệch về $0$ — chia cho $(1-\beta_1^t)$ và $(1-\beta_2^t)$ sửa đúng độ lệch đó, và hệ số này tự động tiến về $1$ khi $t$ lớn (không cần tắt thủ công).

4. Khởi tạo trọng số: sai một ly, mạng chết trước cả khi học

Optimizer tốt đến đâu cũng không cứu được một mạng khởi tạo sai. Có $2$ lỗi kinh điển, cả hai đều biểu hiện trước khi backward chạy — ngay ở forward pass.

Khởi tạo toàn $0$: nghe hợp lý ("bắt đầu từ trung lập") nhưng giết mạng hoàn toàn. Với MLP $2\to H\to1$, mọi $W_1, b_1, W_2, b_2 = 0$: $z_1 = 0$ (mọi hidden unit), $a_1=\text{relu}(0)=0$ (mọi unit, MỌI input). Đạo hàm $\partial L/\partial W_2 = a_1^\top \cdot \partial L/\partial z_2 = 0$ (vì $a_1=0$) nên $W_2$ đứng yên ở $0$ mãi mãi; $\partial L/\partial a_1 = \partial L/\partial z_2 \cdot W_2^\top = 0$ (vì $W_2=0$) nên $\partial L/\partial W_1 = 0$ — cả $W_1$ lẫn $W_2$ đóng băng vĩnh viễn ở $0$, bất kể train bao lâu. Chỉ có bias đầu ra $b_2$ còn nhận được gradient (không nhân với $a_1$), nên mạng thoái hoá thành "chỉ học đúng $1$ hằng số", hoàn toàn phớt lờ input.

Xavier/He: lời giải là khởi tạo trọng số ngẫu nhiên với phương sai tỉ lệ nghịch với fan-in (số input của layer đó) — giữ phương sai của activation gần như KHÔNG ĐỔI qua từng layer, thay vì co lại hoặc phình ra theo cấp số nhân:

$$\text{Xavier: } \sigma = \sqrt{\frac{1}{\text{fan\_in}}} \qquad \text{He: } \sigma = \sqrt{\frac{2}{\text{fan\_in}}}$$

Xavier (Glorot & Bengio 2010) suy ra từ giả định activation TUYẾN TÍNH (hoặc tanh/sigmoid gần gốc toạ độ). He (2015) nhân thêm hệ số $2$ vì ReLU cắt bỏ đúng nửa giá trị âm mỗi layer — không bù hệ số này, phương sai vẫn suy giảm dần dù dùng Xavier trên mạng ReLU sâu.

5. LR schedule, warmup & batch norm — 3 ý tưởng bổ trợ

Learning rate schedule: thay vì giữ $\eta$ cố định suốt quá trình train, giảm dần theo thời gian — $\eta$ lớn giúp tiến nhanh lúc đầu (còn xa điểm tối ưu), $\eta$ nhỏ giúp "định vị" chính xác khi đã gần tới nơi (tránh zigzag quanh đáy như đã thấy ở Bài 2). Hai kiểu phổ biến:

// Step decay: giam nua sau moi 1000 epoch
function stepDecay(epoch, baseLr) {
  return baseLr * Math.pow(0.5, Math.floor(epoch / 1000));
}
// Cosine annealing: giam muot theo duong cosin ve gan 0 cuoi qua trinh train
function cosineDecay(epoch, totalEpochs, baseLr) {
  return baseLr * 0.5 * (1 + Math.cos((Math.PI * epoch) / totalEpochs));
}

Warmup: tăng DẦN $\eta$ từ $0$ lên mức mục tiêu trong vài trăm bước đầu, TRƯỚC khi áp dụng schedule giảm dần ở trên. Lý do: ở những bước đầu tiên, $\hat{v}$ của Adam (EMA của $g^2$) chưa đủ dữ liệu để ước lượng ổn định — bias correction giúp một phần nhưng không loại bỏ hết nhiễu ước lượng ban đầu, nên $\eta$ đầy đủ ngay từ bước $1$ có thể gây bước nhảy quá lớn dựa trên một ước lượng phương sai còn nhiễu. Mạng càng sâu, batch càng lớn, càng cần warmup — đây là lý do gần như MỌI quy trình huấn luyện LLM đều có vài nghìn bước warmup ở đầu (nếm trước Bài 16).

Batch normalization (mức khái niệm — KHÔNG cài đặt trong bài): chuẩn hoá activation (trừ trung bình, chia độ lệch chuẩn theo batch) NGAY GIỮA các layer, không chỉ ở input. Trực giác: thay vì chỉ kiểm soát phương sai bằng cách chọn đúng $\sigma$ init (Xavier/He, vốn chỉ là "phỏng đoán tốt lúc khởi tạo" rồi thả trôi), batch norm CHỦ ĐỘNG ép phương sai activation về mức ổn định ở MỌI bước huấn luyện, không chỉ bước đầu. Đây là kỹ thuật giúp mạng rất sâu (hàng chục, hàng trăm layer) train ổn định — series này không cài đặt vì cần thêm khái niệm running statistics train/eval (tương tự cạm bẫy dropout đã học ở Bài 8) vượt phạm vi 1 bài; ghi nhận rõ đây là giới hạn có chủ đích, không phải thiếu sót.

6. Thực hành: đua 4 optimizer trên cùng loss landscape

Xem trực tiếp $4$ optimizer — SGD, Momentum, RMSProp, Adam — xuất phát từ CÙNG điểm $(-2, 1)$ trên khe hẹp $L=0{,}1x^2+2y^2$, cùng $\eta=0{,}1$, chạy autograd thật (backward() của Bài 7) qua từng bước:

Đối chiếu công nghiệp: PyTorch cung cấp sẵn cả 4 optimizer, chỉ đổi 1 dòng khởi tạo:

# Doi chieu 1-1 voi 4 optimizer da cai trong ai-neuro.js
import torch.optim as optim

opt_sgd      = optim.SGD(model.parameters(), lr=0.1)
opt_momentum = optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
opt_rmsprop  = optim.RMSprop(model.parameters(), lr=0.1, alpha=0.9)
opt_adam     = optim.Adam(model.parameters(), lr=0.1, betas=(0.9, 0.999))
# AdamW: weight decay KHONG bi tron vao buoc chia adaptive (xem canh bao Muc 3)
opt_adamw    = optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01)

# LR schedule + warmup - doi chieu Muc 5
scheduler = optim.lr_scheduler.CosineAnnealingLR(opt_adam, T_max=1000)

Tóm lược

• ✅ SGD thuần dùng 1 learning rate chung cho mọi tham số — sai trên khe hẹp (loss cong khác nhau theo từng hướng); verified: $149$ bước tới hội tụ so với $22$ của RMSProp, cùng $\eta$.
• ✅ Momentum tích luỹ vận tốc $v \leftarrow \beta v + \nabla L$ — $\beta=0{,}9$ gần như phổ quát (tương đương trung bình $10$ bước gần nhất); verified giảm còn $59$ bước.
• ✅ RMSProp/Adam chia learning rate theo EMA của $g^2$ TỪNG THAM SỐ — Adam thêm bias correction, gần như không nhạy scale gradient (verified: bước $\approx\eta$ mỗi lần, bất kể $g$ lớn nhỏ) nhưng KHÔNG luôn thắng SGD+momentum (đặc biệt vision) và L2 trong Adam cần AdamW để đúng nghĩa weight decay.
• ✅ Zero-init giết mạng vĩnh viễn (verified: dự đoán y hệt nhau trên $2$ input hoàn toàn khác nhau); Xavier/He giữ phương sai qua nhiều layer bằng cách tỉ lệ nghịch fan-in (verified: He ổn định $\approx0{,}78$ trong khi $\sigma$ sai lệch vanish/explode tới $10^{-51}$/$10^{29}$ qua $20$ layer) — hỏng ngay từ FORWARD, trước cả khi cần tới optimizer.
• ✅ LR schedule + warmup giảm $\eta$ dần theo thời gian, tăng dần từ $0$ ở đầu; batch norm (khái niệm) chuẩn hoá activation giữa layer, chủ động hơn init tĩnh — cả hai đều nền móng cho các bài huấn luyện thật sau này của series.