Title [Exercise] MLP ✅

c. Lớp đầu ra: ▪ Tính bằng cách nhân đầu ra lớp ẩn 2 với trọng số và cộng bias. ▪ Cuối cùng áp dụng sigmoid để thu được giá trị đầu ra dự đoán . 4. Yêu cầu: o Ghi lại chi tiết từng bước tính và giá trị sau kích hoạt. o Đối chiếu với nhãn thực tế , giải thích ý nghĩa của . ─────────────────────────────────────────────── BÀI TẬP 3: TÍNH HÀM MẤT MÁT (LOSS) VỚI BINARY CROSS-ENTROPY ─────────────────────────────────────────────── 1. Mục tiêu: Tính giá trị hàm mất mát (loss) theo phương pháp thủ công. 2. Công thức: 3. Cách làm: o Sử dụng giá trị dự đoán đã tính ở Bài Tập 2 và nhãn thực tế . o Tính log, chú ý cách tính log bằng tay (có thể ước lượng hoặc tra bảng). o Thay vào công thức để có được giá trị loss cho một mẫu. 4. Yêu cầu: o Trình bày rõ các bước thay số, kết quả trung gian (phép tính , ). o Viết kết quả cuối cùng của loss. ─────────────────────────────────────────────── BÀI TẬP 4: LAN TRUYỀN NGƯỢC (BACKPROPAGATION) CHO MỘT MẪU ─────────────────────────────────────────────── 1. Mục tiêu: Hiểu cách áp dụng đạo hàm (chain rule) để tính gradient của hàm mất mát theo từng tham số. 2. Các bước chính: a. Đầu ra (Output layer): ▪ Tính dựa vào và . ▪ Tiếp theo tính và . b. Lớp ẩn 2 (Hidden layer 2): ▪ Xác định bằng cách nối chain rule từ . ▪ Sau đó tính (chú ý ReLU có nếu , ngược lại ).
▪ Cuối cùng, tính và . c. Lớp ẩn 1 (Hidden layer 1): ▪ Tương tự, truyền ngược gradient xuống, tính , , rồi . 3. Gợi ý: o Viết công thức tường minh: , hay đôi khi rút gọn với binary cross- entropy. Lưu ý cách áp dụng cho hàm sigmoid, ReLU. o Tại mỗi bước cần cẩn thận với dấu và giá trị của đạo hàm ReLU. 4. Yêu cầu: o Liệt kê công thức từng bước. o Tính gradient bằng tay (hoặc từng bước giải thích, nếu không ước lượng chính xác thì nêu cách ước lượng). ─────────────────────────────────────────────── BÀI TẬP 5: CẬP NHẬT THAM SỐ BẰNG GRADIENT DESCENT ─────────────────────────────────────────────── Mục tiêu: Cách áp dụng Gradient Descent để cập nhật trọng số và bias. 1. Công thức cập nhật: trong đó là tốc độ học (learning rate). 2. Cách làm: o Giả sử (hoặc một giá trị nhỏ khác). o Từ các giá trị gradient đã tính ở Bài Tập 4, hãy cập nhật mọi trọng số, bias ở: ▪ Lớp đầu ra. ▪ Lớp ẩn 2. ▪ Lớp ẩn 1. 3. Yêu cầu: o Thể hiện rõ từng tham số (ví dụ: , , etc.). o Ghi lại giá trị mới sau cập nhật. ─────────────────────────────────────────────── BÀI TẬP 6: TỔNG HỢP VÀ SO SÁNH KẾT QUẢ TRƯỚC VÀ SAU MỘT LẦN CẬP NHẬT ─────────────────────────────────────────────── Mục tiêu: Thấy rõ hiệu quả của một vòng lan truyền tiến–lan truyền ngược–cập nhật tham số.