Title [Exercise] RNN & Attention (Machine Translation).docx ✅

Hướng dẫn: ● Thủ công: o Tính : o Tính softmax: , với . o Ghi từng bước trên giấy. Kết quả mong đợi: Sinh viên hiểu Decoder nhận từ Encoder và token ground truth (teacher forcing) để sinh chuỗi đích. Bài tập 3: Decoder sinh token không dùng teacher forcing Mục tiêu: Hiểu cách Decoder hoạt động trong inference, sử dụng token dự đoán thay vì ground truth. Tình huống: ● Tương tự Bài tập 2, nhưng trong inference, Decoder dùng token dự đoán từ bước trước. ● Chuỗi đích: “Je mange”. ● Bước 1 sinh “Je”, bước 2 dùng “Je” (dự đoán) làm input. Dữ liệu giả lập: Giữ nguyên từ Bài tập 2. Yêu cầu: 1. Tính toán thủ công: o Lặp lại bước 1 từ Bài tập 2 (input: <sos>, sinh ). o Lấy token dự đoán “Je” (argmax của ) làm input cho bước 2. o Tính , . o Ghi công thức và kết quả trên giấy. 2. Giải thích: Trong sheet “Giải thích”, trả lời: