Tiêu đề [SGU][Assignment-1] NLP - Skip-gram (DCT122C3).docx ✅

● Tham số: Kích thước vector nhúng: . Tỷ lệ học . ● Thiết lập tham số ban đầu: - : Ma trận nhúng đầu vào (mỗi hàng là vector nhúng cho một từ). W = [ [0.01, 0.02, 0.03], # I (0) [0.02, 0.03, 0.04], # love (1) [0.03, 0.04, 0.05], # eating (2) [0.04, 0.05, 0.06], # pizza (3) [0.05, 0.06, 0.07], # with (4) [0.06, 0.07, 0.08] # friends (5) ] - : Ma trận nhúng đầu ra (mỗi cột là vector ngữ cảnh cho một từ). U = [[0.01, 0.02, 0.03, 0.04, 0.05, 0.06], [0.02, 0.03, 0.04, 0.05, 0.06, 0.07], [0.03, 0.04, 0.05, 0.06, 0.07, 0.08] ] Skip-gram không có Negative Sampling (Softmax đầy đủ) Phần này sử dụng softmax đầy đủ để tính xác suất trên toàn bộ từ vựng, sử dụng hàm mất mát Cross-Entropy. Sử dụng cặp mẫu đã chọn để tính toán quá trình huấn luyện Skip- gram (vector hóa, lan truyền tiến, mất mát, lan truyền ngược, cập nhật tham số, v.v.). Bài tập 1: Vector hóa và Lan truyền tiến (2 điểm) Thực hiện vector hóa từ trung tâm "eating" (index=2) thành vector one-hot. Tính vector nhúng của từ trung tâm từ ma trận W W W. Tính điểm số bằng cách sử dụng ma trận U và embedding trung tâm. Tính giá trị softmax cho tất cả các từ trong từ vựng. Trình bày tất cả các bước tính toán chi tiết. Bài tập 2: Hàm mất mát với Softmax (3 điểm)