Nội dung text Skip Gram + Glove + FastText.pdf
SkipGram + Glove + FastText SkipGram + Glove + FastText
Vấn đề của CBOW CBOW Problems Dự đoán từ mục tiêu từ những từ xung quanh Từ xung quanh Từ xung quanh Tôi là người Nam Việt Hàm Softmax Trên bộ từ điển Khi từ điển lớn lên Tốc độ chậm đi
Tôi là người Việt Nam Cách giải quyết - Skip Gram Solution - Skip Gram Tôi là người Việt Nam Tôi là người Việt Nam Window size = 1 là Tôi là người Input Label 1 1 người là người Việt Việt người Việt Nam 1 1 1 1 Sinh cặp token đi liền nhau và đánh nhãn 1 (nhãn Positive) 1
Skip-Gram Skip-Gram 2 Negative sampling Lựa chọn các cặp token không đi liền nhau Bộ từ điển Dựa vào tần suất xuất hiện người cua Việt quýt là lối 0 0 0 Input Label