Tiêu đề [NLP Class] Bert.pdf ✅

Bert Bidirectional Encoder Representations from Transformers
Encoder Layers Decoder Layers Attention is the Core
Vấn đề Problem Ông già đang đi du lịch Không giờ ông đi nhanh thế TF-IDF Glove Word2Vec Các mô hình này cố định vector biểu diễn của từ đi mặc dù cùng là từ đi nhưng trong hai câu này thể hiện ngữ nghĩa khác nhau
Problems Word Embeddings (2013 - 2014) Dữ liệu không nhãn nhiều nhưng ít được sử dụng Dữ liệu có nhãn ít Word2Vec, Glove Biểu diễn một từ thông qua sự xuất hiện của những từ xung quanh Điểm yếu Biểu diễn các từ vẫn còn yếu (shallow representations) Một số model không dùng Embedding chỉ giảm độ chính xác dưới 1% Cần một biểu diễn mạnh/ động hơn (thậm chí có thể thay đổi theo ngữ cảnh) LSTM-based BERT(2018) , GPT(2018) Thông tin word-level khó xác định phù hợp với bài toán cụ thể nào. ULMfit, ELMO (2018) Transformer-based Biểu diễn sâu Deep Representation