Tiêu đề Learning Algorithm.pdf ✅

Các thuật toán học nâng cao Advanced Learning Algorithms
Convex và Non-convex Convex vs Non-convex Hàm lồi Convex Hàm không lồi Non-Convex Không có những điểm yên ngựa, điểm cực tiểu cục bộ Sigmoid là hàm lồi với x < 0 và hàm lõm với x > 0 Nếu một đường thẳng chia bất kỳ 2 điểm trên đồ thị của hàm lồi, tất cả các điểm nằm trên đường thẳng này sẽ cùng thuộc một convex set. Convex Set Non-convex Set Hàm lồi là gì?
NN là hàm Non-convex NN is a Non-convex function Biến đổi tuyến tính Biến đổi phi tuyến (Convex) Biến đổi tuyến tính ... Sự kết hợp của nhiều hàm convex sẽ tạo ra hàm non-convex Neural networks là hàm universal function approximators, có thể xấp xỉ bất cứ một hàm nào nếu đủ nơ ron. Tại sao Neural Network lại là Non-convex ??? Biến đổi phi tuyến (Convex) Tính phi tuyến (nonlinearity) của Neural Network làm cho hàm mất mát (Maximum likelihood estimation với hidden variables) trở thành Non-convex
Bề mặt hàm mất mát Loss Surface Hồi quy tuyến tính Mạng nơ ron