Tiêu đề 3.8 Hàm kích hoạt tuyến tính (Linear Activation Function).docx ✅

Hàm kích hoạt tuyến tính (Linear Activation Function) I. Các từ viết tắt, vietsub - Bias (độ lệch): là một tham số bổ sung được thêm vào các phép tính trong các lớp của mạng. Từ Viết tắt / vietsub Non-linearity Phi tuyến tính Activation Function AF II. Định nghĩa - AF tuyến tính, còn được gọi là AF đồng nhất, là một trong những AF đơn giản nhất được sử dụng trong NNs. - Nó được định nghĩa là: với c = 1 tức là hàm đồng nhất. Hàm này vô cùng trơn tru, nhưng tất cả các đạo hàm ngoài đạo hàm bậc hai đều bằng không. Phạm vi của hàm là . - Ở cấp độ cơ bản nhất, một NN là một đồ thị tính toán thực hiện các phép tổ hợp của các hàm đơn giản hơn để cung cấp một hàm phức tạp hơn. Phần lớn sức mạnh của học sâu (deep learning) phát sinh từ việc lặp lại phép tổ hợp các hàm có khả năng biểu đạt đáng kể. - Tuy nhiên, không phải tất cả các hàm cơ sở đều tốt như nhau trong việc đạt được mục tiêu này. Thực tế, các hàm nén phi tuyến tính được sử dụng trong NN không được chọn một cách tùy ý mà được thiết kế cẩn thận do một số loại thuộc tính nhất định. 1. Định lý 3.1: Một mạng nơ-ron nhân tạo nhiều lớp chỉ sử dụng AF làm danh tính trong tất cả các lớp của nó sẽ được thu gọn thành mạng nơ-ron nhân tạo một lớp. Chứng minh: - Hãy xem xét một NN chứa lớp ẩn và do đó chứa tổng cộng lớp tính toán (bao gồm lớp đầu ra). - Các ma trận trọng số tương ứng giữa các lớp liên tiếp được biểu thị bằng . - Giả sử là vectơ cột tương ứng với đầu vào, là các vectơ cột sau kích hoạt tương ứng với các lớp ẩn và là vectơ cột m chiều tương ứng với đầu ra.
Trường hợp 1 (Không có bias – độ lệch): - Chúng ta có các điều kiện đệ quy sau đây cho các mạng nơ-ron đa lớp: (1) (2) (3) - Trong tất cả các trường hợp trên, hàm kích hoạt AF σ(.) được đặt thành hàm identity. Sau đó, bằng cách loại bỏ các biến lớp ẩn, chúng ta thu được kết quả sau: Sài công thức (2) → Trong đó là đại diện cho phép nhân các ma trận từ . Trường hợp 2 (Có bias): - Chúng ta có các điều kiện đệ quy sau đây cho các mạng nơ-ron đa lớp: - Trong tất cả các trường hợp trên, hàm kích hoạt AF σ(.) được đặt thành hàm identity. Sau đó, bằng cách loại bỏ các biến lớp ẩn, chúng ta thu được kết quả sau:
- Ta đặt: - Vậy ta viết lại công thức dưới dạng: → Như vậy, chỉ sử dụng AF làm danh tính trong tất cả các lớp của nó sẽ được thu gọn thành mạng nơ-ron nhân tạo một lớp. → Bằng cách kết hợp đúng các trọng số, độ lệch và AF, ta có thể cấu hình mạng nơ-ron để đầu ra gần đúng với hàm số f(x) gốc. Độ chính xác được xác định bởi một giá trị nhỏ ε mà ta có thể làm nhỏ tùy ý 2. Định đề 3.2: - Hàm tuyến tính là - Phép hợp của các hàm tuyến tính luôn là một hàm tuyến tính. + Ví dụ: → vẫn là hàm tuyến tính - Phép hợp lặp lại của các hàm phi tuyến đơn giản có thể tạo thành một hàm phi tuyến rất phức tạp. + Ví dụ: → → Phức tạp hơn.