Tại sao biến Gaussian tiềm ẩn (nhiễu) cho GAN?

Khi tôi đọc về GAN, điều tôi không hiểu là tại sao mọi người thường chọn đầu vào cho GAN (z) để làm mẫu từ Gaussian? - và sau đó cũng có những vấn đề tiềm ẩn liên quan đến điều này?

Tại sao mọi người thường chọn đầu vào cho GAN (z) để lấy mẫu từ Gaussian?

Nói chung, vì hai lý do: (1) đơn giản toán học, (2) hoạt động đủ tốt trong thực tế. Tuy nhiên, như chúng tôi giải thích, theo các giả định bổ sung, sự lựa chọn Gaussian có thể hợp lý hơn.

So sánh với phân phối đồng đều . Phân phối Gaussian không đơn giản như phân phối đồng đều nhưng nó cũng không quá xa. Nó bổ sung giả định "tập trung xung quanh giá trị trung bình" vào tính đồng nhất, điều này mang lại cho chúng ta những lợi ích của việc chính quy hóa trong các vấn đề thực tế.

Ít được biết đến nhất . Việc sử dụng Gaussian là hợp lý nhất cho các đại lượng liên tục mà chúng ta ít biết đến nhất , ví dụ như tiếng ồn hoặc hệ số tiềm ẩn . "Ít được biết đến nhất" có thể được chính thức hóa thành " phân phối tối đa hóa entropy cho một phương sai nhất định ". Câu trả lời cho việc tối ưu hóa này là cho ý nghĩa tùy ý . Do đó, theo nghĩa này, nếu chúng ta giả sử rằng một đại lượng là ít được biết đến với chúng ta, sự lựa chọn tốt nhất là Gaussian. Tất nhiên, nếu chúng ta có thêm kiến ​​thức về số lượng đó, chúng ta có thể làm tốt hơn giả định "ít được biết đến" nhất, như sẽ được minh họa trong các ví dụ sau.$\epsilon$$z$$N(\mu, \sigma^2)$$\mu$

Định lý giới hạn trung tâm . Một cách biện minh khác thường được sử dụng là vì nhiều quan sát là kết quả (trung bình) của số lượng lớn các quy trình độc lập [gần như], do đó CLT biện minh cho sự lựa chọn của Gaussian. Đây không phải là một lời biện minh tốt bởi vì cũng có nhiều hiện tượng trong thế giới thực không tuân theo Quy tắc (ví dụ: phân phối theo luật điện ) và vì biến số này ít được biết đến nhất với chúng ta, chúng ta không thể quyết định những tương tự trong thế giới thực này là gì thích hợp hơn

Đây sẽ là câu trả lời cho "tại sao chúng ta giả sử nhiễu Gaussian trong hồi quy xác suất hoặc bộ lọc Kalman ?" quá.

Có những vấn đề tiềm ẩn liên quan đến điều này?

Đúng. Khi chúng ta giả sử Gaussian, chúng ta đang đơn giản hóa. Nếu đơn giản hóa của chúng tôi là không chính đáng, mô hình của chúng tôi sẽ hoạt động kém. Tại thời điểm này, chúng ta nên tìm kiếm một giả định thay thế. Trong thực tế, khi chúng ta đưa ra một giả định mới về đại lượng ít được biết đến nhất (dựa trên kiến ​​thức thu được hoặc suy đoán), chúng ta có thể trích xuất giả định đó và đưa ra giả thuyết Gaussian mới , thay vì thay đổi giả định Gaussian. Đây là hai ví dụ:

1. Ví dụ trong hồi quy (nhiễu) . Giả sử chúng ta không có kiến ​​thức về quan sát$A$ (ít được biết đến nhất), do đó chúng tôi giả sử $A \sim N(\mu, \sigma^2)$. Sau khi khớp mô hình, chúng ta có thể quan sát thấy phương sai ước tính là cao. Sau khi điều tra, chúng tôi có thể giả sử rằng là hàm tuyến tính của phép đo , do đó chúng tôi trích xuất giả định này là , trong đó là "ít được biết đến" mới. Sau đó, chúng tôi có thể phát hiện ra rằng giả định tuyến tính của chúng tôi cũng yếu vì sau khi lắp mô hình, cũng có . Sau đó, chúng tôi có thể trích xuất một giả định mới là , trong đó$\hat{\sigma}^2$$A$$B$$A = \color{blue}{b_1B +c} + \epsilon_1$$\epsilon_1 \sim N(0, \sigma_1^2)$$\hat{\epsilon}_1 = A - \hat{b}_1B -\hat{c}$$\hat{\sigma}_1^2$$A = b_1B + \color{blue}{b_2B^2} + c + \epsilon_2$$\epsilon_2 \sim N(0, \sigma_2^2)$ là "ít được biết đến" nhất, v.v.

2. Ví dụ trong GAN (yếu tố tiềm ẩn) . Khi thấy các đầu ra không thực tế từ GAN (kiến thức), chúng tôi có thể thêm giữa và đầu ra (giả định trích xuất), với hy vọng rằng mạng mới (hoặc chức năng) với mới sẽ dẫn đến kết quả đầu ra thực tế hơn, v.v.$\color{blue}{\text{more layers}}$$z$$z_2 \sim N(0, \sigma_2^2)$