Điều đó có nghĩa gì đối với dữ liệu huấn luyện được tạo bởi phân phối xác suất trên các tập dữ liệu

Tôi đang đọc cuốn sách Deep Learning và tình cờ thấy đoạn sau (trang 109, đoạn thứ hai):

Dữ liệu huấn luyện và kiểm tra được tạo bởi phân phối xác suất trên các bộ dữ liệu được gọi là quá trình tạo dữ liệu. Chúng tôi thường tạo ra một tập hợp các giả định được gọi chung là các giả định iid. Các giả định này là các ví dụ trong mỗi tập dữ liệu độc lập với nhau và tập huấn luyện và tập kiểm tra được phân phối giống hệt nhau, được rút ra từ cùng một phân phối xác suất như nhau. Giả định này cho phép chúng tôi mô tả quá trình tạo dữ liệu với phân phối xác suất qua một ví dụ duy nhất. Phân phối tương tự sau đó được sử dụng để tạo mọi ví dụ về tàu và mọi ví dụ kiểm tra. Chúng tôi gọi phân phối cơ bản được chia sẻ đó là phân phối tạo dữ liệu, ký hiệu là$p_{\text{data}}$. Khung xác suất này và các giả định iid cho phép chúng tôi nghiên cứu một cách toán học mối quan hệ giữa lỗi đào tạo và lỗi kiểm tra.

Ai đó có thể vui lòng giải thích cho tôi ý nghĩa của đoạn này?

Ở trang 122 đoạn cuối, nó cũng đưa ra một ví dụ

một tập hợp các mẫu được phân phối độc lập và giống hệt nhau theo phân phối Bernoulli với trung bình .$\{x(1), \dots, x(m) \}$$\theta$

Điều đó có nghĩa là gì?

Dưới đây là một vài câu hỏi cụ thể hơn.

1. Phân phối xác suất trên các tập dữ liệu: Các tập dữ liệu là gì? Làm thế nào là phân phối xác suất được tạo ra?

2. Các ví dụ là độc lập với nhau. Bạn có thể cho tôi một ví dụ về nơi các ví dụ phụ thuộc?

3. Rút ra từ phân phối xác suất giống nhau. Giả sử phân phối xác suất là Gaussian. Có phải thuật ngữ "Phân phối xác suất giống nhau" có nghĩa là tất cả các ví dụ được rút ra từ phân phối Gaussian có cùng giá trị trung bình và phương sai không?

4. "Giả định này cho phép chúng tôi". Điều đó có nghĩa là gì?

5. Cuối cùng, đối với đoạn cuối của trang 122, người ta cho rằng các mẫu tuân theo phân phối Bernoulli. Điều này có nghĩa là trực giác?

1. Phân phối xác suất trên bộ dữ liệu: Bộ dữ liệu là gì? Làm thế nào là phân phối xác suất được tạo ra?

Khi chúng tôi có thể ước tính các phân phối cơ bản của dữ liệu đầu vào, về cơ bản chúng tôi biết cách chúng được chọn và có thể dự đoán tốt. (mô hình thế hệ). Thông thường, chúng ta có thể giả định một phân phối cơ bản theo những gì chúng ta tin (thiên vị quy nạp). Ví dụ: nếu chúng tôi tin rằng có xác suất cao rằng các giá trị gần bằng 0, chúng tôi có thể lấy phân phối Gaussian với giá trị trung bình và điều chỉnh các tham số như phương sai khi chúng tôi đào tạo. Các bộ dữ liệu, ví dụ, tập hợp tất cả các lần tung đồng xu và phân phối giả định sẽ là nhị thức. Khi chúng tôi nói tối đa hóa khả năng ghi nhật ký cho các điểm dữ liệu thực tế, chúng tôi sẽ nhận được các tham số đó làm cho tập dữ liệu phù hợp với phân phối giả định.$0$

2. Các ví dụ là độc lập với nhau. Bạn có thể cho tôi một ví dụ về nơi các ví dụ phụ thuộc?

Ví dụ: chúng tôi ném một đồng xu và nếu chúng tôi có một cái đầu, chúng tôi sẽ ném một cái khác nếu không thì không. Ở đây có một sự phụ thuộc giữa các lần tung tiếp theo

3. Rút ra từ phân phối xác suất giống nhau. Giả sử phân phối xác suất là Gaussian. Có phải thuật ngữ "phân phối xác suất giống nhau" có nghĩa là tất cả các ví dụ được rút ra từ phân phối Gaussian có cùng giá trị trung bình và phương sai không?

4. "Giả định này cho phép chúng tôi". Điều đó có nghĩa là gì?

Đúng. Đó là lý do tại sao (4) được nói. Khi bạn có phân phối xác suất từ ​​một ví dụ, bạn không cần các ví dụ khác để mô tả quy trình tạo dữ liệu.

5. Cuối cùng, đối với đoạn cuối của trang 122, người ta cho rằng các mẫu tuân theo phân phối Bernoulli. Điều này có nghĩa là trực giác?

Nó có nghĩa là mỗi ví dụ có thể được coi là tung đồng xu. Nếu thử nghiệm là nhiều lần tung đồng xu, bạn sẽ có mỗi lần tung đồng xu độc lập với xác suất đầu là . Tương tự, nếu bạn chọn bất kỳ thử nghiệm nào khác, kết quả của mỗi ví dụ có thể được coi là tung đồng xu hoặc xúc xắc n chiều.$\frac{1}{2}$

Tạo các ví dụ có nghĩa là có được một phân phối gần nhất với những gì chúng ta thấy trong tập dữ liệu để đào tạo. Điều đó có được bằng cách giả sử một phân phối và tối đa hóa khả năng của tập dữ liệu đã cho và xuất ra các tham số tối ưu.