Thống kê và dữ liệu lớn hyperparameter

1

Chọn kích thước xe buýt nhỏ phù hợp cho độ dốc dốc ngẫu nhiên (SGD)

Có tài liệu nào kiểm tra sự lựa chọn kích thước xe buýt nhỏ khi thực hiện giảm độ dốc ngẫu nhiên không? Theo kinh nghiệm của tôi, nó dường như là một lựa chọn theo kinh nghiệm, thường được tìm thấy thông qua xác nhận chéo hoặc sử dụng …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Mật độ siêu nhân cho mô hình Gamma-Poisson phân cấp

Trong một mô hình thứ bậc của dữ liệu nơi y ~ Poisson ( λ ) λ ~ Gamma ( α , β ) nó dường như là điển hình trong thực tế để chọn giá trị ( α , β ) mà giá trị trung bình và phương sai …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Tại sao chúng ta không học các thông số siêu?

Tôi đã thực hiện một bài báo khá phổ biến " GIẢI THÍCH VÀ KIỂM TRA TÀI LIỆU THAM KHẢO " và trong bài báo, nó huấn luyện một chức năng mục tiêu đối nghịch J '' (θ) = αJ (θ) + (1 - α) J '(θ). Nó coi α …

11 machine-learning neural-networks deep-learning hyperparameter

2

Làm cách nào để sử dụng XGboost.cv với tối ưu hóa siêu đường kính?

Tôi muốn tối ưu hóa siêu đường kính của XGboost bằng cách sử dụng giá trị chéo. Tuy nhiên, không rõ làm thế nào để có được mô hình từ xgb.cv. Ví dụ tôi gọi objective(params)từ fmin. Sau đó mô hình được trang bị trên dtrainvà xác nhận trên dvalid. …

11 cross-validation python boosting hyperparameter gradient

1

Mối liên hệ giữa tỷ lệ học tập và số lớp ẩn?

Có quy tắc nào giữa độ sâu của mạng lưới thần kinh và tốc độ học tập không? Tôi đã nhận thấy rằng mạng lưới càng sâu thì tỷ lệ học tập phải càng thấp. Nếu đó là chính xác, tại sao vậy?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Xác thực chéo lồng nhau - nó khác với lựa chọn mô hình qua kprint CV trên tập huấn luyện như thế nào?

Tôi thường thấy mọi người nói về xác nhận chéo 5x2 là một trường hợp đặc biệt của xác thực chéo lồng nhau . Tôi giả sử số thứ nhất (ở đây: 5) đề cập đến số lần gấp trong vòng lặp bên trong và số thứ hai (ở đây: …

10 machine-learning cross-validation hyperparameter

1

Trong hồi quy tuyến tính tại sao chính quy hóa cũng xử phạt các giá trị tham số?

Hiện đang học hồi quy sườn và tôi hơi bối rối về việc xử phạt các mô hình phức tạp hơn (hoặc định nghĩa của một mô hình phức tạp hơn). Theo những gì tôi hiểu, độ phức tạp của mô hình không nhất thiết tương quan với thứ tự …

9 regression regularization hyperparameter

1

Tại sao thông tin về dữ liệu xác nhận bị rò rỉ nếu tôi đánh giá hiệu suất mô hình trên dữ liệu xác thực khi điều chỉnh siêu âm?

Trong bài học sâu của François Chollet với Python, nó nói: Do đó, việc điều chỉnh cấu hình của mô hình dựa trên hiệu suất của nó trên bộ xác thực có thể nhanh chóng dẫn đến việc quá mức cho bộ xác thực, mặc dù mô hình của bạn …

9 neural-networks cross-validation hyperparameter

1

Một số sự không hài lòng của tối ưu hóa tham số siêu bayes là gì?

Tôi còn khá mới đối với học máy và thống kê nhưng tôi đã tự hỏi tại sao tối ưu hóa bayes không được nhắc đến trực tuyến thường xuyên hơn khi học máy học để tối ưu hóa siêu âm thuật toán của bạn? Ví dụ: sử dụng khung …

8 machine-learning optimization hyperparameter bayesian-optimization

1

Làm thế nào để có được siêu âm tối ưu sau khi xác nhận chéo lồng nhau?

Nói chung, nếu chúng ta có một tập dữ liệu lớn, chúng ta có thể chia nó thành (1) đào tạo, (2) xác nhận và (3) kiểm tra. Chúng tôi sử dụng xác nhận để xác định các siêu âm tốt nhất trong xác thực chéo (ví dụ: C trong …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

1

Lựa chọn siêu tham số Bayes đầy đủ trong GPML

Có thể thực hiện lựa chọn siêu tham số Bayesian (1) gần đúng (ví dụ thang đo hiệp phương sai) với mã GPML, thay vì tối đa hóa khả năng cận biên (2) không? Tôi nghĩ rằng việc sử dụng các phương pháp MCMC để giải quyết các tích phân …

8 bayesian model-selection gaussian-process hyperparameter

2

Hiểu dừng sớm trong các mạng thần kinh và ý nghĩa của nó khi sử dụng xác nhận chéo

Tôi hơi bối rối và bối rối trước ý tưởng về cách xác định kỹ thuật dừng sớm. Nếu bạn xem Wikipedia , nó được định nghĩa như sau: Chia dữ liệu đào tạo thành tập huấn luyện và tập xác thực, ví dụ theo tỷ lệ 2 trên 1. …

8 machine-learning neural-networks cross-validation hyperparameter

3

Giải thích từng bước về xác thực chéo K-gấp với tìm kiếm dạng lưới để tối ưu hóa siêu đường kính

Tôi nhận thức rõ về các ưu điểm của xác thực chéo k-Fold (và bỏ qua một lần), cũng như các ưu điểm của việc tách tập huấn luyện của bạn để tạo tập hợp 'xác thực' thứ ba mà bạn sử dụng để đánh giá hiệu suất mô hình …

7 machine-learning cross-validation hyperparameter optimization

Câu hỏi được gắn thẻ «hyperparameter»