Vấn đề với gì?

Tôi biết rằng đây là hệ thống giải bài toán phương trình tuyến tính.

Nhưng câu hỏi của tôi là tại sao nó là một vấn đề số lượng quan sát thấp hơn số lượng người dự đoán làm thế nào điều đó có thể xảy ra?

Không phải bộ sưu tập dữ liệu đến từ thiết kế khảo sát tinh tế hoặc thiết kế thử nghiệm đến mức ít nhất họ nghĩ về điều này?

Nếu việc thu thập dữ liệu muốn thu thập 45 biến để tiến hành nghiên cứu thì tại sao anh ta lại thu thập dưới 45 quan sát? Tôi có bỏ lỡ điều gì không và mặc dù phần chọn mô hình cũng đã loại bỏ các biến không cải thiện trên phản hồi và luôn luôn biến được thu thập sẽ bị loại thành phải không? $45-(45-p)$

Vậy thì tại sao chúng ta sẽ phải đối mặt với giải pháp không độc đáo trong những trường hợp đó?

Điều này có thể xảy ra trong nhiều tình huống, một vài ví dụ là:

1. Phân tích dữ liệu y tế tại bệnh viện. Các nhà nghiên cứu y học nghiên cứu về một loại ung thư đặc biệt chủ yếu có thể thực hiện thu thập dữ liệu tại bệnh viện của họ và tôi nghĩ rằng họ không cố gắng thu thập nhiều biến số có thể từ một bệnh nhân cụ thể như tuổi, giới tính, kích thước khối u, MRI, khối lượng CT.
2. Micro platerhead nghiên cứu mảng trong tin sinh học. Nó thường là trường hợp bạn không có nhiều loài nhưng bạn muốn có thể kiểm tra càng nhiều hiệu ứng càng tốt.
3. Phân tích bằng hình ảnh. Bạn thường có 16 triệu pixel trong khi rất khó thu thập và lưu trữ nhiều hình ảnh đó.
4. Tái tạo MRI thường là những vấn đề tương tự, cần kỹ thuật hồi quy thưa thớt và cải thiện chúng thực sự là một câu hỏi chính trong nghiên cứu hình ảnh MRI.

Giải pháp là thực sự, để xem xét tài liệu hồi quy và tìm ra những gì tốt nhất cho ứng dụng của bạn.

1. Nếu bạn có kiến ​​thức về miền, hãy kết hợp với bản phân phối trước đó của bạn và thực hiện phương pháp Bayesian với Hồi quy tuyến tính Bayes.

2. Nếu bạn muốn tìm một giải pháp thưa thớt, phương pháp Bayes theo kinh nghiệm xác định mức độ phù hợp tự động có thể là cách tốt nhất.

3. Nếu bạn nghĩ rằng với vấn đề của bạn, việc có một khái niệm xác suất là không phù hợp (như giải một hệ phương trình tuyến tính), thì có thể đáng để xem xét giả giả Moore-Penrose.

4. Bạn có thể tiếp cận nó từ góc độ lựa chọn tính năng và giảm số lượng p cho đến khi nó là một vấn đề được đặt ra.

Đây là một câu hỏi rất hay. Khi số lượng dự đoán ứng viên nhiều hơn cỡ mẫu hiệu quả và người ta không đặt ra bất kỳ hạn chế nào đối với các hệ số hồi quy (ví dụ: một người không sử dụng độ co rút, còn gọi là ước lượng khả năng tối đa hoặc chính quy hóa bị phạt), tình huống là vô vọng. Tôi nói rằng vì nhiều lý do bao gồm$p$$n$

• Nếu bạn nghĩ về số lượng tổ hợp tuyến tính không dự phòng của các biến có thể được phân tích, thì số này là . Ví dụ: bạn thậm chí không thể tính toán , ít tin cậy hơn, các thành phần chính vượt quá .$\leq \min(n, p)$$\min(n, p)$
• Với và không có hai tọa độ trên một đường thẳng đứng khi vẽ đồ thị , người ta có thể đạt được cho bất kỳ tập dữ liệu nào ngay cả khi dân số thực là 0,0.$p = n$$y$$(x, y)$$R^{2}=1.0$$R^2$
• Nếu bạn sử dụng bất kỳ thuật toán lựa chọn tính năng nào, chẳng hạn như các mô hình hồi quy từng bước đáng sợ, danh sách các tính năng "được chọn" về cơ bản sẽ là một tập hợp các tính năng ngẫu nhiên mà không có hy vọng sao chép trong một mẫu khác. Điều này đặc biệt đúng nếu có các mối tương quan giữa các tính năng ứng cử viên, ví dụ, đồng tuyến tính.
• Giá trị của cần thiết để ước tính với độ chính xác khá, hệ số tương quan đơn giữa hai biến là khoảng 400. Xem tại đây .$n$

Nói chung, một nghiên cứu có ý định phân tích 45 biến số trên 45 đối tượng được lên kế hoạch kém và cách duy nhất để giải cứu nó mà tôi biết là

• Chỉ định trước một hoặc hai dự đoán để phân tích và bỏ qua phần còn lại
• Sử dụng ước lượng bị phạt như hồi quy sườn núi để phù hợp với tất cả các biến nhưng lấy các hệ số với một hạt muối (chiết khấu nặng)
• Sử dụng giảm dữ liệu, ví dụ: các thành phần chính, phân cụm biến, các thành phần chính thưa thớt (yêu thích của tôi) như được thảo luận trong sách RMS và ghi chú khóa học của tôi . Điều này liên quan đến việc kết hợp các biến khó phân tách và không cố gắng ước tính các hiệu ứng riêng cho chúng. Với bạn chỉ có thể nhận được bằng 2 điểm bị sập khi chơi với . Giảm dữ liệu (học tập không giám sát) dễ hiểu hơn hầu hết các phương pháp khác.$n=45$$y$

Một chi tiết kỹ thuật: nếu bạn sử dụng một trong các phương pháp lựa chọn / hình phạt biến kết hợp tốt nhất như lasso hoặc lưới đàn hồi, bạn có thể giảm cơ hội vượt mức nhưng cuối cùng sẽ thất vọng vì danh sách các tính năng được chọn rất không ổn định và sẽ không sao chép bộ dữ liệu.