Bất bình đẳng Oracle: Về cơ bản

Tôi đang xem một bài báo sử dụng bất bình đẳng tiên tri để chứng minh điều gì đó nhưng tôi không thể hiểu nó thậm chí đang cố gắng làm gì. Khi tôi tìm kiếm trực tuyến về 'Bất bình đẳng Oracle', một số nguồn đã hướng tôi đến bài viết "Candes, Emmanuel J. 'Ước tính thống kê hiện đại thông qua bất đẳng thức orory.' "Có thể tìm thấy ở đây https://statweb.stanford.edu/~candes/ con / NonlinearEstimation.pdf . Nhưng cuốn sách này có vẻ quá nặng đối với tôi và tôi tin rằng tôi thiếu một số điều kiện tiên quyết.

Câu hỏi của tôi là: Làm thế nào bạn sẽ giải thích một bất đẳng thức orory là gì đối với một chuyên ngành phi toán học (bao gồm các kỹ sư)? Thứ hai, làm thế nào bạn muốn giới thiệu họ đi về các điều kiện tiên quyết / chủ đề trước khi cố gắng học một cái gì đó như cuốn sách được đề cập ở trên.

Tôi đặc biệt khuyên những người có hiểu biết cụ thể và lượng kinh nghiệm tốt trong thống kê chiều cao nên trả lời điều này.

Tôi sẽ cố gắng giải thích nó trong trường hợp tuyến tính. Hãy xem xét các mô hình tuyến tính Khi p ≤ n (số biến độc lập ít hoặc tương đương thì số quan sát) và ma trận thiết kế có cấp bậc đầy đủ, ước lượng bình phương nhỏ nhất của b là b = ( X T X )

$$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$$ $p \leq n$$b$và lỗi dự đoán là ‖ X ( b - β 0 ) ‖ 2 $$\hat{b}=(X^TX)^{-1}X^TY$$ từ đó chúng ta có thể suy raE‖X( b -β0)‖ 2 $$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$$ Điều đó có nghĩa là mỗi tham sốβ 0 j được ước tính với độ chính xác bình phươngσ2/n,j=1,. . . ,tr. Vì vậy, độ chính xác bình tổng thể của bạn là(σ2/n)p $$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$$ $\beta_j^0$$\sigma^2/n, j=1,...,p.$$(\sigma^2/n)p.$

Bây giờ nếu số lượng quan sát ít hơn số lượng biến độc lập thì sao? Chúng tôi "tin" rằng không phải tất cả các biến độc lập của chúng tôi đều có vai trò trong việc giải thích Y , vì vậy chỉ có một số ít, nói k , trong số chúng là khác không. Nếu chúng ta biết biến nào là khác không, chúng ta có thể bỏ qua tất cả các biến khác và theo đối số trên, độ chính xác bình phương tổng thể sẽ là ( σ 2 / n ) k $(p>n)$$Y$$k$$(\sigma^2/n)k.$

$l_1$$\lambda$$\hat{\beta}$$\lambda$$\lambda$

$$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$$ $\log p$$const.$$p$$n$