Smooth Smoothness của một thống kê cho bootstrapping?

Tôi đã tự hỏi nếu có ai có thể giải thích những gì có nghĩa là bằng cách nói một thống kê không 'trơn tru'.

Ví dụ, trong 2.6.2 tr. 41 của Davison và Hinkley , họ nói về các số liệu thống kê rằng "phụ thuộc vào mẫu theo cách không vững chắc hoặc không ổn định sao cho lý thuyết mở rộng tiêu chuẩn không áp dụng".

Nó cũng đề cập đến một chức năng là một chức năng khác biệt của các khoảnh khắc mẫu nhưng tôi không chắc liệu đây có phải là "trơn tru" hay không.

Nếu vậy, bạn có thể giải thích những gì có nghĩa là cụm từ đó?

bootstrap

— Con ong
nguồn

$\newcommand{\OLS}{\operatorname{OLS}}$ Đây thực chất là một câu hỏi về toán học, không phải thuật ngữ thống kê, theo như tôi có thể nói.

Dù sao vấn đề là số liệu thống kê không phải là một chức năng khả vi của mẫu, hoặc không phải là $n-$ lần liên tục chức năng khả vi của mẫu.

Nói cách khác, có thể có những nơi mà phản ứng của thống kê đối với các thay đổi trong mẫu không lý tưởng hoặc đột ngột không hấp dẫn (do đó, thuật ngữ 'trơn tru'), theo cách mà các hàm tuyến tính hoặc đa thức của dữ liệu, ví dụ, không bao giờ có thể có.

Các trang Wikipedia về chức năng mượt mà có lẽ là không cần thiết về kỹ thuật tại các điểm, nhưng hy vọng một số các hình ảnh và thảo luận mở rộng có thể cung cấp cho bạn một số trực giác cho những gì có nghĩa là để được gợi lên bởi thuật ngữ 'mượt'.

Nếu một chức năng nhất định là "chức năng khác biệt của các khoảnh khắc mẫu" thì đó có thể là chức năng trơn tru của các khoảnh khắc mẫu, tùy thuộc vào ý nghĩa "trơn tru" nào được sử dụng trong ngữ cảnh đó. Tôi thường thấy "trơn tru" được sử dụng có nghĩa là vô cùng nhiều lần liên tục khác nhau (ví dụ như đa thức hoặc hàm tuyến tính hoặc sin và cosin), nhưng đôi khi thuật ngữ này có thể được sử dụng theo nghĩa ít nghiêm ngặt hơn, như trang Wikipedia đề cập.

Trong mọi trường hợp, bạn chắc chắn đúng rằng nó liên quan đến sự khác biệt - đó là ý tưởng chính.

Ngoài ra, đáng chú ý là tồn tại các chức năng liên tục nhưng không "trơn tru" - ý tưởng là trong khi tính liên tục nói chung là một tính chất đều đặn tốt đẹp, trong nhiều trường hợp, nó vẫn cho phép nhiều hành vi bệnh lý không mong muốn, trong khi hành vi bệnh lý như vậy không thể xảy ra đối với các chức năng trơn tru, bởi vì chúng thậm chí còn đẹp hơn so với các chức năng liên tục.

Ví dụ: Xem xét, ví dụ, công cụ ước tính LASSO với hiệp phương sai trực giao:

${\hat{β}}_{j} = S_{N λ} ({\hat{β}}_{j}^{OLS}) = {\hat{β}}_{j}^{OLS} max {0, 1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}},$ $\hat{\beta}_j = S_{N \lambda}(\hat{\beta}_j^{\OLS}) = \hat{\beta}_j^{\OLS} \max\left\{ 0, 1 - \frac{N \lambda}{\left|\hat{\beta}^{\OLS}_j \right|} \right\},$ trong đó . $\hat{\beta}^{OLS} = (X^T X)^{-1}X^Ty = X^T y$

Trước tiên, chúng tôi lưu ý rằng là tuyến tính theo tọa độ của và vì là tuyến tính trong và , vì vậy (giả sử rằng hoặc đại diện cho mẫu) tất cả là các hàm hoàn toàn trơn tru và không phải là nguồn gốc của độ không mịn. Thay vào đó, bất kỳ độ không mượt nào đều xuất phát từ hàm tối đa được tìm thấy trong định nghĩa của , vì tôi sẽ cố gắng thuyết phục bạn bên dưới. $\hat{\beta}_j^{\OLS}$ $X$ $y$ $\hat{\beta}^{\OLS}$ $X$ $y$ $X$ $y$ $\hat{\beta}_j^{\OLS}$ $\max$ $\hat{\beta}_j$

Chúng tôi sử dụng danh tính (đã thảo luận và chứng minh ở đây ) để viết lại biểu thức trên như sau: $\max\{x, y \} = \frac{x+y +|x-y|}{2}$

\begin{array}{rcl} {\hat{β}}_{j} & = & \frac{{\hat{β}}_{j}^{OLS}}{2} [- (\frac{N λ}{| {\hat{β}}_{j}^{OLS} |} - 1) + | \frac{N λ}{| {\hat{β}}_{j}^{OLS} |} - 1 |] \\ = & {\begin{cases} 0, & when \frac{N λ}{| {\hat{β}}^{OLS} |} \geq 1 \\ {\hat{β}}_{j}^{OLS} (1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}), & when \frac{N λ}{| {\hat{β}}^{OLS} |} \leq 1 \end{cases} \end{array}

$\begin{array}{rcl} \hat{\beta}_j & = & \displaystyle\frac{\hat{\beta}_j^{\OLS}}{2}\left[ -\left( \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} - 1 \right) + \left|\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|}-1\right| \enspace \right] \\ & = & \begin{cases} 0, & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \ge 1 \\ \hat{\beta}_j^{\OLS}\left(1 - \displaystyle\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right), & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \le 1 \end{cases} \end{array}$

Được viết dưới dạng này, rõ ràng là chúng ta có ít nhất hai nguồn có thể cho hành vi không trơn tru: (1) khi , khiến mẫu số biến mất, (2) và các cusps có thể tại (các) điểm trong đó: vì tất nhiên tại các điểm này là "dán cùng nhau" của hai chức năng khác nhau mà, mặc dù chúng có cùng giá trị tại các điểm mà $\hat{\beta}_j^{\OLS}=0$

\frac{N λ}{| {\hat{β}}_{j}^{OLS} |} = 1 ⟺ N λ = | {\hat{β}}_{j}^{OLS} |,

$\frac{N \lambda}{\left| \hat{\beta}^{\OLS}_j \right|} = 1 \iff N\lambda = \left| \hat{\beta}^{\OLS}_j \right|,$

{\hat{β}}_{j}

$\hat{\beta}_j$

(0 and {\hat{β}}_{j}^{OLS} (1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}))

$\left(0\text{ and }\hat{\beta}_j^{\OLS}\left(1 - \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right) \right)$

N λ = | {\hat{β}}_{j}^{OLS} |

$N\lambda = \left| \hat{\beta}^{\OLS}_j \right|$ , có thể không nhất thiết "chơi đẹp" với nhau theo cách mà các công cụ phái sinh bên trái và bên phải đồng ý cho tất cả . Ví dụ cơ bản nhất về chức năng mà điều này không xảy ra làtại giá trị : đạo hàm tay trái đầu tiên của nó là và đạo hàm tay phải đầu tiên của nó là , vì vậy nó không trơn tru ở . Tôi nghi ngờ rằng một hiện tượng tương tự có thể xảy ra đối với hàm tại những điểm mà, khiến không phải là một chức năng trơn tru của các đầu vào của nó.

n

$n$

| x |

$|x|$

x = 0

$x=0$

- 1

$-1$

1

$1$

x = 0

$x=0$

{\hat{β}}_{j}

$\hat{\beta}_j$

N λ = | {\hat{β}}_{j}^{OLS} |

$N \lambda = \left| \hat{\beta}^{\OLS}_j \right|$

{\hat{β}}_{j}

$\hat{\beta}_j$

Hàm chỉ cần trơn tru đối với các đối số đầu vào của nó để được coi là trơn tru. Có lẽ các đối số đầu vào của nó là chính mẫu hoặc một số hàm của mẫu. Nếu là một hàm của hàm của mẫu, thì người ta có thể bằng thành phần có được một hàm mới mà bỏ qua người trung gian (nghĩa là trả lại cùng một kết quả quan tâm và trực tiếp là một chức năng của mẫu). Theo quy tắc chuỗi, hàm tổng hợp này trơn tru khi và chỉ khi cả hai chức năng và $\hat{\beta}_j$ $g$ $\hat{\beta}_j$ $g$ $\hat{\beta}_j \circ g$ $\tilde{\hat{\beta}}_j$ $\tilde{\hat{\beta}}_j = \hat{\beta}_j \circ g$ $\hat{\beta}_j$ $g$ đều trơn tru.

— Chill2Macht
nguồn

Rất cảm ơn cho câu trả lời của bạn! Bất kỳ ai đó sẽ đưa ra một ví dụ về cách bạn sẽ kiểm tra điều này cho một số thống kê đơn giản? Tôi thấy phần về cách thống kê 'thay đổi trong mẫu' khá khó hiểu. Tôi không chắc chắn làm thế nào một thống kê sẽ thay đổi trong một mẫu ?? Tôi không chắc là tôi rõ chức năng nào sẽ được phân biệt và liên quan đến biến nào ??

— Ong

@Bee Tôi sẽ không hứa bất cứ điều gì, nhưng nếu bạn gõ đoạn văn bạn đang đề cập (đặc biệt là định nghĩa của thống kê trong câu hỏi) tôi có thể thử xem nó. Một lý do phổ biến cho các hàm không được trơn tru là các điểm kỳ dị biệt lập, ví dụ khi hàm là một phân số và mẫu số bằng 0 tại một điểm. Đó là trường hợp với bạn thống kê? vi.wikipedia.org/wiki/Singularity_(mathatures)

— Chill2Macht

Vì vậy, ví dụ, công cụ ước tính LASSO với các hiệp phương trực giao được đưa ra tại wikipedia rõ ràng phần max () của hàm này có thể đưa ra một số vấn đề về độ mịn nhưng biến số cần phải là 'trơn tru' đối với ... nghĩ về Bols khi thay đổi là một khái niệm kỳ lạ

— Bee

chỉ b / c Tôi không biết cách viết OLS beta như trong ví dụ và làm cho nó trông phù hợp

— Bee

@William +1 Câu trả lời hay. Một kết luận là hơi thiếu. Tôi cho rằng một cái gì đó dọc theo dòng 'Do đó bootstrap được áp dụng để ước tính phương sai của là không hợp lệ vì thống kê là một hàm không trơn tru trong và '.

{\hat{β}}_{j}

$\hat{\beta}_j$

X

$X$

y

$y$

— tomka