Bình thường hóa có nghĩa là gì và làm thế nào để xác minh rằng một mẫu hoặc phân phối được chuẩn hóa?

18

Tôi có một câu hỏi trong đó nó yêu cầu xác minh xem liệu phân phối Đồng phục ( ) có được chuẩn hóa hay không. ${\rm Uniform}(a,b)$

Đối với một, nó có nghĩa là gì đối với bất kỳ phân phối được chuẩn hóa?
Và hai, làm thế nào để chúng ta đi xác minh xem một phân phối có được chuẩn hóa hay không?

Tôi hiểu bằng cách tính toán chúng tôi nhận được dữ liệu chuẩn hóa , nhưng ở đây yêu cầu xác minh xem phân phối có được chuẩn hóa hay không.

\frac{X - mean}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

— Ada
nguồn

3

Điều đó có nghĩa là phân phối được chuẩn hóa không đơn giản như vậy (và nó thường không phải là bản phân phối được chuẩn hóa, mà là biến ngẫu nhiên). Ví dụ, trong trường hợp đồng phục, một số người có thể có nghĩa là "thay đổi kích thước tuyến tính để có được đồng phục tiêu chuẩn" (nghĩa là lấy và ) ... trong khi một người khác có thể có nghĩa là "thay đổi tuyến tính như vậy để có nghĩa là 0 và sd 1 ". Đối với đồng phục, tôi thường giả sử đầu tiên, nhưng như bạn thấy từ một câu trả lời dưới đây, những người khác có thể coi nó là một thứ khác. Lựa chọn tốt nhất là yêu cầu người sử dụng thuật ngữ này ít mơ hồ hơn.

a = 0

$a=0$

b = 1

$b=1$

— Glen_b -Reinstate Monica

1

Các thuật ngữ thông thường hơn được tiêu chuẩn hóa (để đạt được giá trị trung bình bằng 0 và SD của một) và được chuẩn hóa (để đưa phạm vi về khoảng hoặc để thay đổi định mức vectơ thành ). Do đó, biểu thức lại là một tiêu chuẩn hóa trong khi nhân mật độ với hằng số để tạo là một chuẩn hóa , bởi vì

là định mức

của

.

[0, 1]

$[0,1]$

1

$1$

X \to (X - mean) / S D

$X\to (X-\text{mean})/SD$

f

$f$

C

$C$

\int_{- \infty}^{\infty} C f (x) d x = 1

$\int_{-\infty}^\infty Cf(x)dx=1$

\int f (x) d x

$\int f(x)dx$

L^{1}

$L^1$

f

$f$

— whuber

Cũng hỏi về toán.SE.

— Dilip Sarwate

1

Xin đừng đăng chéo , @Ada. Điều đó là trái với chính sách SE. Nếu bạn đăng Q trên 1 trang web và sau đó nghĩ rằng bạn nên đăng nó trên một trang khác, hãy gắn cờ Q của bạn và yêu cầu người kiểm duyệt di chuyển nó cho bạn.

— gung - Phục hồi Monica

33

Thật không may, các thuật ngữ được sử dụng khác nhau trong các lĩnh vực khác nhau, bởi những người khác nhau trong cùng một lĩnh vực, v.v., vì vậy tôi không chắc điều này có thể được trả lời tốt như thế nào cho bạn ở đây. Bạn nên chắc chắn rằng bạn biết định nghĩa mà người hướng dẫn / sách giáo khoa của bạn đang sử dụng cho "chuẩn hóa". Tuy nhiên, đây là một số định nghĩa phổ biến:

Trung tâm: Tiêu chuẩn hóa:

X - m e a n

$X-{\rm mean}$

Chuẩn hóa:

\frac{X - mean}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

Chuẩn hóatheo nghĩa này sẽ chuyển dữ liệu của bạn về khoảng thời gian đơn vị. Chuẩnhóa biến dữ liệu của bạn thành

-scores, như ghi chú @Jeff. Vàtập trungchỉ làm cho giá trị trung bình của dữ liệu của bạn bằng để

.

\frac{X - min (X)}{max (X) - min (X)}

$\frac{X-\min(X)}{\max(X)-\min(X)}$

z

$z$

0

$0$

Điều đáng công nhận ở đây là cả ba trong số này là các phép biến đổi tuyến tính ; như vậy, chúng không thay đổi hình dạng phân phối của bạn . Đó là, đôi khi mọi người gọi phép biến đổi -score là "bình thường hóa" và tin rằng, vì sự liên kết của -scores với phân phối bình thường, rằng điều này đã làm cho dữ liệu của họ được phân phối bình thường. Điều này không phải như vậy (vì @Jeff cũng lưu ý và như bạn có thể biết bằng cách vẽ dữ liệu của mình trước và sau). Nếu bạn quan tâm, bạn có thể thay đổi hình dạng dữ liệu của mình bằng cách sử dụng nhóm biến đổi Box-Cox chẳng hạn. $z$ $z$

Đối với cách bạn có thể xác minh các biến đổi này, nó phụ thuộc vào chính xác ý nghĩa của điều đó. Nếu chúng có nghĩa đơn giản là kiểm tra xem mã có chạy đúng không, bạn có thể kiểm tra phương tiện, SD, mức tối thiểu và mức tối đa.

— gung - Phục hồi Monica
nguồn

1

Φ^{- 1} (F (X))

$\Phi^{-1}(F(X))$

4

Bằng cách sử dụng công thức bạn đã cung cấp cho mỗi điểm trong mẫu của mình, bạn sẽ chuyển đổi tất cả chúng thành điểm z .

$0$ $1$

Mục đích của việc này là đặt mọi thứ theo đơn vị so với độ lệch chuẩn của mẫu của bạn. Điều này có thể hữu ích cho nhiều mục đích khác nhau, chẳng hạn như so sánh hai bộ dữ liệu khác nhau được ghi bằng các đơn vị khác nhau (centimet và inch, có lẽ).

Điều quan trọng là đừng nhầm lẫn điều này với việc hỏi liệu phân phối có bình thường không , tức là liệu nó có xấp xỉ phân phối Gaussian hay không .

— Jeff
nguồn

Vì vậy, để kiểm tra xem phân phối Đồng nhất có được chuẩn hóa hay không, nó có tương đương với E (X) = 0 và Var (X) = 1 trong đó X ~ Đồng phục (a, b) không?

2

dữ liệu thậm chí không phải từ một phân phối thống nhất, chúng có thể từ bất kỳ phân phối nào. Ngoài ra, điều này chỉ đúng khi sử dụng công thức bạn cung cấp; dữ liệu có thể được chuẩn hóa theo những cách khác hơn là sử dụng điểm z. chẳng hạn, điểm số IQ được cho là bình thường hóa với số điểm 100 và độ lệch chuẩn là 15.

— Jeff

1

Sau khi tham khảo ý kiến của TA, câu hỏi được đặt ra là liệu có

\int_{- \infty}^{\infty} f (x) d x = = 1

$\int_{-\infty}^{\infty}f(x)dx=1$

$f(x)$

— Ada
nguồn

2

1

$1$

Đây là những gì chúng tôi được yêu cầu xác minh. f (x) không thực sự phải là pdf và nó có thể là bất kỳ hàm không âm nào. Đối với bất kỳ hàm không âm nào mà ở trên không thỏa mãn, chúng ta luôn có thể nhân với hằng số chuẩn hóa

— Ada

1

f (x) = e^{- x}

$f(x)=e^{-x}$

Đó không phải là bất kỳ hàm không âm nào trong đó chúng ta có thể làm cho nó thỏa mãn điều kiện trên ngay cả khi chúng ta nhân với hằng số chuẩn hóa.

— Ada