Độ lệch tuyệt đối trung bình so với độ lệch chuẩn

Trong sách giáo khoa "Toán học toàn diện mới cho cấp độ O" của Greer (1983), tôi thấy độ lệch trung bình được tính như thế này:

Tổng hợp sự khác biệt tuyệt đối giữa các giá trị đơn và giá trị trung bình. Sau đó lấy trung bình của nó. Tập hợp các chương thuật ngữ độ lệch trung bình được sử dụng.

Nhưng gần đây tôi đã thấy một số tài liệu tham khảo sử dụng thuật ngữ độ lệch chuẩn và đây là những gì họ làm:

Tính bình phương của sự khác biệt giữa các giá trị đơn và giá trị trung bình. Sau đó lấy trung bình của họ và cuối cùng là gốc của câu trả lời.

Tôi đã thử cả hai phương pháp trên một tập hợp dữ liệu chung và câu trả lời của chúng khác nhau. Tôi không phải là một nhà thống kê. Tôi đã bối rối trong khi cố gắng dạy lệch cho trẻ em của tôi.

Vì vậy, trong ngắn hạn, các điều khoản độ lệch chuẩn và độ lệch trung bình là như nhau hoặc là cuốn sách văn bản cũ của tôi sai?

Cả hai trả lời khoảng cách giá trị của bạn được lan truyền xung quanh giá trị trung bình của các quan sát.

Một quan sát có giá trị trung bình là 1 "khác xa" so với giá trị trung bình là 1 trên giá trị trung bình. Do đó bạn nên bỏ qua dấu hiệu của sự sai lệch. Điều này có thể được thực hiện theo hai cách:

• Tính giá trị tuyệt đối của độ lệch và tính tổng của chúng.

• Bình phương các độ lệch và tổng hợp các hình vuông này. Do hình vuông, bạn cho trọng số nhiều hơn với độ lệch cao, và do đó tổng của các hình vuông này sẽ khác với tổng phương tiện.

Sau khi tính toán "tổng độ lệch tuyệt đối" hoặc "căn bậc hai của tổng độ lệch bình phương", bạn tính trung bình cho chúng để có "độ lệch trung bình" và "độ lệch chuẩn" tương ứng.

Độ lệch trung bình hiếm khi được sử dụng.

Ngày nay, các giá trị thống kê chủ yếu được tính bằng các chương trình máy tính (Excel, ...), chứ không phải bằng máy tính cầm tay nữa. Do đó, tôi cho rằng việc tính toán "độ lệch trung bình" không cồng kềnh hơn so với tính toán "độ lệch chuẩn". Mặc dù độ lệch chuẩn có thể có "... các đặc tính toán học làm cho nó hữu ích hơn trong thống kê", trên thực tế, đó là một biến dạng của khái niệm phương sai từ một giá trị trung bình, vì nó làm tăng thêm trọng số cho các điểm dữ liệu khác xa trung bình. Có thể mất một chút thời gian, nhưng tôi, với một người, hy vọng các nhà thống kê sẽ quay lại sử dụng "độ lệch trung bình" thường xuyên hơn khi thảo luận về phân phối giữa các điểm dữ liệu - nó thể hiện chính xác hơn cách chúng ta thực sự nghĩ về phân phối.

Cả hai đều đo cùng một khái niệm, nhưng không bằng nhau.

$\frac{1}{n} \sum |x_i-\bar{x}|$$\sqrt{\frac{1}{n} \sum (x_i-\bar{x})^2}$

$\sqrt{a+b} \neq \sqrt{a} + \sqrt{b}$
$\sum|x_i-\bar{x}| = \sum \sqrt{(x_i-\bar{x})^2} \neq \sqrt{\sum(x_i-\bar{x})^2}$

$n$

$\frac{1}{n}\sum \sqrt{(x_i-\bar{x})^2}$

Lý do tại sao độ lệch chuẩn được ưa thích là vì về mặt toán học dễ dàng hơn để làm việc sau này, khi các phép tính trở nên phức tạp hơn.

@itsols, tôi sẽ thêm vào khái niệm quan trọng của Kasper rằng The mean deviation is rarely used. Tại sao độ lệch chuẩn được coi là thước đo độ biến thiên tốt hơn độ lệch tuyệt đối trung bình? Bởi vì trung bình số học là quỹ tích của độ lệch bình phương tối thiểu (và không phải tổng của độ lệch tuyệt đối) từ nó.

Giả sử bạn muốn đánh giá mức độ của lòng vị tha. Sau đó, bạn có thể sẽ không hỏi một người về việc anh ta sẵn sàng cho tiền bao nhiêu trong "tình hình chung" của cuộc sống. Thay vào đó, bạn sẽ chọn hỏi anh ta đã sẵn sàng làm điều đó bao nhiêu trong tình huống bị buộc, nơi anh ta có thể tái định cư tối thiểu cho cuộc sống của chính mình. Tức là số lượng của lòng vị tha cá nhân trong tình huống khi số tiền đó là tối thiểu của cá nhân là gì?

Tương tự như vậy, mức độ biến đổi của các dữ liệu này là gì? Theo trực giác, chỉ số đo lường tốt nhất cho nó là chỉ số được tối thiểu hóa (hoặc tối đa hóa) xuống đến giới hạn trong bối cảnh này. Bối cảnh là "xung quanh ý nghĩa số học". Rồi st. sai lệch là sự lựa chọn tốt nhất theo nghĩa này. Nếu bối cảnh là "xung quanh trung vị" thì có nghĩa là | độ lệch | sẽ là sự lựa chọn tốt nhất, bởi vì trung vị là quỹ tích của độ lệch tuyệt đối tối thiểu từ nó.

Một điều đáng bổ sung là lý do rất có thể khiến sách giáo khoa 30 tuổi của bạn sử dụng độ lệch trung bình tuyệt đối so với độ lệch chuẩn là dễ dàng hơn để tính toán bằng tay (không có căn bậc hai / bình phương). Bây giờ các máy tính có thể dễ dàng truy cập đối với học sinh trung học, không có lý do gì để không yêu cầu họ tính toán độ lệch chuẩn.

Vẫn còn một số tình huống sử dụng độ lệch tuyệt đối thay vì độ lệch chuẩn trong điều chỉnh mô hình phức tạp. Độ lệch tuyệt đối ít nhạy cảm hơn với các ngoại lệ cực đoan (giá trị cách xa đường trung bình / đường xu hướng) so với độ lệch chuẩn vì chúng không bình phương khoảng cách đó trước khi thêm nó vào các giá trị từ các điểm dữ liệu khác. Do các phương pháp phù hợp mô hình nhằm giảm tổng độ lệch khỏi đường xu hướng (tính theo độ lệch của phương pháp là tính toán), nên các phương pháp sử dụng độ lệch chuẩn có thể tạo ra một đường xu hướng tách khỏi phần lớn các điểm để gần hơn với điểm ngoài . Sử dụng độ lệch tuyệt đối làm giảm sự biến dạng này, nhưng với chi phí làm cho việc tính toán đường xu hướng trở nên phức tạp hơn.

Đó là bởi vì, như những người khác đã lưu ý, độ lệch chuẩn có các tính chất và mối quan hệ toán học thường làm cho nó hữu ích hơn trong thống kê. Nhưng "hữu ích" không bao giờ nên bị nhầm lẫn với hoàn hảo.

Cả hai đều đo lường sự phân tán dữ liệu của bạn bằng cách tính khoảng cách của dữ liệu với giá trị trung bình của nó.

1. các độ lệch tuyệt đối trung bình đang sử dụng định mức L1 (nó còn được gọi là Manhattan khoảng cách hoặc khoảng cách thẳng )
2. các độ lệch chuẩn là sử dụng định mức L2 (còn gọi là khoảng cách Euclide )

Sự khác biệt giữa hai chỉ tiêu là độ lệch chuẩn đang tính bình phương của sự khác biệt trong khi độ lệch tuyệt đối trung bình chỉ nhìn vào sự khác biệt tuyệt đối. Do đó các ngoại lệ lớn sẽ tạo ra độ phân tán cao hơn khi sử dụng độ lệch chuẩn thay vì phương pháp khác. Khoảng cách Euclide thực sự cũng được sử dụng thường xuyên hơn. Lý do chính là độ lệch chuẩncó các thuộc tính đẹp khi dữ liệu được phân phối bình thường. Vì vậy, theo giả định này, nên sử dụng nó. Tuy nhiên, mọi người thường thực hiện giả định này cho dữ liệu thực sự không được phân phối bình thường sẽ tạo ra vấn đề. Nếu dữ liệu của bạn không được phân phối bình thường, bạn vẫn có thể sử dụng độ lệch chuẩn, nhưng bạn nên cẩn thận với việc giải thích kết quả.

Cuối cùng, bạn nên biết rằng cả hai biện pháp phân tán đều là những trường hợp cụ thể của khoảng cách Minkowski , với p = 1 và p = 2. Bạn có thể tăng p để có các biện pháp phân tán dữ liệu khác.

Chúng là những biện pháp tương tự cố gắng định lượng cùng một khái niệm. Thông thường bạn sử dụng st. độ lệch vì nó có các thuộc tính đẹp, nếu bạn đưa ra một số giả định về phân phối cơ bản.

Mặt khác, giá trị tuyệt đối trong độ lệch trung bình gây ra một số vấn đề từ góc độ toán học vì bạn không thể phân biệt nó và bạn không thể phân tích nó dễ dàng. Một số thảo luận ở đây .

Không, bạn sai rồi. Đùa thôi. Tuy nhiên, có nhiều lý do khả thi tại sao người ta muốn tính độ lệch trung bình thay vì tiêu chuẩn chính thức, và theo cách này tôi đồng ý với quan điểm của Brethren kỹ thuật của tôi. Chắc chắn nếu tôi đang tính toán số liệu thống kê để so sánh với cơ thể của công việc hiện tại đang thể hiện kết luận định tính cũng như định lượng, tôi sẽ gắn bó với tiêu chuẩn. Nhưng, ví dụ, giả sử tôi đang cố gắng chạy một số nhanhCác thuật toán phát hiện dị thường trên dữ liệu nhị phân, do máy tạo. Tôi không sau khi so sánh học thuật là mục tiêu cuối cùng của tôi. Nhưng tôi quan tâm đến suy luận cơ bản về "sự lây lan" của một luồng dữ liệu cụ thể về ý nghĩa của nó. Tôi cũng quan tâm đến việc tính toán lặp đi lặp lại và hiệu quả nhất có thể. Trong phần cứng điện tử kỹ thuật số, chúng ta luôn chơi các trò bẩn thỉu - chúng ta chắt lọc các phép nhân và chia thành các lần dịch chuyển trái và phải, và để "tính toán" các giá trị tuyệt đối, chúng ta chỉ cần bỏ bit dấu (và tính toán bổ sung của một hoặc hai nếu cần thiết , cả hai biến đổi dễ dàng). Vì vậy, lựa chọn của tôi là tính toán nó theo cách kéo mạnh nhất có thể, và áp dụng các ngưỡng tuyến tính cho các tính toán của tôi để phát hiện nhanh sự bất thường trên các cửa sổ thời gian mong muốn.

Hai biện pháp thực sự khác nhau. Đầu tiên thường được gọi là Độ lệch tuyệt đối trung bình (MAD) và thứ hai là Độ lệch chuẩn (STD). Trong các ứng dụng nhúng có sức mạnh tính toán hạn chế và bộ nhớ chương trình hạn chế, việc tránh các phép tính căn bậc hai có thể rất đáng mong đợi.

Từ một thử nghiệm sơ bộ nhanh, dường như MAD = f * STD với f ở đâu đó trong khoảng 0,78 đến 0,80 cho một tập hợp các mẫu ngẫu nhiên phân phối gaussian.

Amar Sagoo có một bài viết rất hay giải thích về điều này: [ http://blog.amarsagoo.info/2007/09/making-sense-of-stiteria-deviation.html]

Để thêm nỗ lực của riêng tôi vào một sự hiểu biết trực quan:

Độ lệch trung bình là một cách hay để hỏi điểm "trung bình" giả định cách trung bình bao xa, nhưng nó không thực sự hiệu quả khi hỏi tất cả các điểm cách nhau bao xa, hoặc "trải ra" dữ liệu như thế nào.

Độ lệch chuẩn là hỏi tất cả các điểm cách nhau bao xa, do đó, kết hợp nhiều thông tin hữu ích hơn là độ lệch trung bình (đó là lý do tại sao độ lệch trung bình thường chỉ được sử dụng như một bước đệm để hiểu độ lệch chuẩn).

Một sự tương tự tốt là Định lý Pythagore. Định lý Pythagore cho chúng ta biết khoảng cách giữa các điểm theo hai chiều bằng cách lấy khoảng cách ngang và khoảng cách dọc, bình phương chúng, thêm hình vuông và lấy căn bậc hai của tổng.

Nếu bạn nhìn kỹ, công thức cho Độ lệch chuẩn (dân số) về cơ bản giống như Định lý Pythagore, nhưng với nhiều hơn hai chiều (và sử dụng khoảng cách từ mỗi điểm đến trung bình là khoảng cách trong mỗi chiều). Do đó, nó cung cấp hình ảnh chính xác nhất về "khoảng cách" giữa tất cả các điểm trong tập dữ liệu của bạn.

Để đẩy sự tương tự đó đi xa hơn một chút, độ lệch tuyệt đối trung bình sẽ giống như lấy trung bình của khoảng cách ngang và dọc, ngắn hơn tổng khoảng cách, trong khi độ lệch tuyệt đối sẽ là thêm khoảng cách ngang và dọc, dài hơn hơn khoảng cách thực tế.

Độ lệch chuẩn đại diện cho sự phân tán do các quá trình ngẫu nhiên. Cụ thể, nhiều phép đo vật lý dự kiến ​​là do tổng của nhiều quá trình độc lập có phân phối (đường cong hình chuông) bình thường.

Phân phối xác suất bình thường được đưa ra bởi: $\Large Y = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2}}$

Ở đâu $Y$ là xác suất nhận được một giá trị $x$ cho một ý nghĩa $\mu$ và $\sigma$Sai lệch chuẩn!

Nói cách khác, độ lệch chuẩn là một thuật ngữ phát sinh từ các biến ngẫu nhiên độc lập được tổng hợp lại với nhau. Vì vậy, tôi không đồng ý với một số câu trả lời được đưa ra ở đây - độ lệch chuẩn không chỉ là sự thay thế cho độ lệch trung bình mà "xảy ra thuận tiện hơn cho các tính toán sau này". Độ lệch chuẩn là cách thích hợp để mô hình phân tán cho các hiện tượng phân tán thông thường.

Nếu bạn nhìn vào phương trình, bạn có thể thấy độ lệch chuẩn nặng hơn nhiều so với độ lệch lớn hơn giá trị trung bình. Theo trực giác, bạn có thể nghĩ độ lệch trung bình là đo độ lệch trung bình thực tế so với giá trị trung bình, trong khi độ lệch chuẩn chiếm một phân bố hình chuông hay còn gọi là "bình thường" xung quanh giá trị trung bình. Vì vậy, nếu dữ liệu của bạn được phân phối bình thường, độ lệch chuẩn sẽ cho bạn biết rằng nếu bạn lấy mẫu nhiều giá trị hơn, ~ 68% trong số chúng sẽ được tìm thấy trong một độ lệch chuẩn xung quanh giá trị trung bình.

Mặt khác, nếu bạn có một biến ngẫu nhiên duy nhất, phân phối có thể trông giống như một hình chữ nhật, với xác suất bằng nhau của các giá trị xuất hiện ở bất kỳ đâu trong phạm vi. Trong trường hợp này, độ lệch trung bình có thể phù hợp hơn.

TL; DR nếu bạn có dữ liệu do nhiều quá trình ngẫu nhiên cơ bản hoặc đơn giản là bạn biết được phân phối bình thường, hãy sử dụng hàm độ lệch chuẩn.