Lô đất định lượng-lượng tử sử dụng SciPy

Bạn sẽ tạo một qq-plot bằng Python như thế nào?

Giả sử rằng bạn có một tập hợp lớn các phép đo và đang sử dụng một số hàm vẽ đồ thị lấy giá trị XY làm đầu vào. Hàm phải vẽ biểu đồ lượng tử của các phép đo so với các lượng tử tương ứng của một số phân bố (chuẩn, đồng nhất ...).

Biểu đồ kết quả sau đó cho phép chúng tôi đánh giá trong phép đo của chúng tôi có tuân theo phân phối giả định hay không.

http://en.wikipedia.org/wiki/Quantile-quantile_plot

Cả R và Matlab đều cung cấp các hàm được tạo sẵn cho việc này, nhưng tôi đang tự hỏi phương pháp sạch nhất để triển khai bằng Python sẽ là gì.

Tôi nghĩ rằng điều đó scipy.stats.probplotsẽ làm những gì bạn muốn. Xem tài liệu để biết thêm chi tiết.

import numpy as np 
import pylab 
import scipy.stats as stats

measurements = np.random.normal(loc = 20, scale = 5, size=100)   
stats.probplot(measurements, dist="norm", plot=pylab)
pylab.show()

Kết quả

Sử dụng qqplotof statsmodels.apilà một tùy chọn khác:

Ví dụ rất cơ bản:

import numpy as np
import statsmodels.api as sm
import pylab

test = np.random.normal(0,1, 1000)

sm.qqplot(test, line='45')
pylab.show()

Kết quả:

Tài liệu và nhiều ví dụ khác ở đây

Nếu bạn cần thực hiện một biểu đồ QQ của mẫu này so với mẫu khác, thì các mô hình thống kê bao gồm qqplot_2samples (). Giống như Ricky Robinson trong một bình luận ở trên, đây là những gì tôi nghĩ về một âm mưu QQ so với một âm mưu xác suất là một mẫu chống lại phân phối lý thuyết.

http://statsmodels.sourceforge.net/devel/generated/statsmodels.graphics.gofplots.qqplot_2samples.html

Tôi đã nghĩ ra điều này. Có lẽ bạn có thể cải thiện nó. Đặc biệt là phương pháp tạo các lượng tử của phân phối có vẻ rườm rà đối với tôi.

Bạn có thể thay thế np.random.normalbằng bất kỳ bản phân phối nào khác np.randomđể so sánh dữ liệu với các bản phân phối khác.

#!/bin/python

import numpy as np

measurements = np.random.normal(loc = 20, scale = 5, size=100000)

def qq_plot(data, sample_size):
    qq = np.ones([sample_size, 2])
    np.random.shuffle(data)
    qq[:, 0] = np.sort(data[0:sample_size])
    qq[:, 1] = np.sort(np.random.normal(size = sample_size))
    return qq

print qq_plot(measurements, 1000)

Nó hiện tồn tại trong gói statsmodels:

http://statsmodels.sourceforge.net/devel/generated/statsmodels.graphics.gofplots.qqplot.html

Để thêm vào sự nhầm lẫn xung quanh các âm mưu QQ và các lô xác suất trong thế giới Python và R, đây là những gì hướng dẫn SciPy nói:

" probplottạo ra một biểu đồ xác suất, không nên nhầm lẫn với một biểu đồ QQ hoặc một PP. Statsmodels có nhiều chức năng mở rộng hơn của loại này, xem statsmodels.api.ProbPlot."

Nếu bạn thử scipy.stats.probplot, bạn sẽ thấy rằng thực sự nó so sánh một tập dữ liệu với một phân phối lý thuyết. Lô QQ, OTOH, so sánh hai tập dữ liệu (mẫu).

R có các chức năng qqnorm, qqplotvà qqline. Từ trợ giúp R ​​(Phiên bản 3.6.3):

qqnormlà một hàm chung phương pháp mặc định tạo ra một đồ thị QQ bình thường của các giá trị trong y. qqlinethêm một dòng vào một đồ thị lượng tử-lượng tử bình thường, theo mặc định, thông thường, đi qua các lượng tử thăm dò, theo mặc định là phần tư thứ nhất và thứ ba.

qqplot tạo ra một âm mưu QQ gồm hai tập dữ liệu.

Tóm lại, R's qqnormcung cấp chức năng tương tự như scipy.stats.probplotcài đặt mặc định dist=norm. Nhưng việc họ gọi nó qqnormvà nó được cho là "sản xuất một âm mưu QQ bình thường" có thể dễ khiến người dùng nhầm lẫn.

Cuối cùng, một lời cảnh báo. Những biểu đồ này không thay thế việc kiểm tra thống kê thích hợp và chỉ nên được sử dụng cho mục đích minh họa.

Làm thế nào lớn là mẫu của bạn? Đây là một tùy chọn khác để kiểm tra dữ liệu của bạn so với bất kỳ phân phối nào bằng thư viện OpenTURNS . Trong ví dụ dưới đây, tôi tạo một mẫu x 1.000.000 số từ phân phối Đồng nhất và kiểm tra nó với phân phối Chuẩn. Bạn có thể thay thế x bằng dữ liệu của mình nếu bạn định hình lại nó thànhx= [[x1], [x2], .., [xn]]

import openturns as ot

x = ot.Uniform().getSample(1000000)
g = ot.VisualTest.DrawQQplot(x, ot.Normal())
g

Trong Sổ tay Jupyter của tôi, tôi thấy:

Nếu bạn đang viết một kịch bản, bạn có thể làm đúng hơn

from openturns.viewer import View`
import matplotlib.pyplot as plt
View(g)
plt.show()

Bạn có thể sử dụng hiệu ứng bokeh

from bokeh.plotting import figure, show
from scipy.stats import probplot
# pd_series is the series you want to plot
series1 = probplot(pd_series, dist="norm")
p1 = figure(title="Normal QQ-Plot", background_fill_color="#E8DDCB")
p1.scatter(series1[0][0],series1[0][1], fill_color="red")
show(p1)

import numpy as np 
import pylab 
import scipy.stats as stats
measurements = np.random.normal(loc = 20, scale = 5, size=100)   
stats.probplot(measurements, dist="norm", plot=pylab)
pylab.show()

Tại đây probplot vẽ các phép đo biểu đồ so với phân phối chuẩn được trình bày trong dist = "norm"