Phát hiện mẫu trong biểu đồ phân tán

Dưới đây là một biểu đồ phân tán (giới hạn ở mức 10 nghìn đô la) đại diện cho đóng góp trung bình mà một dự án nhận được so với số lượng từ của bài luận yêu cầu tài trợ cho tất cả các dự án được trình bày trong Nhà tài trợ mở Chọn dữ liệu .

Có một mô hình đáng chú ý, mà tôi đã cố gắng để mô tả bằng cách khớp đường cong

thông qua thao tác tham số thủ công. Tuy nhiên, tôi muốn biết các cách khác để tiếp cận mô hình hóa hoặc tìm các mẫu / mối quan hệ trong dữ liệu trông như thế này.

Đây là sự chênh lệch thúc đẩy tôi tìm kiếm các phương pháp khác:

Trong ví dụ chính tắc cho hồi quy tuyến tính, các điểm phân tán là độ lệch so với đường cong. Trong ví dụ này, điều đó rõ ràng không phải là trường hợp, vì có vẻ như các điểm được nhóm lại dưới một số khu vực.

Chỉ để giải thích về nhận xét của tôi, đây là một ví dụ về cách mô hình rõ ràng của bạn có thể là một tạo tác gây ra bởi sự phân phối dữ liệu dọc theo trục x. Tôi đã tạo ra 100.000 điểm dữ liệu. Chúng thường được phân phối theo trục x ( ) và được phân phối theo cấp số nhân theo trục y ( ).$\mu = 2500, \sigma =600$$\lambda = 1$

Theo "phong bì trực quan" của âm mưu phân tán, có một mẫu rõ ràng, mặc dù là ảo tưởng: y trông tối đa trong phạm vi 1000 <x <4000. Tuy nhiên, mô hình rõ ràng này, rất thuyết phục về mặt trực quan, chỉ là một tạo tác gây ra bởi sự phân phối các giá trị x. Đó là, chỉ có nhiều dữ liệu hơn trong phạm vi 1000 <x <4000. Bạn có thể thấy điều này trong biểu đồ x ở phía dưới.

Để chứng minh, tôi đã tính giá trị y trung bình trong các thùng của x (đường màu đen). Điều này là xấp xỉ hằng số cho tất cả x. Nếu dữ liệu được phân phối theo trực giác của chúng tôi từ biểu đồ phân tán, trung bình trong phạm vi 1000 <x <4000 sẽ cao hơn phần còn lại - nhưng thực tế không phải vậy. Vì vậy, thực sự không có mô hình.

Tôi không nói đây là toàn bộ câu chuyện với dữ liệu của bạn. Nhưng tôi cá là đó là một lời giải thích một phần.

Phụ lục với các nhà tài trợ thực tế Chọn dữ liệu.

Scatterplot gốc với các điểm đánh dấu quá mức:

Cùng phân tán với độ mờ giảm:

Các mẫu khác nhau xuất hiện, nhưng với các điểm dữ liệu 800K, vẫn còn rất nhiều chi tiết bị mất để quá mức.

Thu phóng, giảm độ mờ một lần nữa và thêm mượt mà:

Tôi đoán biến của bạn trên trục Y được phân phối theo cấp số nhân ( ), nhưng có vẻ như tham số tỷ lệ thay đổi theo xác suất mật độ bình thường của biến của bạn trên Trục X.$p(y) = \lambda e^{-\lambda y}$$\lambda$

Tôi đã tạo dữ liệu ngẫu nhiên với MatLab bằng phân phối bình thường cho X và phân phối theo cấp số nhân cho Y, với và tôi nhận được kết quả tương tự với dữ liệu của bạn:$\lambda = p(x)$

Bạn có thể thử học máy để phù hợp với các tham số, thay đổi hàm chi phí để so sánh mật độ xác suất và tham số tỷ lệ cho mỗi thùng trên 'biểu đồ' của bạn. Nếu vậy, đừng quên chạy trình tạo ngẫu nhiên một vài lần trên mỗi lần lặp để giảm thiểu chi phí.

Đây là mã tôi đã sử dụng cho cốt truyện:

% Normal distribution generation.
x = randn(10000,1);
x = x - min(x);                     % Shifting curve so every x is > 0.

% Histogram informations
k = 100;                            % Number of bins.
binSize = (max(x) - min(x)) / k;    % Width of bins.
y = 0:(k);
y = y .* binSize + min(x);          % Array with Intervals.

p = zeros(k,1);
data = [];

% For every bin...
for i = 1:k
    a = x(x >= y(i) & x < y(i + 1));    % All X values within condition.
    p(i) = size(a,1);                   % Number of occurences (or
                                        % Normal Density Probability).

    if ~isempty(a)
        for j = 1:p(i)

            % lambda = Rate parameter of exponential distribution
            % Rate parameter is varying with normal density probability.
            lambda = p(i);

            % Every X in normal distribution will have a Y
            % which was generated randomly by the exponential 
            % distribution function EXPRND.
            data = [data; a(j), exprnd(lambda)];

        end
    end
end

% Plotting normal distribution VS modified exponential distribution
scatter(data(:,1),data(:,2))

Câu hỏi đề cập đến hồi quy, thường giải quyết kỳ vọng có điều kiện: trong đó là đóng góp trung bình và là số lượng từ. Hồi quy tuyến tính có thể quá hạn chế và do đó người ta có thể áp dụng phương pháp hồi quy cục bộ như hồi quy hạt nhân Nadaraya-Watson. Các kết quả có thể nhạy cảm với sự lựa chọn băng thông: Một băng thông rộng có thể che giấu sự biến đổi cục bộ thú vị.

Tổng quát hơn, câu hỏi về sự độc lập giữa và rất thú vị. Nếu và độc lập thì và tất nhiên kỳ vọng có điều kiện cũng độc lập. Nhưng có thể phụ thuộc vào theo các cách xen kẽ ngay cả khi kỳ vọng có điều kiện không phụ thuộc vào .$x$$y$$x$$y$$p(y|x) = p(y)$$y$$x$$x$

Với rất nhiều dữ liệu tôi sẽ xem xét biểu đồ của rằng tất cả đều có giá trị gần như bằng và xem biểu đồ thay đổi như thế nào khi giá trị được chọn của thay đổi. Chỉ sau một cuộc điều tra như vậy, tôi mới nghĩ về cách tiến hành chính thức hơn.$y$$x$$x$