Suy luận so với ước lượng?

Sự khác biệt giữa "suy luận" và "ước tính" trong bối cảnh học máy là gì?

Là một người mới, tôi cảm thấy rằng chúng ta suy ra các biến ngẫu nhiên và ước tính các tham số mô hình. Sự hiểu biết này của tôi có đúng không?

Nếu không, sự khác biệt chính xác là gì, và khi nào tôi nên sử dụng?

Ngoài ra, cái nào là từ đồng nghĩa của "học"?

Suy luận thống kê được tạo thành từ toàn bộ tập hợp các kết luận mà người ta có thể rút ra từ một tập dữ liệu nhất định và một mô hình giả thuyết liên quan, bao gồm cả sự phù hợp của mô hình nói trên. Để trích dẫn từ Wikipedia ,

Suy luận là hành động hoặc quá trình rút ra kết luận logic từ các cơ sở được biết hoặc giả định là đúng.

và,

Suy luận thống kê sử dụng toán học để rút ra kết luận khi có sự không chắc chắn.

Ước tính là một khía cạnh của suy luận trong đó người ta thay thế các tham số chưa biết (liên kết với mô hình giả thuyết đã tạo ra dữ liệu) bằng các giải pháp tối ưu dựa trên dữ liệu (và có thể là thông tin trước về các tham số đó). Nó phải luôn được liên kết với một đánh giá về tính không chắc chắn của các ước tính được báo cáo, đánh giá là một phần không thể thiếu của suy luận.

Khả năng tối đa là một ví dụ của ước tính, nhưng nó không bao gồm toàn bộ suy luận. Ngược lại, phân tích Bayes cung cấp một máy suy luận hoàn chỉnh.

Mặc dù ước tính cho mỗi mục đích là đưa ra các giá trị của các tham số chưa biết (ví dụ: hệ số trong hồi quy logistic hoặc trong siêu phẳng tách biệt trong các máy vectơ hỗ trợ), suy luận thống kê cố gắng gắn thước đo độ không chắc chắn và / hoặc tuyên bố xác suất các giá trị của tham số (sai số chuẩn và khoảng tin cậy). Nếu mô hình mà nhà thống kê giả định là gần đúng, thì với điều kiện là dữ liệu mới đến tiếp tục tuân theo mô hình đó, các tuyên bố không chắc chắn có thể có một số sự thật trong đó và đưa ra thước đo về mức độ thường xuyên bạn sẽ mắc lỗi khi sử dụng mô hình để đưa ra quyết định của bạn.

$\mu$$\sigma^2$$\mu$$\sigma^2/n$

Cách gần nhất mà máy học đạt được đó là xác thực chéo khi mẫu được chia thành phần đào tạo và phần xác thực, với câu sau là "nếu dữ liệu mới trông giống dữ liệu cũ, nhưng hoàn toàn không liên quan đến dữ liệu đã được sử dụng trong việc thiết lập mô hình của tôi, sau đó một thước đo thực tế về tỷ lệ lỗi là như vậy và như vậy ". Nó có nguồn gốc hoàn toàn theo kinh nghiệm bằng cách chạy cùng một mô hình trên dữ liệu, thay vì cố gắng suy ra các thuộc tính của mô hình bằng cách đưa ra các giả định thống kê và liên quan đến bất kỳ kết quả toán học nào như CLT ở trên. Có thể cho rằng, điều này trung thực hơn, nhưng vì nó sử dụng ít thông tin hơn và do đó đòi hỏi kích thước mẫu lớn hơn. Ngoài ra, nó mặc nhiên cho rằng quy trình không thay đổi,

Mặc dù cụm từ "suy ra hậu thế" có thể có ý nghĩa (tôi không phải là người Bayes, tôi thực sự không thể biết thuật ngữ được chấp nhận là gì), tôi không nghĩ có liên quan nhiều đến việc đưa ra bất kỳ giả định nào trong bước suy luận đó. Tất cả các giả định của Bayes là (1) ở trước và (2) trong mô hình giả định, và một khi chúng được thiết lập, hậu thế sẽ tự động theo sau (ít nhất là về lý thuyết thông qua định lý Bayes; các bước thực tế có thể phức tạp helluvalot và Sipps Đánh bạc ... xin lỗi, lấy mẫu Gibbs có thể là một thành phần tương đối dễ dàng để đi đến hậu thế đó). Nếu "suy ra hậu thế" đề cập đến (1) + (2), thì đó là một hương vị của suy luận thống kê đối với tôi. Nếu (1) và (2) được nêu riêng, và sau đó "suy ra hậu thế" là một cái gì đó khác, thì tôi không '

Giả sử bạn có một mẫu đại diện của một dân số.

Suy luận là khi bạn sử dụng mẫu đó để ước tính mô hình và nói rằng kết quả có thể được mở rộng cho toàn bộ dân số, với độ chính xác nhất định. Để suy luận là đưa ra các giả định về dân số chỉ sử dụng một mẫu đại diện.

Ước tính là khi bạn chọn một mô hình phù hợp với mẫu dữ liệu của bạn và tính toán với độ chính xác nhất định của các tham số của mô hình đó. Nó được gọi là ước tính vì bạn sẽ không bao giờ có thể tính được các giá trị thực của các tham số vì bạn chỉ có một mẫu dữ liệu chứ không phải toàn bộ dân số.

Đây là một nỗ lực để đưa ra câu trả lời cho bất kỳ ai không có nền tảng về thống kê. Đối với những người quan tâm đến nhiều chi tiết hơn, có rất nhiều tài liệu tham khảo hữu ích ( ví dụ như tài liệu này ) về chủ đề này.

Câu trả lời ngắn:

$->$

$->$

Câu trả lời dài:

Thuật ngữ "ước tính" thường được sử dụng để mô tả quá trình tìm ước tính cho một giá trị không xác định, trong khi "suy luận" thường đề cập đến suy luận thống kê, một quá trình khám phá phân phối (hoặc đặc điểm) của các biến ngẫu nhiên và sử dụng chúng để đưa ra kết luận.

Hãy suy nghĩ về việc trả lời câu hỏi: Người bình thường ở nước tôi cao bao nhiêu?

Nếu bạn quyết định tìm ước tính, bạn có thể đi bộ xung quanh trong vài ngày và đo lường những người lạ bạn gặp trên đường (tạo mẫu) và sau đó tính toán ước tính của bạn, ví dụ như trung bình của mẫu. Bạn vừa thực hiện một số ước tính!

Mặt khác, bạn có thể muốn tìm nhiều hơn một số ước tính, mà bạn biết là một số duy nhất và chắc chắn là sai. Bạn có thể đặt mục tiêu trả lời câu hỏi với một sự tự tin nhất định, chẳng hạn như: Tôi chắc chắn 99% rằng chiều cao trung bình của một người ở đất nước tôi là từ 1,60m đến 1,90m.

Để đưa ra yêu cầu như vậy, bạn cần ước tính phân bố chiều cao của những người bạn gặp và đưa ra kết luận dựa trên kiến ​​thức này - đó là cơ sở của suy luận thống kê.

Điều quan trọng cần ghi nhớ (như được chỉ ra trong câu trả lời của Xi'an) là việc tìm một người ước tính là một phần của suy luận thống kê.

Chà, ngày nay có những người thuộc các ngành khác nhau tạo dựng sự nghiệp trong lĩnh vực ML và có khả năng họ nói các phương ngữ hơi khác nhau.

Tuy nhiên, bất kể thuật ngữ nào họ có thể sử dụng, các khái niệm đằng sau là khác biệt. Vì vậy, điều quan trọng là làm cho các khái niệm này rõ ràng, và sau đó dịch các phương ngữ đó theo cách bạn thích.

Ví dụ.

Trong PRML của Giám mục,

giai đoạn suy luận trong đó chúng tôi sử dụng dữ liệu đào tạo để tìm hiểu một mô hình cho $p(C_k|x)$

Vì vậy, có vẻ như ở đây Inference= Learning=Estimation

Nhưng trong tài liệu khác, suy luận có thể khác với ước tính, trong đó inferencecó nghĩa là predictiontrong khi estimationphương tiện học tập của các tham số.

Trong bối cảnh học máy, suy luận đề cập đến một hành động khám phá các thiết lập của các biến tiềm ẩn (ẩn) được đưa ra cho các quan sát của bạn. Điều này cũng bao gồm việc xác định phân phối sau của các biến tiềm ẩn của bạn. Ước tính dường như được liên kết với "ước tính điểm", để xác định các tham số mô hình của bạn. Ví dụ bao gồm ước tính khả năng tối đa. Trong tối đa hóa kỳ vọng (EM), trong bước E, bạn thực hiện suy luận. Trong bước M, bạn thực hiện ước lượng tham số.

Tôi nghĩ rằng tôi nghe thấy mọi người nói "suy ra phân phối sau" hơn là "ước tính phân phối sau". Cái thứ hai không được sử dụng trong suy luận chính xác thông thường. Nó được sử dụng, ví dụ, trong việc truyền bá kỳ vọng hoặc Bay đa dạng, trong đó suy ra một hậu thế chính xác là khó hiểu và phải đưa ra các giả định bổ sung về phía sau. Trong trường hợp này, hậu thế suy ra là gần đúng. Mọi người có thể nói "gần đúng về phía sau" hoặc "ước tính hậu thế".

Tất cả điều này chỉ là ý kiến ​​của tôi. Nó không phải là một quy tắc.

Tôi muốn thêm vào câu trả lời của người khác bằng cách mở rộng phần "suy luận". Trong bối cảnh học máy, một khía cạnh thú vị của suy luận là ước tính độ không chắc chắn. Nhìn chung, nó rất khó với các thuật toán ML: làm thế nào để bạn đặt độ lệch chuẩn trên nhãn phân loại một mạng lưới thần kinh hoặc cây quyết định phun ra? Trong thống kê truyền thống, các giả định phân phối cho phép chúng ta làm toán và tìm ra cách đánh giá độ không đảm bảo trong các tham số. Trong ML, có thể không có tham số, không có giả định phân phối hoặc không.

Đã có một số tiến bộ được thực hiện trên các mặt trận này, một số trong đó rất gần đây (gần đây hơn các câu trả lời hiện tại). Một lựa chọn là, như những người khác đã đề cập, phân tích Bayes nơi hậu thế của bạn cung cấp cho bạn ước tính không chắc chắn. Phương pháp loại bootstrap là tốt đẹp. Stefan Wager và Susan Athey, tại Stanford, có một số công việc trong vài năm qua nhận được suy luận về các khu rừng ngẫu nhiên . Về mặt phân tích, BART là một phương pháp tập hợp cây Bayesian mang lại một hậu thế mà từ đó suy luận có thể được rút ra.