Các phần một trong các điểm trong các phương pháp bình phương nhỏ nhất là gì?

Trong hồi quy bình phương nhỏ nhất một phần (PLSR) hoặc mô hình phương trình cấu trúc bình phương nhỏ nhất một phần (PLS-SEM), thuật ngữ "một phần" dùng để chỉ gì?

Tôi muốn trả lời câu hỏi này, phần lớn dựa trên quan điểm lịch sử , khá thú vị. Herman Wold, người đã phát minh ra phương pháp bình phương nhỏ nhất một phần (PLS) , đã không bắt đầu sử dụng thuật ngữ PLS (hoặc thậm chí đề cập đến một phần thuật ngữ ) ngay lập tức. Trong giai đoạn ban đầu (1966-1969), ông gọi phương pháp này là NILES - viết tắt của thuật ngữ và tiêu đề của bài báo ban đầu của ông về chủ đề Ước tính phi tuyến tính của Thủ tục bình phương tối thiểu lặp đi lặp lại , xuất bản năm 1966.

Như chúng ta có thể thấy, các quy trình mà sau này sẽ được gọi là một phần, được gọi là lặp , tập trung vào bản chất lặp của quy trình ước tính trọng số và biến tiềm ẩn (LV). Thuật ngữ "bình phương tối thiểu" xuất phát từ việc sử dụng hồi quy bình phương nhỏ nhất (OLS) để ước tính các tham số chưa biết khác của mô hình (Wold, 1980). Dường như thuật ngữ "một phần" có nguồn gốc từ các thủ tục NILES, đã thực hiện "ý tưởng chia các tham số của mô hình thành các tập hợp con để chúng có thể được ước tính theo từng phần" (Sanchez, 2013, p. 216; nhấn mạnh của tôi) .

Việc sử dụng đầu tiên của thuật ngữ PLS đã xảy ra trong các thủ tục ước tính bình phương một phần nhỏ nhất (NIPALS) , xuất bản đánh dấu giai đoạn tiếp theo của lịch sử PLS - giai đoạn mô hình hóa NIPALS . Những năm 1970 và 1980 trở thành thời kỳ mô hình hóa mềm mại , khi bị ảnh hưởng bởi cách tiếp cận LISREL của Karl Joreskog đối với SEM, Wold đã biến cách tiếp cận NIPALS thành mô hình mềm, về cơ bản đã hình thành cốt lõi của phương pháp PLS hiện đại (thuật ngữ PLS trở thành xu hướng vào cuối những năm 1970 ). Những năm 1990, giai đoạn tiếp theo trong lịch sử PLS, mà Sanchez (2013) gọi là thời kỳ "khoảng cách", được đánh dấu chủ yếu bằng cách giảm sử dụng. May mắn thay, bắt đầu từ những năm 2000 ( thời kỳ hợp nhất), PLS rất thích sự trở lại của mình như một cách tiếp cận rất phổ biến để phân tích SEM, đặc biệt là trong khoa học xã hội.

CẬP NHẬT (để phản hồi bình luận của amip):

• Có lẽ, từ ngữ của Sanchez không lý tưởng trong cụm từ mà tôi đã trích dẫn. Tôi nghĩ rằng "ước tính theo từng phần" áp dụng cho các khối biến tiềm ẩn . Wold (1980) mô tả chi tiết khái niệm này.
• Bạn nói đúng rằng NIPALS ban đầu được phát triển cho PCA. Sự nhầm lẫn bắt nguồn từ thực tế là tồn tại cả hai phương pháp PLS tuyến tính và PLS phi tuyến. Tôi nghĩ rằng Rosipal (2011) giải thích rất rõ sự khác biệt (ít nhất, đây là lời giải thích tốt nhất mà tôi đã thấy cho đến nay).

CẬP NHẬT 2 (làm rõ thêm):

Đáp lại những lo ngại, thể hiện trong câu trả lời của amip, tôi muốn làm rõ một số điều. Dường như với tôi rằng chúng ta cần phân biệt việc sử dụng từ "một phần" giữa NIPALS và PLS. Điều đó tạo ra hai câu hỏi riêng biệt về 1) ý nghĩa của "một phần" trong NIPALS và 2) ý nghĩa của "một phần" trong PLS (đó là câu hỏi ban đầu của Phil2014). Trong khi tôi không chắc chắn về cái trước, tôi có thể cung cấp làm rõ thêm về cái sau.

Theo Wold, Sjöström và Eriksson (2001),

"Một phần" trong PLS chỉ ra rằng đây là hồi quy một phần, vì ...

Nói cách khác, "một phần" xuất phát từ thực tế là phân tách dữ liệu bằng thuật toán NIPALS cho PLS có thể không bao gồm tất cả các thành phần , do đó "một phần". Tôi nghi ngờ rằng lý do tương tự áp dụng cho NIPALS nói chung, nếu có thể sử dụng thuật toán trên dữ liệu "một phần". Điều đó sẽ giải thích "P" trong NIPALS.

Về mặt sử dụng từ "phi tuyến" trong định nghĩa NIPALS (không nhầm lẫn với PLS phi tuyến , đại diện cho biến thể phi tuyến của phương pháp PLS!), Tôi nghĩ rằng nó không đề cập đến chính thuật toán , mà là các mô hình phi tuyến , có thể là đã phân tích, sử dụng NIPALS dựa trên hồi quy tuyến tính.

CẬP NHẬT 3 (Giải thích của Herman Wold):

Trong khi bài báo năm 1969 của Herman Wold dường như là bài báo sớm nhất về NIPALS, tôi đã tìm được một trong những bài báo sớm nhất về chủ đề này. Đó là một bài báo của Wold (1974), trong đó "cha đẻ" của PLS trình bày lý do của mình khi sử dụng từ "một phần" trong định nghĩa của NIPALS (trang 71):

3.1.4. Ước tính NIPALS: OLS lặp. Nếu một hoặc nhiều biến của mô hình tiềm ẩn, các mối quan hệ của yếu tố dự đoán không chỉ liên quan đến các tham số chưa biết mà còn cả các biến không xác định, với kết quả là vấn đề ước tính trở thành phi tuyến. Như đã chỉ ra trong 3.1 (iii), NIPALS giải quyết vấn đề này bằng một quy trình lặp, nói với các bước s = 1, 2, ... Mỗi bước s liên quan đến một số hồi quy OLS hữu hạn, một cho mỗi quan hệ dự đoán của mô hình. Mỗi hồi quy như vậy cung cấp các ước tính proxy cho một tập hợp con của các tham số chưa biết và các biến tiềm ẩn (do đó là bình phương một phần tên ) và các ước tính proxy này được sử dụng trong bước tiếp theo của quy trình để tính toán các ước tính proxy mới.

Người giới thiệu

Rosipal, R. (2011). Hình vuông nhỏ nhất một phần phi tuyến: Tổng quan. Trong Lodhi H. và Yam Biếni Y. (Eds.), Hóa học và quan điểm học máy nâng cao: Phương pháp tính toán phức tạp và kỹ thuật hợp tác , trang 169-189. ACCM, IGI toàn cầu. Lấy từ http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Sanchez, G. (2013). Mô hình hóa đường dẫn PLS với R. Berkeley, CA: Trowchez Editions. Lấy từ http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Đã nói, H. (1974). Dòng nhân quả với các biến tiềm ẩn: Phân chia các cách thức theo mô hình NIPALS. Tạp chí kinh tế châu Âu, 5 , 67-86. Nhà xuất bản Bắc Hà Lan.

Đã nói, H. (1980). Xây dựng mô hình và đánh giá khi kiến ​​thức lý thuyết còn khan hiếm: Lý thuyết và ứng dụng của bình phương tối thiểu một phần. Trong J. Kmenta và JB Ramsey (Eds.), Đánh giá các mô hình kinh tế lượng , trang 47-74. New York: Nhà xuất bản học thuật. Lấy từ http://www.nber.org/ch chương / c11693

Wold, S., Sjöström, M., & Eriksson, L. (2001). Hồi quy PLS: Một công cụ cơ bản của hóa học. Hệ thống phòng thí nghiệm hóa học và thông minh, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Lấy từ http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$

Tuy nhiên, trong lịch sử, như @Aleksandr giải thích độc đáo (+1), PLS được giới thiệu bởi Wold, người đã sử dụng thuật toán NIPALS của mình để thực hiện nó; NIPALS là viết tắt của "bình phương nhỏ nhất được lặp lại một phần", do đó, rõ ràng P trong PLS vừa mới nhận được từ NIPALS.

Hơn nữa, NIPALS (như tôi nhớ đọc ở nơi khác) ban đầu không được phát triển cho PLS; nó đã được giới thiệu cho PCA. Bây giờ, NIPALS cho PCA là một thuật toán rất đơn giản. Tôi có thể trình bày nó ngay tại đây. Đặt là ma trận dữ liệu trung tâm với sự quan sát theo hàng. Mục tiêu là tìm trục chính đầu tiên (hàm riêng của ma trận hiệp phương sai) và thành phần chính đầu tiên (phép chiếu của dữ liệu vào ). Chúng tôi khởi tạo ngẫu nhiên và sau đó lặp lại các bước sau cho đến khi hội tụ:$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. Đặtđến .$\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

Đó là nó! Vì vậy, câu hỏi thực sự là tại sao Wold gọi thuật toán này là "một phần"? Câu trả lời (như cuối cùng tôi đã hiểu sau @Aleksandr đã cập nhật thứ ba của ông) là Wold xem và như hai [bộ] thông số, cùng mô hình hóa các dữ liệu ma trận . Thuật toán cập nhật các tham số này một cách tuần tự (bước # 1 và # 3), tức là nó chỉ cập nhật một phần của các tham số! Do đó "một phần".$\v$$\p$$\X$

(Tại sao anh ấy gọi nó là "phi tuyến" mặc dù vậy tôi vẫn không hiểu.)

Thuật ngữ này gây hiểu nhầm đáng kể, bởi vì nếu đây là "một phần" thì mọi thuật toán tối đa hóa kỳ vọng cũng là "một phần" (trên thực tế, NIPALS có thể được xem là một dạng nguyên thủy của EM, xem Roweis 1998 ). Tôi nghĩ PLS là một ứng cử viên sáng giá cho cuộc thi Điều khoản gây hiểu lầm nhất trong cuộc thi Machine Learning. Than ôi, không có khả năng thay đổi, bất chấp những nỗ lực của Wold Jr. (xem bình luận của @ Momo ở trên).