Tại sao hàm logistic sử dụng e chứ không phải 2?

chức năng sigmoid có thể được sử dụng làm chức năng kích hoạt trong học máy.

S (x) = \frac{1}{1 + e^{- x}} = \frac{e^{x}}{e^{x} + 1} .

$S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.$

Nếu thay e bằng 2,

def sigmoid2(z):
    return 1/(1+2**(-z))
x = np.arange(-9,9,dtype=float)
y = sigmoid2(x)
plt.scatter(x,y)

cốt truyện có vẻ tương tự

Tại sao hàm logistic sử dụng chứ không phải 2? $e$

machine-learning deep-learning

— JJJohn
nguồn

Câu trả lời:

Vì bạn sẽ giảm thiểu sau này về khả năng đăng nhập, nên thực sự không có sự khác biệt lớn giữa và . Bạn thấy sự khác biệt chỉ đơn giản là một hằng số. Tuy nhiên, người ta có thể lập luận sử dụng thay vì und cũng sử dụng thay vì khi nói đến bước tối ưu hóa. Trong thực tế, có thể sử dụng và nhiều chức năng khác, hiển thị một số thuộc tính mong muốn. Đó là: $\log 2^x=x * \log2$ $\log e^x=x$
$2^x$ $e^x$ $\log_2$ $\log$ $2^x$

$\lim\limits_{x \rightarrow \infty}{f(x)}=1$
$\lim\limits_{x \rightarrow -\infty}{f(x)}=0$
$f(x) = -f(-x) + 1$ , (đối xứng trong $(0, 0.5)$

Dưới đây là một ví dụ về các chức năng phù hợp từ wikipedia.

— Nhìn Andreas
nguồn

Tôi nghĩ rằng cũng đáng để chỉ ra rằng một lý do tốt đẹp để sử dụng làm cơ sở là đạo hàm của là . Không thực hiện tính toán thực tế, tôi nghĩ rằng nếu cơ sở là khác nhau thì công thức sẽ chỉ khác nhau bởi một hằng số một lần nữa, nhưng đó là một tính chất tốt dành riêng cho .

e

$e$

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x)=\frac{1}{1+e^{-x}}$

σ^{'} (x) = σ (x) (1 - σ (x))

$\sigma'(x)=\sigma(x)(1-\sigma(x))$

e

$e$

— Calvin Godfrey

Tương tự với khi sử dụng .

2^{x}

$2^x$

\log_{2}

$\log_2$

— Andreas Nhìn

@AndreasLook Tôi không chắc ý của bạn là gì. Nếu bạn sử dụng thì sẽ có thêm một yếu tố trong đạo hàm (như Calvin Godfrey đã nói).

2^{- x}

$2^{-x}$

\ln (2)

$\ln(2)$

— sfmiller940

Không, kiểm tra logarit nhị phân. .

\log_{2} (2^{x}) = x

$\log_2 (2^x)=x$

— Andreas Nhìn

Vì vậy, có nhiều chức năng trông sigmoid bao gồm cả 2 bạn đã đề cập, nhưng có những lý do tại sao là đặc biệt. Lý do chính khiến chức năng logistic ban đầu được sử dụng để mô hình hóa sự tăng trưởng dân số. Và dân số, giống như lãi suất, có thể gộp theo thời gian. Vì vậy, trở thành một đối tượng rất tự nhiên vì lý do này. Ngoài ra, vì các lý do lý thuyết liên quan đến chức năng liên kết chính tắc của glm, logistic là một trong những đối tượng đơn giản nhất về mặt lý thuyết để làm việc với nó giúp bạn dễ dàng chứng minh mọi thứ. $e$ $e$

— Emu ẩn danh
nguồn

cảm ơn câu trả lời của bạn. "chức năng liên kết chính tắc của glm" nghĩa là gì?

— JJJohn

@baojieqh Đối với tất cả các mô hình tuyến tính tổng quát, người ta cần chỉ định một thành viên của họ phân phối theo cấp số nhân. Tất cả các phân phối này đều chia sẻ một thuộc tính trong đó chúng có thể được viết theo cách sao cho một hàm của tham số tỷ lệ của phân phối nằm "theo chính nó" theo số mũ (và hàm chỉ là một hàm của tham số tỷ lệ). Chức năng này là những gì mọi người gọi là chức năng liên kết chính tắc. Đối với phân phối bernoulli / nhị thức, trong đó tham số tỷ lệ là p, hóa ra hàm này là ln (p / (1-p)) là hàm liên kết logit.

— aranglol

Do đó, hàm liên kết chính tắc cho hồi quy logistic, giả sử phân phối Bernoulli cho mỗi hàng, là liên kết logit. Có nhiều tính chất lý thuyết khác cũng làm cho chức năng liên kết chính tắc mong muốn. Nhưng về mặt kỹ thuật không cần thiết phải sử dụng nó, bạn có thể sử dụng probit chẳng hạn.

— aranglol

@aranglol nhờ bạn bình luận, bạn vui lòng hãy nhìn vào liên kết này math.stackexchange.com/q/3253634/656371

— JJJohn

Đây dường như chỉ là một lời kêu gọi vẫy tay với tuyên bố rằng " là đặc biệt", mà không đưa ra bất kỳ lời biện minh nào về lý do tại sao là đặc biệt. Thực sự, điều đặc biệt duy nhất là sự tiện lợi mà , có nghĩa là .

e

$e$

e

$e$

\frac{d}{d x} a^{x} = a^{x} \ln a

$\tfrac{d}{dx}a^x=a^x\ln a$

\frac{d}{d x} e^{x} = e^{x}

$\tfrac{d}{dx}e^x=e^x$

— David Richerby

Nó xuất phát từ giả định cơ bản của mô hình rằng có tồn tại một liên tục / tiềm ẩn / không quan sát được có liên quan bằng cách nào đó với các giá trị quan sát của . Mô hình tiếp tục giả định rằng nếu tín hiệu của vượt quá ngưỡng nào đó và nếu không thì . Giả định thứ ba và cuối cùng là phân phối cơ bản của là phân phối logistic. Một khi bạn có những giả định này, việc lấy đại số chỉ là vấn đề của đại số. $Y^*$ $Y$ $Y=1$ $Y^*$ $Y=0$ $Y*$

Bạn có thể đọc thêm chi tiết tại blog của tôi .

— Yossi Levy
nguồn