Trực giác thuật toán cho độ phức tạp logarit

Tôi tin rằng tôi có một nắm bắt hợp lý về các phức tạp như , và .$\mathcal{O}(1)$$\Theta(n)$$\Theta(n^2)$

Xét về danh sách, là một tra cứu liên tục, do đó, nó chỉ là người đứng đầu danh sách. là nơi tôi sẽ đi bộ toàn bộ danh sách và đang đi bộ danh sách một lần cho mỗi thành phần trong danh sách.$\mathcal{O}(1)$$\Theta(n)$$\Theta(n^2)$

Có cách nào trực quan tương tự để nắm bắt ngoài việc chỉ biết nó nằm ở đâu đó giữa và không?$\Theta(\log n)$$\mathcal{O}(1)$$\Theta(n)$

Độ phức tạp thường được kết nối với phân ngành. Khi sử dụng danh sách làm ví dụ, hãy tưởng tượng một danh sách có các thành phần được sắp xếp. Bạn có thể tìm kiếm trong danh sách này trong thời gian - bạn thực sự không cần phải xem xét từng yếu tố vì tính chất được sắp xếp của danh sách.O ( log n $\Theta(\log n)$$\mathcal{O}(\log n)$

Nếu bạn nhìn vào phần tử ở giữa danh sách và so sánh nó với phần tử bạn tìm kiếm, bạn có thể ngay lập tức nói liệu nó nằm ở nửa bên trái hay bên phải của mảng. Sau đó, bạn có thể chỉ cần thực hiện một nửa này và lặp lại quy trình cho đến khi bạn tìm thấy nó hoặc đạt được một danh sách với 1 mục mà bạn so sánh một cách tầm thường.

Bạn có thể thấy rằng danh sách giảm một nửa hiệu quả mỗi bước. Điều đó có nghĩa là nếu bạn nhận được một danh sách có độ dài , các bước tối đa bạn cần để đạt được danh sách một mục là . Nếu bạn có danh sách mục, bạn chỉ cần bước, đối với danh sách bạn chỉ cần bước, v.v.5 128 = 2 7 7 1024 = 2 10$32$$5$$128 = 2^7$$7$$1024 = 2^{10}$$10$

Như bạn có thể thấy, số mũ trong luôn hiển thị số bước cần thiết. Logarit được sử dụng để "trích xuất" chính xác số mũ này, ví dụ . Nó cũng khái quát để liệt kê độ dài không phải là sức mạnh của hai chiều dài.$n$$2^n$$\log_2 2^{10} = 10$

Về mặt cây (cân bằng) (giả sử, cây nhị phân, vì vậy tất cả 's là cơ sở 2):$\log$

• $\Theta(1)$ đang lấy gốc của cây
• $\Theta(\log n)$ là một bước đi từ gốc đến lá
• $\Theta(n)$ đang duyệt qua tất cả các nút của cây
• $\Theta(n^2)$ là hành động trên tất cả các tập hợp con hai nút trong cây, ví dụ: số lượng đường dẫn khác nhau giữa hai nút bất kỳ.
• $\Theta(n^k)$ - khái quát hóa ở trên cho bất kỳ tập hợp con của các nút (cho một hằng số )$k$$k$
• k = 1 , 2 , ... , $\Theta(2^n)$ là các hành động trên tất cả các tập hợp con có thể có của các nút (tập hợp con của tất cả các kích thước có thể, nghĩa là, .). Ví dụ, số lượng cây con khác nhau của cây.$k=1,2, \ldots, n$

Để có thể thực hiện được, bạn cần có thể cắt giảm kích thước bài toán theo tỷ lệ theo một số lượng tùy ý đối với n với hoạt động thời gian không đổi.$O(\log n)$$n$

Ví dụ: trong trường hợp tìm kiếm nhị phân, bạn có thể giảm một nửa kích thước bài toán với mỗi thao tác so sánh.

Bây giờ, bạn có phải giảm một nửa kích thước vấn đề, thực tế là không. Một thuật toán là ngay cả khi nó có thể cắt giảm không gian tìm kiếm vấn đề 0,0001%, miễn là tỷ lệ phần trăm và thao tác sử dụng để cắt giảm kích thước sự cố không đổi, đó là thuật toán O ( log n ) , nó sẽ không phải là một thuật toán nhanh, nhưng nó vẫn là O ( log n ) với hằng số rất lớn. (Giả sử chúng ta đang nói về log n với nhật ký cơ sở 2)$O(\log n)$$O(\log n)$$O(\log n)$$\log n$

Hãy nghĩ về thuật toán để chuyển đổi số thập phân thành nhị phân$n$

while n != 0:
   print n%2, 
   n = n/2

whileVòng lặp này chạy lần.$\log(n)$

Có, nằm trong khoảng từ 1 đến n , nhưng nó gần với 1 hơn n . Là gì log ( n ) ? Hàm log là hàm nghịch đảo của lũy thừa. Hãy để tôi bắt đầu với số mũ và bạn sẽ hiểu rõ hơn về logarit là gì.$\log(n)$$1$$n$$1$$n$$\log(n)$

Hãy xem xét hai số, và 2 100 . 2 100 là 2 nhân với chính nó 100 lần. Bạn có thể với một số nỗ lực đếm 100 số, nhưng bạn có thể đếm 2 100 không? Tôi cá là bạn không thể. Tại sao? 2 100 là một con số lớn đến mức nó lớn hơn số lượng của tất cả các nguyên tử trong vũ trụ. Suy ngẫm về điều đó một lát. Đó là một con số khổng lồ đến nỗi nó cho phép bạn đặt cho mỗi nguyên tử một tên (số). Và số lượng nguyên tử trong móng tay của bạn có lẽ là hàng tỷ. 2 100 nên là đủ cho bất cứ ai (ý định chơi chữ :)).$100$$2^{100}$$2^{100}$$2$$100$$100$$2^{100}$$2^{100}$$2^{100}$

Bây giờ, giữa hai số, và 2 100 , 100 là logarit của 2 100 (trong cơ sở 2 ). 100 tương đối là một con số nhỏ hơn 2 100 . Bất cứ ai cũng nên có 100 vật dụng khác nhau trong nhà của họ. Nhưng, 2 100 là đủ tốt cho vũ trụ. Nghĩ về nhà vs vũ trụ khi nghĩ về log ( n ) và n .$100$$2^{100}$$100$$2^{100}$$2$$100$$2^{100}$$100$$2^{100}$$\log(n)$$n$

Trường hợp lũy thừa và logarit đến từ đâu? Tại sao họ rất quan tâm đến khoa học máy tính? Bạn có thể không nhận thấy, nhưng lũy ​​thừa là ở khắp mọi nơi. Bạn đã trả lãi cho thẻ tín dụng? Bạn vừa trả một vũ trụ cho ngôi nhà của bạn (Không quá tệ, nhưng đường cong phù hợp). Tôi muốn nghĩ rằng lũy ​​thừa xuất phát từ quy tắc sản phẩm, nhưng những người khác được chào đón để đưa ra nhiều ví dụ. Quy tắc sản phẩm là gì, bạn có thể yêu cầu; Và tôi sẽ trả lời.

Giả sử bạn có hai thành phố và B , và có hai cách để đi giữa chúng. Số lượng đường dẫn giữa chúng là gì? Hai. Đó là chuyện nhỏ. Bây giờ hãy nói, có một thành phố C khác , và bạn có thể đi từ B đến C theo ba cách. Hiện tại có bao nhiêu con đường giữa A và C ? Sáu, phải không? Làm thế nào bạn có được điều đó? Bạn đã đếm chúng? Hay bạn đã nhân chúng? Dù bằng cách nào, thật dễ dàng để thấy rằng cả hai cách đều cho kết quả tương tự nhau. Bây giờ nếu bạn thêm một thành phố D có thể đạt được từ C theo bốn cách, có bao nhiêu cách giữa A và $A$$B$$C$$B$$C$$A$$C$$D$$C$$A$$D$? Đếm nếu bạn không tin tưởng tôi, nhưng nó là bằng là 24 . Bây giờ, nếu có mười thành phố và có hai con đường từ thành phố này sang thành phố khác, và chúng được sắp xếp giống như chúng nằm trên một đường thẳng. Có bao nhiêu con đường từ đầu đến cuối? Nhân chúng nếu bạn không tin tưởng tôi, nhưng tôi sẽ nói với bạn là có 2 10 , là 1024 . Thấy rằng 2 10 là mũ kết quả của 10 và 10 là logarit của 2 10 . 10 là một con số nhỏ so với 1024 .$2\cdot 3\cdot 4$$24$$2^{10}$$1024$$2^{10}$$10$$10$$2^{10}$$10$$1024$

Các hàm logarit là n gì n là 2 n (lưu ý rằng 2 là của logarit cơ sở). Nếu bạn nhân log b ( n ) với b lần (lưu ý rằng b là cơ sở của logarit), bạn sẽ nhận được n . log ( n ) rất nhỏ, quá nhỏ so với n , đó là kích thước của ngôi nhà của bạn trong đó n là kích thước của vũ trụ.$\log_2(n)$$n$$n$$2^n$$2$$\log_b(n)$$b$$b$$n$$\log(n)$$n$$n$

Trên một lưu ý thực tế, các thực hiện rất giống với các hàm hằng. Chúng phát triển với n , nhưng chúng phát triển rất chậm. Nếu bạn đã tối ưu hóa một chương trình để chạy trong thời gian logarit mà mất một ngày trước đó, bạn có thể sẽ chạy nó theo thứ tự vài phút. Kiểm tra chính mình với các vấn đề trên Project Euler.$\log(n)$$n$

Để tiếp tục chủ đề của bạn, giống như liên tục đoán vị trí x nằm trong danh sách và được thông báo "cao hơn" hoặc "thấp hơn" (về chỉ số).$O(\log n)$$x$

Nó vẫn dựa trên kích thước của danh sách, nhưng bạn chỉ cần truy cập một phần nhỏ của các yếu tố.

Nếu chúng ta có một thuật toán chia để trị , và chúng tôi chỉ cần lập một cuộc gọi đệ quy cho một bài toán con, và nó là trường hợp thứ hai trong định lý tổng thể , tức là mức độ phức tạp thời gian của phần không đệ quy là , sau đó các độ phức tạp của thuật toán sẽ là Θ ( lg k + 1 n ) .$\Theta(\lg^k n)$$\Theta(\lg^{k+1} n)$

Nói cách khác, khi chúng ta có một thuật toán chia và chinh phục với một lệnh gọi đệ quy cho chính nó về một vấn đề có kích thước là một yếu tố không đổi của vấn đề hiện tại và thời gian trong phần không đệ quy là (không đổi), sau đó thời gian chạy của thuật toán sẽ là lg n .$\Theta(1)$$\lg n$

Các tìm kiếm nhị phân thuật toán là ví dụ cổ điển.

Trực giác là số lần bạn có thể giảm một nửa số, giả sử n, trước khi nó giảm xuống 1 là O (lg n).

Để hình dung, hãy thử vẽ nó dưới dạng cây nhị phân và đếm số cấp bằng cách giải tiến trình hình học này.

2^0+2^1+...+2^h = n