Hầu hết các thủ tục ước tính liên quan đến việc tìm các tham số giảm thiểu (hoặc tối đa hóa) một số hàm mục tiêu. Ví dụ, với OLS, chúng tôi giảm thiểu tổng số dư bình phương. Với Ước tính Khả năng Tối đa, chúng tôi tối đa hóa chức năng khả năng đăng nhập. Sự khác biệt là tầm thường: tối thiểu hóa có thể được chuyển đổi thành tối đa hóa bằng cách sử dụng tiêu cực của hàm mục tiêu.
Đôi khi vấn đề này có thể được giải quyết theo đại số, tạo ra một giải pháp dạng đóng. Với OLS, bạn giải quyết hệ thống các điều kiện đặt hàng đầu tiên và nhận công thức quen thuộc (mặc dù bạn vẫn có thể cần một máy tính để đánh giá câu trả lời). Trong các trường hợp khác, điều này là không thể về mặt toán học và bạn cần tìm kiếm các giá trị tham số bằng máy tính. Trong trường hợp này, máy tính và thuật toán đóng vai trò lớn hơn. Bình phương tối thiểu phi tuyến là một ví dụ. Bạn không nhận được một công thức rõ ràng; tất cả những gì bạn nhận được là một công thức mà bạn cần để máy tính thực hiện. Công thức có thể được bắt đầu với dự đoán ban đầu về các tham số có thể là gì và chúng có thể thay đổi như thế nào. Sau đó, bạn thử kết hợp nhiều tham số khác nhau và xem cái nào cung cấp cho bạn giá trị hàm mục tiêu thấp nhất / cao nhất. Đây là cách tiếp cận vũ phu và mất nhiều thời gian. Ví dụ,105
Hoặc bạn có thể bắt đầu bằng một phỏng đoán và tinh chỉnh dự đoán đó theo một số hướng cho đến khi các cải tiến trong hàm mục tiêu nhỏ hơn một số giá trị. Chúng thường được gọi là phương thức gradient (mặc dù có những phương pháp khác không sử dụng gradient để chọn hướng đi, như thuật toán di truyền và ủ mô phỏng). Một số vấn đề như thế này đảm bảo rằng bạn tìm thấy câu trả lời đúng một cách nhanh chóng (hàm mục tiêu bậc hai). Những người khác không đảm bảo như vậy. Bạn có thể lo lắng rằng mình đã bị mắc kẹt tại một địa phương, thay vì toàn cầu, tối ưu, vì vậy bạn hãy thử một loạt các dự đoán ban đầu. Bạn có thể thấy rằng các tham số cực kỳ khác nhau cung cấp cho bạn cùng một giá trị của hàm mục tiêu, vì vậy bạn không biết nên chọn tập nào.
E[y]=exp{α}
QN(α)=−12N∑iN(yi−exp{α})2
α∗=lny¯ln(y¯+k)