Làm thế nào tôi có thể mô hình hiệu quả tổng các biến ngẫu nhiên Bernoulli?

Tôi đang lập mô hình một biến ngẫu nhiên ( ) là tổng của một số biến ngẫu nhiên Bernoulli độc lập ~ 15-40k ( ), mỗi biến có xác suất thành công khác nhau ( ). Chính thức, trong đó và \ Pr (X_i = 0) = 1-p_i .$Y$$X_i$$p_i$$Y=\sum X_i$$\Pr(X_i=1)=p_i$$\Pr(X_i=0)=1-p_i$

Tôi quan tâm đến việc trả lời nhanh các truy vấn, chẳng hạn như $\Pr(Y<=k)$ (trong đó $k$ được đưa ra).

Hiện tại, tôi sử dụng mô phỏng ngẫu nhiên để trả lời các truy vấn như vậy. Tôi rút ngẫu nhiên từng $X_i$ theo p_i của nó $p_i$, sau đó tổng tất cả các giá trị $X_i$ để lấy $Y'$ . Tôi lặp lại quá trình này vài nghìn lần và trả về tỷ lệ số lần $\Pr(Y'\leq k)$ .

Rõ ràng, điều này không hoàn toàn chính xác (mặc dù độ chính xác tăng lên rất nhiều khi số lượng mô phỏng tăng lên). Ngoài ra, có vẻ như tôi có đủ dữ liệu về phân phối để tránh các mô phỏng sử dụng. Bạn có thể nghĩ ra một cách hợp lý để có được xác suất chính xác $\Pr(Y\leq k)$ không?

ps

Tôi sử dụng Perl & R.

CHỈNH SỬA

Sau khi trả lời tôi nghĩ có thể cần một số giải thích. Tôi sẽ mô tả ngắn gọn các thiết lập của vấn đề của tôi. Cho là một bộ gen hình tròn với chu vi cvà một bộ nphạm vi được ánh xạ tới nó. Ví dụ, c=3*10^9và ranges={[100,200],[50,1000],[3*10^9-1,1000],...}. Lưu ý tất cả các phạm vi được đóng (cả hai đầu được bao gồm). Cũng lưu ý rằng chúng tôi chỉ giao dịch với số nguyên (toàn bộ đơn vị).

Tôi đang tìm kiếm các khu vực trên vòng tròn được che chắn bởi các nphạm vi được ánh xạ nhất định . Vì vậy, để kiểm tra xem một phạm vi độ dài nhất định xtrên vòng tròn có được che giấu hay không, tôi kiểm tra giả thuyết rằng các nphạm vi được ánh xạ ngẫu nhiên. Xác suất một phạm vi độ dài được ánh xạ q>xsẽ bao gồm đầy đủ phạm vi độ dài đã cho xlà (q-x)/c. Xác suất này trở nên khá nhỏ khi clớn và / hoặc qnhỏ. Điều tôi quan tâm là số lượng phạm vi (ngoài n) bao gồm x. Đây là cách Yhình thành.

Tôi kiểm tra giả thuyết không có giá trị của tôi so với phương án thay thế một phía (bí mật). Cũng lưu ý rằng tôi đang thử nghiệm nhiều giả thuyết ( xđộ dài khác nhau ) và chắc chắn sẽ sửa cho điều này.

Nếu nó thường giống với Poisson , bạn đã thử xấp xỉ nó bằng Poisson với tham số chưa?$\lambda = \sum p_i$

EDIT : Tôi đã tìm thấy một kết quả lý thuyết để chứng minh điều này, cũng như một tên cho phân phối của : nó được gọi là phân phối nhị thức Poisson . Bất đẳng thức của Le Cam cho bạn biết mức độ phân phối của nó gần đúng bằng cách phân phối Poisson với tham số . Nó cho bạn biết chất lượng của khoảng này được chi phối bởi tổng bình phương của s, để diễn giải Steele (1994) . Vì vậy, nếu tất cả các của bạn đều nhỏ một cách hợp lý, vì hiện tại chúng có vẻ như vậy, nó sẽ là một xấp xỉ khá tốt.λ = Σ p i p i p $Y$$\lambda = \sum p_i$$p_i$$p_i$

EDIT 2 : Làm thế nào nhỏ là "nhỏ hợp lý"? Chà, điều đó phụ thuộc vào việc bạn cần sự gần đúng như thế nào! Các bài viết trên Wikipedia về định lý của Le Cam cung cấp cho các hình thức chính xác của kết quả tôi nêu ở trên: tổng các chênh lệch tuyệt đối giữa hàm xác suất tin đại chúng (PMF) của và PMF của việc phân bố trên Poisson là không nhiều hơn gấp đôi so với tổng của các hình vuông của s. Một kết quả khác từ Le Cam (1960) có thể dễ sử dụng hơn: tổng này cũng không quá 18 lần so với lớn nhất . Có khá nhiều kết quả như vậy ... xem Serfling (1978) để xem xét.p i p $Y$$p_i$$p_i$

Tôi đã gặp câu hỏi của bạn trong khi tìm kiếm một giải pháp cho vấn đề này. Tôi không thực sự hài lòng với câu trả lời ở đây, nhưng tôi nghĩ rằng có một giải pháp khá đơn giản mang lại cho bạn sự phân phối chính xác và khá dễ hiểu.

Phân phối tổng của hai biến ngẫu nhiên rời rạc là tích chập mật độ của chúng. Vì vậy, nếu bạn có , nơi bạn biết và thì bạn có thể tính toán:P ( X ) P ( Y $Z = X + Y$$P(X)$$P(Y)$

$$P(Z=z) = \sum_{k=-\infty}^{\infty} P(X=k) \; P(Y=z-k)$$

(Tất nhiên cho các biến ngẫu nhiên Bernoulli bạn không cần phải đi khá đến vô cùng.)

Bạn có thể sử dụng điều này để tìm phân phối chính xác của tổng số RV của bạn. Đầu tiên tổng hợp hai trong số các RV với nhau bằng cách tạo các tệp PDF của chúng (ví dụ: [0,3, 0,7] * [0,6, 0,4] = [0,18, 0,54, 0,28]). Sau đó, xác nhận phân phối mới đó với Bernoulli PDF tiếp theo của bạn (ví dụ: [0,18, 0,54, 0,28] * [0,5, 0,5] = [0,09, 0,36, 0,41, 0,14]). Tiếp tục lặp lại điều này cho đến khi tất cả các RV đã được thêm vào. Và voila, vectơ kết quả là PDF chính xác của tổng tất cả các biến của bạn.

Tôi đã xác minh với mô phỏng rằng điều này tạo ra kết quả chính xác. Nó không dựa trên bất kỳ giả định tiệm cận nào, và không có yêu cầu nào cho thấy các probs Bernoulli là nhỏ.

Cũng có thể có một số cách để làm điều này hiệu quả hơn tích chập lặp đi lặp lại, nhưng tôi chưa nghĩ về nó rất sâu sắc. Tôi hy vọng điều này hữu ích cho ai đó!

@onestop cung cấp tài liệu tham khảo tốt. Bài viết Wikipedia về phân phối nhị thức Poisson đưa ra một công thức đệ quy để tính toán phân phối xác suất chính xác; nó đòi hỏi nỗ lực . Thật không may, đó là một tổng xen kẽ, vì vậy nó sẽ không ổn định về mặt số lượng: thật vô vọng khi thực hiện phép tính này với số học dấu phẩy động. May mắn thay, khi nhỏ, bạn chỉ cần tính toán một số lượng nhỏ xác suất, vì vậy nỗ lực thực sự tỷ lệ thuận với . Độ chính xác cần thiết để thực hiện phép tính với số học hợp lý ( nghĩa là chính xác, sao cho độ không ổn định của số không phải là vấn đề) tăng chậm đến mức thời gian tổng thể vẫn có thể xấp xỉp i O ( n log ( ∑ i p i ) ) O ( n 2$O(n^2)$$p_i$$O(n \log(\sum_i{p_i}))$$O(n^2)$. Điều đó khả thi.

Để thử nghiệm, tôi đã tạo ra một mảng xác suất cho các giá trị khác nhau của lên đến , đó là kích thước của vấn đề này. Đối với các giá trị nhỏ của (tối đa ), thời gian để tính toán xác suất chính xác là tính bằng giây và được chia tỷ lệ theo phương pháp bậc hai, vì vậy tôi đã mạo hiểm tính toán cho cho đến ba SD trên trung bình (xác suất cho 0, 1, ..., 22 thành công). Phải mất 80 phút (với Mathicala 8), phù hợp với thời gian dự đoán. (Xác suất kết quả là các phân số có tử số và mẫu số có khoảng 75.000 chữ số mỗi ô!) Điều này cho thấy phép tính có thể được thực hiện.n n = 2 16 n n = 2 12 n = 2 $p_i = 1/(i+1)$$n$$n = 2^{16}$$n$$n = 2^{12}$$n = 2^{16}$

Một cách khác là chạy một mô phỏng dài (một triệu thử nghiệm phải làm). Nó chỉ phải được thực hiện một lần, bởi vì không thay đổi.$p_i$

(Bởi vì cách tiếp cận này độc lập với các giải pháp khác được đăng, bao gồm một giải pháp mà tôi đã đăng, tôi sẽ cung cấp nó như một phản hồi riêng biệt).

Bạn có thể tính toán phân phối chính xác trong vài giây (hoặc ít hơn) với điều kiện tổng của p là nhỏ.

Chúng tôi đã thấy các đề xuất rằng phân phối có thể xấp xỉ là Gaussian (trong một số kịch bản) hoặc Poisson (trong các kịch bản khác). Dù bằng cách nào, chúng ta biết ý nghĩa của nó là tổng của và phương sai của nó là tổng của . Do đó, phân phối sẽ được tập trung trong một vài độ lệch chuẩn của giá trị trung bình của nó, giả sử SD với trong khoảng từ 4 đến 6 hoặc khoảng đó. Do đó, chúng ta chỉ cần tính xác suất để tổng bằng (một số nguyên) với thông qua . Khi hầu hết các$\mu$$p_i$$\sigma^2$$p_i(1-p_i)$$z$$z$$X$$k$$k = \mu - z \sigma$$k = \mu + z \sigma$$p_i$là nhỏ, xấp xỉ bằng (nhưng hơi nhỏ hơn) , vì vậy để bảo thủ, chúng ta có thể tính toán cho trong khoảng . Ví dụ: khi tổng bằng và chọn để che đuôi tốt, chúng ta sẽ cần tính toán để bao phủ trong = , chỉ có 28 giá trị.$\sigma^2$$\mu$$k$$[\mu - z \sqrt{\mu}, \mu + z \sqrt{\mu}]$$p_i$$9$$z = 6$$k$$[9 - 6 \sqrt{9}, 9 + 6 \sqrt{9}]$$[0, 27]$

Phân phối được tính toán đệ quy . Đặt là phân phối tổng của đầu tiên của các biến Bernoulli này. Với mọi từ đến , tổng của các biến đầu tiên có thể bằng theo hai cách loại trừ lẫn nhau: tổng của các biến đầu tiên bằng và là hoặc nếu không, tổng của các biến đầu tiên bằng và là . vì thế$f_i$$i$$j$$0$$i+1$$i+1$$j$$i$$j$$i+1^\text{st}$$0$$i$$j-1$$i+1^\text{st}$$1$

$$f_{i+1}(j) = f_i(j)(1 - p_{i+1}) + f_i(j-1) p_{i+1}.$$

Chúng ta chỉ cần thực hiện tính toán này cho tích phân trong khoảng từ đến$j$ $\max(0, \mu - z \sqrt{\mu})$ $\mu + z \sqrt{\mu}.$

Khi hầu hết các đều nhỏ (nhưng vẫn có thể phân biệt được với với độ chính xác hợp lý), cách tiếp cận này không bị ảnh hưởng bởi sự tích lũy rất lớn của các lỗi làm tròn điểm nổi được sử dụng trong giải pháp tôi đã đăng trước đây. Do đó, tính toán độ chính xác mở rộng là không cần thiết. Ví dụ: phép tính chính xác kép cho một mảng có xác suất ( , yêu cầu tính toán cho xác suất của các khoản tiền trong khoảng từ đến$p_i$$1 - p_i$$1$$2^{16}$$p_i = 1/(i+1)$$\mu = 10.6676$$0$$31$) mất 0,1 giây với Mathicala 8 và 1-2 giây với Excel 2002 (cả hai đều có cùng câu trả lời). Lặp lại nó với độ chính xác gấp bốn lần (trong Mathicala) mất khoảng 2 giây nhưng không thay đổi bất kỳ câu trả lời nào quá . Chấm dứt phân phối tại SD vào đuôi trên chỉ mất trong tổng xác suất.$3 \times 10^{-15}$$z = 6$$3.6 \times 10^{-8}$

Một tính toán khác cho một mảng gồm 40.000 giá trị ngẫu nhiên chính xác gấp đôi trong khoảng từ 0 đến 0,001 ( ) mất 0,08 giây với .$\mu = 19.9093$

Thuật toán này là song song. Chỉ cần chia tập hợp thành các tập hợp khác nhau có kích thước xấp xỉ bằng nhau, mỗi bộ cho mỗi bộ xử lý. Tính toán phân phối cho mỗi tập hợp con, sau đó xác nhận kết quả (sử dụng FFT nếu bạn muốn, mặc dù việc tăng tốc này có thể là không cần thiết) để có được câu trả lời đầy đủ. Điều này làm cho nó thực tế để sử dụng ngay cả khi trở nên lớn, khi bạn cần nhìn xa ra đuôi ( lớn) và / hoặc lớn.$p_i$$\mu$$z$$n$

Thời gian cho một mảng gồm biến với bộ xử lý tỷ lệ là . Tốc độ của Mathematica là một triệu mỗi giây. Ví dụ: với bộ xử lý , biến thiên, tổng xác suất và đi ra độ lệch chuẩn vào đuôi trên, triệu: tính một vài giây thời gian tính toán. Nếu bạn biên dịch cái này, bạn có thể tăng tốc hiệu suất hai bậc độ lớn.$n$$m$$O(n(\mu + z \sqrt{\mu})/m)$$m = 1$$n = 20000$$\mu = 100$$z = 6$$n(\mu + z \sqrt{\mu})/m = 3.2$

Ngẫu nhiên, trong các trường hợp thử nghiệm này, các biểu đồ phân phối rõ ràng cho thấy một số sai lệch tích cực: chúng không bình thường.

Đối với bản ghi, đây là một giải pháp Mathicala:

pb[p_, z_] := Module[
  {\[Mu] = Total[p]},
  Fold[#1 - #2 Differences[Prepend[#1, 0]] &, 
   Prepend[ConstantArray[0, Ceiling[\[Mu] + Sqrt[\[Mu]] z]], 1], p]
  ]

( NB Mã màu được áp dụng bởi trang web này là vô nghĩa đối với mã Mathicala. Đặc biệt, nội dung màu xám không phải là nhận xét: đó là nơi tất cả công việc được thực hiện!)

Một ví dụ về việc sử dụng nó là

pb[RandomReal[{0, 0.001}, 40000], 8]

---

Chỉnh sửa

Một Rgiải pháp chậm hơn mười lần so với Mathicala trong trường hợp thử nghiệm này - có lẽ tôi chưa mã hóa nó một cách tối ưu - nhưng nó vẫn thực thi nhanh chóng (khoảng một giây):

pb <- function(p, z) {
  mu <- sum(p)
  x <- c(1, rep(0, ceiling(mu + sqrt(mu) * z)))
  f <- function(v) {x <<- x - v * diff(c(0, x));}
  sapply(p, f); x  
}
y <- pb(runif(40000, 0, 0.001), 8)
plot(y)

Với khác nhau, đặt cược tốt nhất của bạn tôi nghĩ là xấp xỉ bình thường. Đặt . Sau đó$p_i$$B_n=\sum_{i=1}^np_i(1-p_i)$

$$\begin{align*} B_n^{-1/2}\left(\sum_{i=1}^nX_i-\sum_{i=1}^np_i\right)\to N(0,1), \end{align*}$$ là , miễn là với mỗi$n\to\infty$$\varepsilon>0$

$$\begin{align*} B_n^{-1}\sum_{i=1}^nE\left((X_i-p_i)^2\mathbf{1}\{|X_i-p_i|>\varepsilon B_n^{1/2}\}\right)\to 0, \end{align*}$$ là , điều này đối với các biến Bernoulli sẽ giữ nếu . Đây là điều kiện được gọi là Lindeberg, đủ và cần thiết để hội tụ đến tiêu chuẩn thông thường.$n\to\infty$$B_n\to\infty$

Cập nhật: Lỗi xấp xỉ có thể được tính từ bất đẳng thức sau:

$$\begin{align*} \sup_x|F_n(x)-\Phi(x)|\le AL_n, \end{align*}$$ trong đó và là cdf của tổng được chia tỷ lệ và trung tâm . $$\begin{align*} L_n=B_n^{-3/2}\sum_{i=1}^nE|X_i-p_i|^3 \end{align*}$$ $F_n$$X_i$

Như whuber đã chỉ ra, sự hội tụ có thể chậm đối với cư xử xấu . Với chúng ta có và . Sau đó, lấy chúng ta nhận được rằng độ lệch tối đa so với cdf bình thường tiêu chuẩn là một con số khổng lồ 0,3.$p_i$$p_i=\frac{1}{1+i}$$B_n\approx \ln n$$L_n\approx (\ln n)^{-1/2}$$n=2^{16}$

Chà, dựa trên mô tả của bạn và cuộc thảo luận trong các bình luận, rõ ràng có nghĩa là và variance . Hình dạng phân phối của cuối cùng sẽ phụ thuộc vào hành vi của . Đối với "đẹp" phù hợp (theo nghĩa là không có quá nhiều trong số chúng thực sự gần bằng 0), phân phối của sẽ xấp xỉ bình thường (tập trung ngay tại ). Nhưng khi bắt đầu hướng về 0, phân phối sẽ được dịch chuyển sang bên trái và khi nó đông lên so với$Y$$\sum_i p_i$$\sum_i p_{i}(1-p_{i})$$Y$$p_i$$p_i$$Y$$\sum p_i$$\sum_i p_i$$y$-axis nó sẽ bắt đầu trông kém bình thường hơn rất nhiều và nhiều Poisson hơn, như @whuber và @onestop đã đề cập.

Từ nhận xét của bạn "bản phân phối có vẻ Poisson" Tôi nghi ngờ rằng trường hợp sau này là những gì đang xảy ra, nhưng thực sự không thể chắc chắn nếu không có một số loại hiển thị trực quan hoặc thống kê tóm tắt về 's. Tuy nhiên, xin lưu ý, như @whuber đã làm, với hành vi bệnh lý đầy đủ của , bạn có thể có tất cả các loại điều ma quái xảy ra, như các giới hạn là phân phối hỗn hợp. Tôi nghi ngờ đó là trường hợp ở đây, nhưng một lần nữa, nó thực sự phụ thuộc vào những gì của bạn đang làm.$p$$p$$p$

Đối với câu hỏi ban đầu của "làm thế nào để mô hình hóa một cách hiệu quả", tôi sẽ đề nghị một mô hình phân cấp cho bạn, nhưng nó không phải là thực sự thích hợp nếu 's là hằng cố định. Nói tóm lại, hãy xem biểu đồ của và đưa ra dự đoán đầu tiên dựa trên những gì bạn nhìn thấy. Tôi muốn giới thiệu các câu trả lời bằng @mpiktas (và bởi @csgillespie mở rộng) nếu bạn 's không quá đông đúc sang bên trái, và tôi muốn giới thiệu các câu trả lời bằng @onestop nếu chúng được đông đúc trái ly.$p$$p$$p$

Nhân tiện, đây là mã R tôi đã sử dụng khi giải quyết vấn đề này: mã không thực sự phù hợp nếu của bạn quá nhỏ, nhưng nó có thể dễ dàng cắm vào các mô hình khác nhau cho (bao gồm cả ma quái- những người điên) để xem những gì sẽ xảy ra với sự phân bố cuối cùng của .$p$$p$$Y$

set.seed(1)
M <- 5000
N <- 15000
p <- rbeta(N, shape1 = 1, shape2 = 10)
Y <- replicate(M, sum(rbinom(N, size = 1, prob = p)))

Bây giờ hãy xem kết quả.

hist(Y)
mean(Y)
sum(p)
var(Y)
sum(p*(1 - p))

Chúc vui vẻ; Nhất định rồi.

Tôi nghĩ rằng những câu trả lời khác là tuyệt vời, nhưng tôi không thấy bất kỳ cách nào để ước tính xác suất của bạn. Câu trả lời không có dạng rõ ràng, nhưng xác suất có thể được mô phỏng bằng R.

Đây là nỗ lực:

$$X_i | p_i \sim Ber(p_i)$$

$$p_i \sim Beta(\alpha, \beta)$$

Sử dụng wikipedia chúng ta có thể nhận được ước tính của và (xem phần ước tính tham số).$\hat{\alpha}$$\hat{\beta}$

Bây giờ bạn có thể tạo các bản vẽ cho bước , tạo từ và sau đó tạo từ . Sau khi bạn thực hiện lần này, bạn có thể nhận được . Đây là một chu kỳ duy nhất để tạo Y, hãy thực hiện số lần (lớn) này và biểu đồ cho Ys sẽ là ước tính mật độ của Y.$i^{th}$$p_i$$Beta(\hat{\alpha},\hat{\beta})$$X_i$$Ber(p_i)$$N$$Y = \sum X_i$$M$$M$

$$Prob[Y \leq y] = \frac {\#Y \leq y} {M}$$

Phân tích này chỉ hợp lệ khi không cố định. $p_i$Đây không phải là trường hợp ở đây. Nhưng tôi sẽ để nó ở đây, trong trường hợp ai đó có một câu hỏi tương tự.

Như đã được đề cập trong các câu trả lời khác, phân phối xác suất mà bạn mô tả là phân phối nhị phân Poisson. Một phương pháp hiệu quả để tính toán CDF được đưa ra ở Hong, Yili. Về tính toán hàm phân phối cho phân phối nhị thức Poisson .

Cách tiếp cận là tính toán hiệu quả DFT (biến đổi Fourier rời rạc) của hàm đặc trưng.

Hàm đặc trưng của phân phối nhị thức Poisson được cung cấp bởi ( ).$\phi(t) = \prod_j^n [(1-p_j)+p_je^{it}]$$i=\sqrt{-1}$

Thuật toán là:

1. Đặt , cho .$z_j(k) = 1-p_j+p_j \text{cos}(\omega k)+ i p_j \text{sin}(\omega k)$$\omega=\frac{2\pi}{n+1}$
2. Xác định , xác định .$x_k=\text{exp}\{\sum_j^n log(z_j(k))\}$$x_0=1$
3. Tính cho . Sử dụng đối xứng để lấy phần còn lại.$x_k$$k=1,\dots,[n/2]$$\bar{x}_k=x_{n+1-k}$
4. Áp dụng FFT cho vectơ .$\frac{1}{n+1}<x_0,x_1,\dots,x_n>$
5. Lấy tổng số kết quả tích lũy để có được CDF.

Thuật toán có sẵn trong gói poibin R.

Cách tiếp cận này cho kết quả tốt hơn nhiều so với các công thức đệ quy vì chúng có xu hướng thiếu ổn định số.

Tôi sẽ đề nghị áp dụng xấp xỉ Poisson. Một điều được biết đến (xem AD Barbour, L. Holst và S. Janson: Xấp xỉ Poisson) rằng tổng khoảng cách biến đổi giữa và rv có phân phối Poisson với tham số là nhỏ: Ngoài ra còn có tiếp giáp về phân kỳ thông tin (khoảng cách Kullback-Leibler, bạn có thể thấy P. Harremoёs: Nơi hội tụ để phân phối Poisson trong Thông tin phân kỳ trước khi in số 2, tháng 2 năm 2003, Sở Toán học, Đại học Copenhagen... Http: //www.harremoes.dk/Peter/poisprep.pdf$Y$$Z$$\sum_i p_i$

$$\sup_A |{\bf P}(Y\in A) - {\bf P}(Z\in A)| \le \min \left\{ 1, \frac{1}{\sum_i p_i} \right\} \sum_i p_i^2.$$ và các ấn phẩm khác của P.Harremoёs), khoảng cách bình phương (xem Borisov và Vorozheikin https://link.springer.com/article/10.1007%2Fs11202-008-0002-3 ) và một số khoảng cách khác.

Để biết độ chính xác của xấp xỉ cho các chức năng vô biên bạn có thể thấy Borisov và Ruzankin https://projecteuclid.org/euclid.aop/1039548369 . Ngoài ra, bài báo đó chứa một ràng buộc đơn giản cho xác suất: với tất cả , chúng ta có $|{\bf E}f(Y) - {\bf E}f(Z)|$$f$$A$

$${\bf P}(Y\in A) \le \frac{1}{(1-\max_i p_i)^2} {\bf P}(Z\in A).$$