Spark: UDF thực thi nhiều lần

Tôi có một khung dữ liệu với mã sau đây:

def test(lat: Double, lon: Double) = {
  println(s"testing ${lat / lon}")
  Map("one" -> "one", "two" -> "two")
}

val testUDF = udf(test _)

df.withColumn("test", testUDF(col("lat"), col("lon")))
  .withColumn("test1", col("test.one"))
  .withColumn("test2", col("test.two"))

Bây giờ kiểm tra các bản ghi, tôi phát hiện ra rằng đối với mỗi hàng, UDF được thực thi 3 lần. Nếu tôi thêm "test3" từ cột "test.three" thì UDF được thực thi một lần nữa.

Ai đó có thể giải thích cho tôi tại sao?

Điều này có thể tránh được một cách chính xác (mà không lưu bộ đệm dữ liệu sau khi "kiểm tra" được thêm vào, ngay cả khi điều này hoạt động)?

Nếu bạn muốn tránh nhiều cuộc gọi đến udf (rất hữu ích, đặc biệt nếu udf là nút cổ chai trong công việc của bạn), bạn có thể thực hiện như sau:

val testUDF = udf(test _).asNondeterministic()

Về cơ bản, bạn nói với Spark rằng chức năng của bạn không mang tính quyết định và bây giờ Spark đảm bảo rằng nó chỉ được gọi một lần vì không an toàn khi gọi nó nhiều lần (mỗi cuộc gọi có thể trả về kết quả khác nhau).

Ngoài ra, hãy lưu ý rằng thủ thuật này không miễn phí, bằng cách này, bạn đang đặt một số ràng buộc cho trình tối ưu hóa, một tác dụng phụ của ví dụ này là trình tối ưu hóa Spark không đẩy các bộ lọc qua các biểu thức không xác định để bạn có trách nhiệm tối ưu vị trí của các bộ lọc trong truy vấn của bạn.