Tôi có nên sử dụng @ tf.feft cho tất cả các chức năng không?

Một hướng dẫn chính thức về @tf.functionnói:

Để có được hiệu suất cao nhất và để mô hình của bạn có thể triển khai ở bất cứ đâu, hãy sử dụng tf.feft để tạo biểu đồ ra khỏi chương trình của bạn. Nhờ AutoGraph, một lượng mã Python đáng ngạc nhiên chỉ hoạt động với tf.feft, nhưng vẫn còn những cạm bẫy cần cảnh giác.

Các khuyến nghị và khuyến nghị chính là:

• Đừng dựa vào các tác dụng phụ của Python như đột biến đối tượng hoặc nối thêm danh sách.
• tf.function hoạt động tốt nhất với ops TensorFlow, thay vì opP NumPy hoặc Python nguyên thủy.
• Khi nghi ngờ, sử dụng for x trong thành ngữ y.

Nó chỉ đề cập đến cách thực hiện các @tf.functionchức năng chú thích chứ không phải khi nào sử dụng nó.

Có một heuristic về cách quyết định liệu tôi ít nhất nên cố gắng chú thích một chức năng với tf.function? Dường như không có lý do gì để không làm điều đó, trừ khi tôi lười biếng loại bỏ các tác dụng phụ hoặc thay đổi một số thứ như range()-> tf.range(). Nhưng nếu tôi sẵn sàng làm điều này ...

Có bất kỳ lý do không sử dụng @tf.functioncho tất cả các chức năng?

TLDR: Nó phụ thuộc vào chức năng của bạn và liệu bạn đang trong quá trình sản xuất hay phát triển. Không sử dụng tf.functionnếu bạn muốn có thể gỡ lỗi chức năng của mình một cách dễ dàng hoặc nếu nó nằm trong giới hạn của khả năng tương thích mã AutoGraph hoặc tf.v1. Tôi đặc biệt khuyên bạn nên xem các cuộc thảo luận Inside TensorFlow về AutoGraph và Chức năng, chứ không phải Phiên .

Sau đây tôi sẽ chia nhỏ các lý do, tất cả được lấy từ thông tin có sẵn trực tuyến của Google.

Nói chung, trình tf.functiontrang trí làm cho một hàm được biên dịch thành một hàm có thể gọi được, thực thi một biểu đồ TensorFlow. Điều này đòi hỏi:

• Chuyển đổi mã thông qua AutoGraph nếu được yêu cầu (bao gồm mọi chức năng được gọi từ chức năng chú thích)
• Truy tìm và thực thi mã đồ thị đã tạo

Có thông tin chi tiết có sẵn về các ý tưởng thiết kế đằng sau này.

Lợi ích của việc trang trí một chức năng với tf.function

Lợi ích chung

• Thực thi nhanh hơn , đặc biệt nếu hàm bao gồm nhiều op nhỏ (Nguồn)

Đối với các chức năng với mã Python / Sử dụng AutoGraph thông qua tf.functiontrang trí

Nếu bạn muốn sử dụng AutoGraph, việc sử dụng tf.functionđược khuyến khích cao hơn là gọi trực tiếp AutoGraph. Lý do cho điều này bao gồm: Phụ thuộc điều khiển tự động, nó được yêu cầu cho một số API, bộ nhớ đệm nhiều hơn và trình trợ giúp ngoại lệ (Nguồn) .

Hạn chế của việc trang trí một chức năng với tf.function

Hạn chế chung

• Nếu chức năng chỉ bao gồm một vài op đắt tiền, sẽ không có nhiều tăng tốc (Nguồn)

Đối với các chức năng với mã Python / Sử dụng AutoGraph thông qua tf.functiontrang trí

• Không bắt ngoại lệ (nên được thực hiện ở chế độ háo hức; bên ngoài chức năng được trang trí) (Nguồn)
• Gỡ lỗi khó hơn nhiều
• Hạn chế do tác dụng phụ ẩn và luồng kiểm soát TF

Thông tin chi tiết về các hạn chế của AutoGraph có sẵn.

Đối với các hàm có mã tf.v1

• Không được phép tạo các biến nhiều lần tf.function, nhưng điều này có thể thay đổi khi mã tf.v1 bị loại bỏ (Nguồn)

Đối với các hàm có mã tf.v2

• Không có nhược điểm cụ thể

Ví dụ về những hạn chế

Tạo các biến nhiều lần

Không được phép tạo các biến nhiều lần, chẳng hạn như vtrong ví dụ sau:

@tf.function
def f(x):
    v = tf.Variable(1)
    return tf.add(x, v)

f(tf.constant(2))

# => ValueError: tf.function-decorated function tried to create variables on non-first call.

Trong đoạn mã sau, điều này được giảm nhẹ bằng cách đảm bảo rằng self.vnó chỉ được tạo một lần:

class C(object):
    def __init__(self):
        self.v = None
    @tf.function
    def f(self, x):
        if self.v is None:
            self.v = tf.Variable(1)
        return tf.add(x, self.v)

c = C()
print(c.f(tf.constant(2)))

# => tf.Tensor(3, shape=(), dtype=int32)

Tác dụng phụ ẩn không được chụp bởi AutoGraph

self.aKhông thể ẩn các thay đổi như trong ví dụ này, dẫn đến lỗi do phân tích chức năng chéo chưa được thực hiện (chưa) (Nguồn) :

class C(object):
    def change_state(self):
        self.a += 1

    @tf.function
    def f(self):
        self.a = tf.constant(0)
        if tf.constant(True):
            self.change_state() # Mutation of self.a is hidden
        tf.print(self.a)

x = C()
x.f()

# => InaccessibleTensorError: The tensor 'Tensor("add:0", shape=(), dtype=int32)' cannot be accessed here: it is defined in another function or code block. Use return values, explicit Python locals or TensorFlow collections to access it. Defined in: FuncGraph(name=cond_true_5, id=5477800528); accessed from: FuncGraph(name=f, id=5476093776).

Thay đổi trong tầm nhìn rõ ràng là không có vấn đề:

class C(object):
    @tf.function
    def f(self):
        self.a = tf.constant(0)
        if tf.constant(True):
            self.a += 1 # Mutation of self.a is in plain sight
        tf.print(self.a)

x = C()
x.f()

# => 1

Ví dụ về giới hạn do dòng điều khiển TF

Điều này nếu câu lệnh dẫn đến lỗi vì giá trị khác cần được xác định cho luồng điều khiển TF:

@tf.function
def f(a, b):
    if tf.greater(a, b):
        return tf.constant(1)

# If a <= b would return None
x = f(tf.constant(3), tf.constant(2))   

# => ValueError: A value must also be returned from the else branch. If a value is returned from one branch of a conditional a value must be returned from all branches.

tf.feft rất hữu ích trong việc tạo và sử dụng các biểu đồ tính toán, chúng nên được sử dụng trong đào tạo và triển khai, tuy nhiên nó không cần thiết cho hầu hết các chức năng của bạn.

Hãy nói rằng chúng tôi đang xây dựng một lớp đặc biệt sẽ tách ra khỏi một mô hình lớn hơn. Chúng tôi không muốn có trình trang trí tf.feft bên trên hàm xây dựng lớp đó bởi vì nó chỉ là một định nghĩa về lớp sẽ trông như thế nào.

Mặt khác, giả sử rằng chúng ta sẽ đưa ra dự đoán hoặc tiếp tục đào tạo bằng cách sử dụng một số chức năng. Chúng tôi muốn có tf.factor trang trí bởi vì chúng tôi thực sự đang sử dụng biểu đồ tính toán để có được một số giá trị.

Một ví dụ tuyệt vời sẽ là xây dựng mô hình bộ mã hóa-giải mã. KHÔNG đặt trình trang trí xung quanh chức năng tạo bộ mã hóa hoặc bộ giải mã hoặc bất kỳ lớp nào, đó chỉ là một định nghĩa về những gì nó sẽ làm. NÊN đặt công cụ trang trí xung quanh phương pháp "tàu" hoặc "dự đoán" bởi vì những người thực sự sẽ sử dụng biểu đồ tính toán để tính toán.