Làm thế nào để áp dụng cắt gradient trong TensorFlow?

Xem xét mã ví dụ .

Tôi muốn biết Cách áp dụng tính năng cắt chuyển màu trên mạng này trên RNN, nơi có khả năng bùng nổ các gradient.

tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)

Đây là một ví dụ có thể được sử dụng nhưng tôi giới thiệu cái này ở đâu? Trong định nghĩa của RNN

    lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0)
    # Split data because rnn cell needs a list of inputs for the RNN inner loop
    _X = tf.split(0, n_steps, _X) # n_steps
tf.clip_by_value(_X, -1, 1, name=None)

Nhưng điều này không có ý nghĩa vì tensor _X là đầu vào chứ không phải grad là những gì sẽ được cắt?

Tôi có phải xác định Trình tối ưu hoá của riêng mình cho việc này hay có tuỳ chọn đơn giản hơn không?

Việc cắt gradient cần phải xảy ra sau khi tính toán các gradient, nhưng trước khi áp dụng chúng để cập nhật các thông số của mô hình. Trong ví dụ của bạn, cả hai điều đó đều được xử lý bởi AdamOptimizer.minimize()phương thức.

Để cắt các gradient của bạn, bạn sẽ cần tính toán, cắt và áp dụng chúng một cách rõ ràng như được mô tả trong phần này trong tài liệu API của TensorFlow . Cụ thể, bạn sẽ cần thay thế lời gọi minimize()phương thức bằng một thứ như sau:

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(cost)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)

Bất chấp những gì có vẻ phổ biến, bạn có thể muốn cắt toàn bộ gradient theo tiêu chuẩn toàn cầu của nó:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimize = optimizer.apply_gradients(zip(gradients, variables))

Việc cắt từng ma trận gradient riêng lẻ sẽ thay đổi tỷ lệ tương đối của chúng nhưng cũng có thể:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients = [
    None if gradient is None else tf.clip_by_norm(gradient, 5.0)
    for gradient in gradients]
optimize = optimizer.apply_gradients(zip(gradients, variables))

Trong TensorFlow 2, một đoạn băng tính toán các độ dốc, các trình tối ưu hóa đến từ Keras và chúng tôi không cần lưu trữ bản cập nhật vì nó chạy tự động mà không cần chuyển nó đến một phiên:

optimizer = tf.keras.optimizers.Adam(1e-3)
# ...
with tf.GradientTape() as tape:
  loss = ...
variables = ...
gradients = tape.gradient(loss, variables)
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimizer.apply_gradients(zip(gradients, variables))

Điều này thực sự được giải thích đúng trong tài liệu. :

Việc gọi Minimum () đảm nhận cả việc tính toán các gradient và áp dụng chúng cho các biến. Nếu bạn muốn xử lý các gradient trước khi áp dụng chúng, thay vào đó, bạn có thể sử dụng trình tối ưu hóa theo ba bước:

• Tính toán độ dốc bằng compute_gradients ().
• Xử lý các gradient như bạn muốn.
• Áp dụng các gradient đã xử lý với apply_gradients ().

Và trong ví dụ mà họ cung cấp, họ sử dụng 3 bước sau:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

Đây MyCapperlà bất kỳ chức năng nào bao hàm gradient của bạn. Danh sách các chức năng hữu ích (khác tf.clip_by_value()) có ở đây .

Đối với những người muốn hiểu ý tưởng của việc cắt gradient (theo tiêu chuẩn):

Bất cứ khi nào định mức gradient lớn hơn một ngưỡng cụ thể, chúng tôi cắt định mức gradient để nó nằm trong ngưỡng. Ngưỡng này đôi khi được đặt thành 5.

Đặt gradient là g và max_norm_threshold là j .

Bây giờ, nếu || g || > j , chúng tôi làm:

g = ( j * g ) / || g ||

Đây là việc triển khai được thực hiện trong tf.clip_by_norm

IMO giải pháp tốt nhất là kết hợp trình tối ưu hóa của bạn với trình trang trí ước tính của TF tf.contrib.estimator.clip_gradients_by_norm:

original_optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
optimizer = tf.contrib.estimator.clip_gradients_by_norm(original_optimizer, clip_norm=5.0)
train_op = optimizer.minimize(loss)

Bằng cách này, bạn chỉ phải xác định điều này một lần và không phải chạy nó sau mỗi lần tính toán độ dốc.

Tài liệu: https://www.tensorflow.org/api_docs/python/tf/contrib/estimator/clip_gradients_by_norm

Gradient Clipping về cơ bản giúp ích trong trường hợp các gradient phát nổ hoặc biến mất. Nói rằng tổn thất của bạn quá cao sẽ dẫn đến các gradient theo cấp số nhân chảy qua mạng có thể dẫn đến các giá trị Nan. Để khắc phục điều này, chúng tôi cắt chuyển sắc trong một phạm vi cụ thể (-1 đến 1 hoặc bất kỳ phạm vi nào tùy theo điều kiện).

clipped_value=tf.clip_by_value(grad, -range, +range), var) for grad, var in grads_and_vars

trong đó grads _and_vars là các cặp gradient (mà bạn tính toán qua tf.compute_gradients) và các biến của chúng sẽ được áp dụng.

Sau khi cắt, chúng tôi chỉ cần áp dụng giá trị của nó bằng cách sử dụng trình tối ưu hóa. optimizer.apply_gradients(clipped_value)