Tôi chưa quen với TensorFlow. Gần đây tôi đã cài đặt nó (phiên bản CPU Windows) và nhận được thông báo sau:

Đã cài đặt thành công tenorflow-1.4.0 tenorflow-tenorboard-0.4.0rc2

Sau đó khi tôi cố chạy

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'
a = tf.constant(10)
b = tf.constant(32)
sess.run(a + b)
42
sess.close()

(mà tôi đã tìm thấy qua https://github.com/tensorflow/tensorflow )

Tôi nhận được tin nhắn sau:

2017-11 / 02 01: 56: 21,698935: IC: \ tf_jenkins \ home \ workspace \ rel-win \ M \ windows \ PY \ 36 \ tenorflow \ core \ platform \ cpu_feature_guard.cc: 137] CPU của bạn hỗ trợ các hướng dẫn này Nhị phân TensorFlow không được biên dịch để sử dụng: AVX AVX2

Nhưng khi tôi chạy

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

nó chạy như bình thường và đầu ra Hello, TensorFlow!, điều đó chỉ ra rằng việc cài đặt đã thực sự thành công nhưng có một cái gì đó sai.

Bạn có biết vấn đề là gì và cách khắc phục?

Cảnh báo này là gì?

Các CPU hiện đại cung cấp rất nhiều hướng dẫn cấp thấp, bên cạnh số học và logic thông thường, được gọi là các phần mở rộng, ví dụ SSE2, SSE4, AVX, v.v. Từ Wikipedia :

Phần mở rộng Vector nâng cao ( AVX ) là phần mở rộng cho kiến ​​trúc tập lệnh x86 cho bộ vi xử lý của Intel và AMD được Intel đề xuất vào tháng 3 năm 2008 và được Intel hỗ trợ đầu tiên với bộ xử lý Sandy Bridge trong quý 1 năm 2011 và sau đó là AMD với bộ xử lý Bulldozer trong quý 3 năm 2011. AVX cung cấp các tính năng mới, hướng dẫn mới và sơ đồ mã hóa mới.

Cụ thể, AVX giới thiệu các hoạt động tích lũy nhân (FMA) hợp nhất, giúp tăng tốc tính toán đại số tuyến tính, cụ thể là sản phẩm chấm, nhân ma trận, tích chập, v.v ... Hầu như mọi hoạt động đào tạo máy học đều liên quan đến rất nhiều hoạt động này, do đó sẽ nhanh hơn trên CPU hỗ trợ AVX và FMA (lên tới 300%). Cảnh báo cho biết CPU của bạn không hỗ trợ AVX (hooray!).

Tôi muốn nhấn mạnh ở đây: tất cả chỉ là về CPU .

Tại sao nó không được sử dụng sau đó?

Bởi vì phân phối mặc định tenorflow được xây dựng mà không có phần mở rộng CPU , chẳng hạn như SSE4.1, SSE4.2, AVX, AVX2, FMA, v.v. Các bản dựng mặc định (từ pip install tensorflow) được dự định tương thích với càng nhiều CPU càng tốt. Một lập luận khác là ngay cả với các phần mở rộng này, CPU chậm hơn rất nhiều so với GPU và dự kiến ​​việc đào tạo học máy ở quy mô vừa và lớn sẽ được thực hiện trên GPU.

Những gì bạn nên làm?

Nếu bạn có GPU , bạn không nên quan tâm đến hỗ trợ AVX, vì hầu hết các op đắt tiền sẽ được gửi trên thiết bị GPU (trừ khi được đặt rõ ràng là không). Trong trường hợp này, bạn chỉ cần bỏ qua cảnh báo này bằng cách

# Just disables the warning, doesn't enable AVX/FMA
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

... hoặc bằng cách cài đặt export TF_CPP_MIN_LOG_LEVEL=2nếu bạn đang dùng Unix. Tensorflow vẫn hoạt động tốt, nhưng bạn sẽ không thấy những cảnh báo khó chịu này.

Nếu bạn không có GPU và muốn sử dụng CPU càng nhiều càng tốt, bạn nên xây dựng dòng chảy từ nguồn được tối ưu hóa cho CPU của bạn với AVX, AVX2 và FMA được bật nếu CPU của bạn hỗ trợ chúng. Nó đã được thảo luận trong câu hỏi này và cả vấn đề GitHub này . Tensorflow sử dụng một hệ thống xây dựng đặc biệt gọi là bazel và xây dựng nó không phải là chuyện nhỏ, nhưng chắc chắn là có thể thực hiện được. Sau này, không chỉ cảnh báo sẽ biến mất, hiệu suất của dòng chảy cũng sẽ được cải thiện.

Cập nhật nhị phân căng thẳng cho CPU & HĐH của bạn bằng lệnh này

pip install --ignore-installed --upgrade "Download URL"

Url tải xuống của tập tin whl có thể được tìm thấy ở đây

https://github.com/lakshayg/tensorflow-build

Tối ưu hóa CPU với GPU

Có những mức tăng hiệu suất mà bạn có thể nhận được bằng cách cài đặt TensorFlow từ nguồn ngay cả khi bạn có GPU và sử dụng nó để đào tạo và suy luận. Lý do là một số hoạt động TF chỉ có triển khai CPU và không thể chạy trên GPU của bạn.

Ngoài ra, có một số mẹo nâng cao hiệu suất giúp sử dụng tốt CPU của bạn. Hướng dẫn hiệu suất của TensorFlow khuyến nghị như sau:

Đặt các hoạt động đường ống đầu vào trên CPU có thể cải thiện đáng kể hiệu suất. Việc sử dụng CPU cho đường ống đầu vào sẽ giải phóng GPU để tập trung vào đào tạo.

Để có hiệu suất tốt nhất, bạn nên viết mã để sử dụng CPU và GPU để hoạt động song song và không đổ tất cả vào GPU nếu bạn có. Việc các nhị phân TensorFlow của bạn được tối ưu hóa cho CPU của bạn có thể trả hết thời gian chạy đã lưu và bạn phải thực hiện một lần.

Đối với Windows, bạn có thể kiểm tra tối ưu hóa chính thức Intel MKL cho các bánh xe TensorFlow được biên dịch với AVX2. Giải pháp này tăng tốc suy luận của tôi ~ x3.

conda install tensorflow-mkl

Đối với Windows (Nhờ chủ sở hữu f040225), đi đến đây: https://github.com/fo40225/tensorflow-windows-wheel để lấy url cho môi trường của bạn dựa trên sự kết hợp của "tf + python + cpu_instruction_extension". Sau đó sử dụng cmd này để cài đặt:

pip install --ignore-installed --upgrade "URL"

Nếu bạn gặp phải lỗi "Tệp không phải là tệp zip", hãy tải xuống .whl về máy tính cục bộ của bạn và sử dụng cmd này để cài đặt:

pip install --ignore-installed --upgrade /path/target.whl

Nếu bạn sử dụng phiên bản pip của tenorflow, điều đó có nghĩa là nó đã được biên dịch và bạn chỉ đang cài đặt nó. Về cơ bản, bạn cài đặt tenorflow-gpu, nhưng khi bạn tải xuống từ kho lưu trữ và cố gắng xây dựng, bạn nên xây dựng nó với sự hỗ trợ CPU AVX. Nếu bạn bỏ qua nó, bạn sẽ nhận được cảnh báo mỗi khi bạn chạy trên cpu.

Cách dễ nhất mà tôi tìm thấy để khắc phục điều này là gỡ cài đặt mọi thứ sau đó cài đặt một phiên bản cụ thể của tenorflow-gpu:

1. gỡ cài đặt tenorflow:

    pip uninstall tensorflow

2. gỡ cài đặt tenorflow-gpu: (đảm bảo chạy nó ngay cả khi bạn không chắc chắn nếu bạn đã cài đặt nó)

    pip uninstall tensorflow-gpu

3. Cài đặt phiên bản tenorflow-gpu cụ thể:

    pip install tensorflow-gpu==2.0.0
    pip install tensorflow_hub
    pip install tensorflow_datasets

Bạn có thể kiểm tra xem điều này có hiệu quả không bằng cách thêm đoạn mã sau vào tệp python:

from __future__ import absolute_import, division, print_function, unicode_literals

import numpy as np

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub Version: ", hub.__version__)
print("GPU is", "available" if tf.config.experimental.list_physical_devices("GPU") else "NOT AVAILABLE")

Chạy tệp và sau đó đầu ra phải giống như thế này:

Version:  2.0.0
Eager mode:  True
Hub Version:  0.7.0
GPU is available

Hi vọng điêu nay co ich