Cách xây dựng và sử dụng api Google TensorFlow C ++

Tôi thực sự mong muốn bắt đầu sử dụng thư viện Tensorflow mới của Google trong C ++. Trang web và tài liệu thực sự không rõ ràng về cách xây dựng API C ++ của dự án và tôi không biết bắt đầu từ đâu.

Ai đó có nhiều kinh nghiệm hơn có thể giúp đỡ bằng cách khám phá và chia sẻ hướng dẫn sử dụng API C ++ của tenorflow không?

Một cách khác để sử dụng API Tensorflow C ++ mà tôi tìm thấy là sử dụng cppflow .

Đó là một trình bao bọc C ++ nhẹ xung quanh API C của Tensorflow . Bạn nhận được các tệp thực thi rất nhỏ và nó liên kết với libtensorflow.sotệp đã được biên dịch. Ngoài ra còn có các ví dụ về việc sử dụng và bạn sử dụng CMAKE thay vì Bazel.

Để bắt đầu, bạn nên tải xuống mã nguồn từ Github, bằng cách làm theo các hướng dẫn tại đây (bạn sẽ cần Bazel và một phiên bản GCC gần đây).

API C ++ (và phần phụ trợ của hệ thống) nằm trong tensorflow/core. Ngay bây giờ, chỉ có giao diện Phiên C ++ và API C đang được hỗ trợ. Bạn có thể sử dụng một trong hai cách này để thực thi các biểu đồ TensorFlow đã được xây dựng bằng API Python và được tuần tự hóa thành GraphDefbộ đệm giao thức. Ngoài ra còn có một tính năng thử nghiệm để xây dựng biểu đồ trong C ++, nhưng hiện tại nó không hoàn toàn đầy đủ tính năng như API Python (ví dụ: hiện tại không hỗ trợ phân biệt tự động). Bạn có thể thấy một chương trình ví dụ xây dựng một biểu đồ nhỏ trong C ++ tại đây .

Phần thứ hai của API C ++ là API để thêm một cái mới OpKernel, đây là lớp chứa các triển khai hạt nhân số cho CPU và GPU. Có rất nhiều ví dụ về cách xây dựng những thứ này tensorflow/core/kernels, cũng như một hướng dẫn để thêm một op mới trong C ++ .

Để thêm vào bài đăng của @ mrry, tôi tập hợp một hướng dẫn giải thích cách tải biểu đồ TensorFlow bằng API C ++. Nó rất tối thiểu và sẽ giúp bạn hiểu làm thế nào tất cả các mảnh khớp với nhau. Đây là thịt của nó:

Yêu cầu:

• Đã cài đặt
• Bản sao hàng chục

Cấu trúc thư mục:

• tensorflow/tensorflow/|project name|/
• tensorflow/tensorflow/|project name|/|project name|.cc (e.g. https://gist.github.com/jimfleming/4202e529042c401b17b7)
• tensorflow/tensorflow/|project name|/BUILD

XÂY DỰNG:

cc_binary(
    name = "<project name>",
    srcs = ["<project name>.cc"],
    deps = [
        "//tensorflow/core:tensorflow",
    ]
)

Hai thông báo có thể có cách giải quyết:

• Ngay bây giờ, việc xây dựng mọi thứ cần phải xảy ra trong repo TensorFlow.
• Nhị phân biên dịch là rất lớn (103MB).

https://medium.com/@jimfleming/loading-a-tensorflow-graph-with-the-c-api-4caaff88463f

Nếu bạn muốn tránh cả việc xây dựng các dự án của mình với Bazel và tạo ra một nhị phân lớn, tôi đã tập hợp một kho lưu trữ hướng dẫn việc sử dụng thư viện TensorFlow C ++ với CMake. Bạn có thể tìm thấy nó ở đây . Các ý tưởng chung như sau:

• Nhân bản kho lưu trữ TensorFlow.
• Thêm quy tắc xây dựng vào tensorflow/BUILD(những quy tắc được cung cấp không bao gồm tất cả các chức năng của C ++).
• Xây dựng thư viện chia sẻ TensorFlow.
• Cài đặt các phiên bản cụ thể của Eigen và Protobuf hoặc thêm chúng dưới dạng phụ thuộc bên ngoài.
• Định cấu hình dự án CMake của bạn để sử dụng thư viện TensorFlow.

Đầu tiên, sau khi cài đặt protobufvà eigen, bạn muốn xây dựng Tensorflow:

./configure
bazel build //tensorflow:libtensorflow_cc.so

Sau đó Sao chép phần sau bao gồm các tiêu đề và thư viện chia sẻ động vào /usr/local/lib và /usr/local/include:

mkdir /usr/local/include/tf
cp -r bazel-genfiles/ /usr/local/include/tf/
cp -r tensorflow /usr/local/include/tf/
cp -r third_party /usr/local/include/tf/
cp -r bazel-bin/libtensorflow_cc.so /usr/local/lib/

Cuối cùng, biên dịch bằng một ví dụ:

g++ -std=c++11 -o tf_example \
-I/usr/local/include/tf \
-I/usr/local/include/eigen3 \
-g -Wall -D_DEBUG -Wshadow -Wno-sign-compare -w  \
-L/usr/local/lib/libtensorflow_cc \
`pkg-config --cflags --libs protobuf` -ltensorflow_cc tf_example.cpp

Nếu bạn đang suy nghĩ về việc sử dụng api Tensorflow c ++ trên một gói độc lập, có lẽ bạn sẽ cần có tenorflow_cc.so (Ngoài ra còn có phiên bản ac api tenorflow.so) để xây dựng phiên bản c ++ bạn có thể sử dụng:

bazel build -c opt //tensorflow:libtensorflow_cc.so

Lưu ý1: Nếu bạn muốn thêm hỗ trợ nội tại, bạn có thể thêm các cờ này dưới dạng: --copt=-msse4.2 --copt=-mavx

Lưu ý2: Nếu bạn đang suy nghĩ về việc sử dụng OpenCV cho dự án của mình, thì có một vấn đề khi sử dụng cả hai lib cùng nhau ( vấn đề căng thẳng ) và bạn nên sử dụng --config=monolithic.

Sau khi xây dựng thư viện, bạn cần thêm nó vào dự án của bạn. Để làm điều đó bạn có thể bao gồm các đường dẫn này:

tensorflow
tensorflow/bazel-tensorflow/external/eigen_archive
tensorflow/bazel-tensorflow/external/protobuf_archive/src
tensorflow/bazel-genfiles

Và liên kết thư viện với dự án của bạn:

tensorflow/bazel-bin/tensorflow/libtensorflow_framework.so (unused if you build with --config=monolithic)
tensorflow/bazel-bin/tensorflow/libtensorflow_cc.so

Và khi bạn đang xây dựng dự án của mình, bạn cũng nên xác định cho trình biên dịch của mình rằng bạn sẽ sử dụng các tiêu chuẩn c ++ 11.

Lưu ý bên lề: Các đường dẫn liên quan đến phiên bản kéo căng 1.5 (Bạn có thể cần kiểm tra xem trong phiên bản của mình có gì thay đổi không).

Ngoài ra liên kết này đã giúp tôi rất nhiều trong việc tìm kiếm tất cả các thông tin này: liên kết

Bạn có thể sử dụng ShellScript này để cài đặt (hầu hết) các phụ thuộc của nó, sao chép, xây dựng, biên dịch và nhận tất cả các tệp cần thiết vào ../src/includesthư mục:

https://github.com/node-tensorflow/node-tensorflow/blob/master/tools/install.sh

Nếu bạn không phiền khi sử dụng CMake, thì cũng có dự án tenorflow_cc xây dựng và cài đặt API TF C ++ cho bạn, cùng với các mục tiêu CMake thuận tiện mà bạn có thể liên kết. Dự án README chứa một ví dụ và Dockerfiles bạn có thể dễ dàng theo dõi.

Nếu bạn không muốn tự mình xây dựng Tensorflow và hệ điều hành của bạn là Debian hoặc Ubuntu, bạn có thể tải xuống các gói dựng sẵn với các thư viện Tensorflow C / C ++. Phân phối này có thể được sử dụng cho suy luận C / C ++ với CPU, không hỗ trợ GPU:

https://github.com/kecsap/tensorflow_cpp_packaging/release

Có các hướng dẫn được viết về cách đóng băng một điểm kiểm tra trong Tensorflow (TFLearn) và tải mô hình này để suy luận với API C / C ++:

https://github.com/kecsap/tensorflow_cpp_packaging/blob/master/README.md

Coi chừng: Tôi là nhà phát triển dự án Github này.

Tôi sử dụng hack / cách khắc phục để tránh phải tự xây dựng toàn bộ thư viện TF (giúp tiết kiệm cả thời gian (được thiết lập trong 3 phút), dung lượng đĩa, cài đặt phụ thuộc dev và kích thước của tệp nhị phân kết quả). Nó chính thức không được hỗ trợ, nhưng hoạt động tốt nếu bạn chỉ muốn nhanh chóng nhảy vào.

Cài đặt TF thông qua pip ( pip install tensorflowhoặc pip install tensorflow-gpu). Sau đó tìm thư viện của nó _pywrap_tensorflow.so(TF 0. * - 1.0) hoặc _pywrap_tensorflow_internal.so(TF 1.1+). Trong trường hợp của tôi (Ubuntu), nó nằm ở /usr/local/lib/python2.7/dist-packages/tensorflow/python/_pywrap_tensorflow.so. Sau đó, tạo một liên kết tượng trưng đến thư viện này được gọi lib_pywrap_tensorflow.soở đâu đó nơi hệ thống xây dựng của bạn tìm thấy nó (ví dụ /usr/lib/local). Tiền tố liblà quan trọng! Bạn cũng có thể đặt cho nó một lib*.sotên khác - nếu bạn gọi nó libtensorflow.so, bạn có thể có khả năng tương thích tốt hơn với các chương trình khác được viết để làm việc với TF.

Sau đó, tạo một dự án C ++ như bạn đã quen (CMake, Make, Bazel, bất cứ điều gì bạn thích).

Và sau đó, bạn đã sẵn sàng chỉ liên kết với thư viện này để có sẵn TF cho các dự án của bạn (và bạn cũng phải liên kết với python2.7các thư viện)! Trong CMake, bạn ví dụ chỉ cần thêm target_link_libraries(target _pywrap_tensorflow python2.7).

Các tệp tiêu đề C ++ được đặt xung quanh thư viện này, ví dụ như trong /usr/local/lib/python2.7/dist-packages/tensorflow/include/ .

Một lần nữa: cách này chính thức không được hỗ trợ và bạn có thể chạy trong nhiều vấn đề khác nhau. Thư viện dường như được liên kết tĩnh với ví dụ như protobuf, vì vậy bạn có thể chạy trong các vấn đề thời gian liên kết hoặc thời gian chạy lẻ. Nhưng tôi có thể tải một biểu đồ được lưu trữ, khôi phục các trọng số và chạy suy luận, đó là IMO chức năng mong muốn nhất trong C ++.

Bản thân Tensorflow chỉ cung cấp các ví dụ rất cơ bản về API C ++.
Đây là một tài nguyên tốt bao gồm các ví dụ về bộ dữ liệu, rnn, lstm, cnn và các ví dụ c ++ căng thẳng hơn

câu trả lời ở trên là đủ tốt để chỉ ra cách xây dựng thư viện, nhưng làm thế nào để thu thập các tiêu đề vẫn còn khó khăn. Ở đây tôi chia sẻ tập lệnh nhỏ mà tôi sử dụng để sao chép các tiêu đề cần thiết.

SOURCElà thông số đầu tiên, đó là direcoty nguồn tenorflow (build);
DSTlà thông số thứ hai, là phần include directorygiữ các tiêu đề được thu thập. (ví dụ: tính bằng cmake, include_directories(./collected_headers_here)).

#!/bin/bash

SOURCE=$1
DST=$2
echo "-- target dir is $DST"
echo "-- source dir is $SOURCE"

if [[ -e $DST ]];then
    echo "clean $DST"
    rm -rf $DST
    mkdir $DST
fi


# 1. copy the source code c++ api needs
mkdir -p $DST/tensorflow
cp -r $SOURCE/tensorflow/core $DST/tensorflow
cp -r $SOURCE/tensorflow/cc $DST/tensorflow
cp -r $SOURCE/tensorflow/c $DST/tensorflow

# 2. copy the generated code, put them back to
# the right directories along side the source code
if [[ -e $SOURCE/bazel-genfiles/tensorflow ]];then
    prefix="$SOURCE/bazel-genfiles/tensorflow"
    from=$(expr $(echo -n $prefix | wc -m) + 1)

    # eg. compiled protobuf files
    find $SOURCE/bazel-genfiles/tensorflow -type f | while read line;do
        #echo "procese file --> $line"
        line_len=$(echo -n $line | wc -m)
        filename=$(echo $line | rev | cut -d'/' -f1 | rev )
        filename_len=$(echo -n $filename | wc -m)
        to=$(expr $line_len - $filename_len)

        target_dir=$(echo $line | cut -c$from-$to)
        #echo "[$filename] copy $line $DST/tensorflow/$target_dir"
        cp $line $DST/tensorflow/$target_dir
    done
fi


# 3. copy third party files. Why?
# In the tf source code, you can see #include "third_party/...", so you need it
cp -r $SOURCE/third_party $DST

# 4. these headers are enough for me now.
# if your compiler complains missing headers, maybe you can find it in bazel-tensorflow/external
cp -RLf $SOURCE/bazel-tensorflow/external/eigen_archive/Eigen $DST
cp -RLf $SOURCE/bazel-tensorflow/external/eigen_archive/unsupported $DST
cp -RLf $SOURCE/bazel-tensorflow/external/protobuf_archive/src/google $DST
cp -RLf $SOURCE/bazel-tensorflow/external/com_google_absl/absl $DST