Cách hiện đại để truyền phát H.264 từ Raspberry Cam

Tôi đã nhận được Pi B + và máy ảnh Pi và hiện đang cố gắng tìm cấu hình hiệu quả nhất (CPU thấp) và độ trễ thấp nhất để truyền phát video được mã hóa H.264 từ máy ảnh đến máy chủ nhà của tôi.

Tôi đã đọc như sau:

1. http://pi.gbaman.info/?p=150

2. http://blog.tkjelectronics.dk/2013/06/how-to-stream-video-and-audio-from-a-raspberry-pi-with-no-latency/comment-page-1/#comments

3. http://www.raspberrypi.org/forums/viewtopic.php?p=464522

(Tất cả các liên kết sử dụng guxer-1.0 từ deb http://vontaene.de/raspbian-updates/ . main.)

Rất nhiều đã được thực hiện trong vấn đề này trong những năm qua.

Ban đầu, chúng tôi phải chuyển đầu ra raspividthành gst-launch-1.0(xem liên kết 1).

Sau đó (liên kết 2) trình điều khiển V4L2 chính thức đã được tạo, hiện đang là tiêu chuẩn và nó cho phép lấy trực tiếp dữ liệu mà không cần đường ống, chỉ sử dụng trình điều khiển (xem đặc biệt là bài đăng của Towolf »Sat Dec 07, 2013 3:34 chiều trong liên kết 2):

Người gửi (Pi): gst-launch-1.0 -e v4l2src do-timestamp=true ! video/x-h264,width=640,height=480,framerate=30/1 ! h264parse ! rtph264pay config-interval=1 ! gdppay ! udpsink host=192.168.178.20 port=5000

Người nhận: gst-launch-1.0 -v udpsrc port=5000 ! gdpdepay ! rtph264depay ! avdec_h264 ! fpsdisplaysink sync=false text-overlay=false

Nếu tôi hiểu chính xác, cả hai cách đều sử dụng GPU để thực hiện giải mã H264, nhưng cách thứ hai thì hơi hiệu quả vì nó không cần phải đi qua nhân vào lúc khác vì không có đường ống giữa các quá trình liên quan.

Bây giờ tôi có một số câu hỏi về điều này.

1. Đây có phải là cách gần đây nhất để có được H264 hiệu quả từ máy ảnh không? Tôi đã đọc về gst-omx, cho phép các đường ống dẫn dòng như thế nào ... video/x-raw ! omxh264enc ! .... Điều này có làm gì khác với chỉ sử dụng video/x-h264, hoặc thậm chí có thể hiệu quả hơn? Có gì khác biệt?

2. Làm cách nào để tìm hiểu plugin mã hóa guxer nào thực sự được sử dụng khi tôi sử dụng video/x-h264 ...đường ống dẫn? Điều này dường như chỉ là xác định định dạng tôi muốn, so với các phần đường ống khác, nơi tôi đặt tên rõ ràng thành phần (mã) (như h264parsehoặc fpsdisplaysink).

3. Trong bài trả lời này cho liên kết 1 Mikael Lepistö có đề cập "Tôi đã xóa một bộ lọc không cần thiết từ phía phát trực tuyến" , nghĩa là anh ấy đã cắt bỏ gdppayvà gdpdepay. Những người đó làm gì? Tại sao họ cần? Tôi thực sự có thể lột chúng ra?

4. Anh ta cũng đề cập rằng bằng cách chỉ định caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96"các tham số cho udpsrcphía nhận, anh ta có thể bắt đầu / tiếp tục phát trực tuyến ở giữa luồng. Những cái mũ này đạt được gì, tại sao những lựa chọn cụ thể này, tôi có thể đọc thêm về chúng ở đâu?

5. Khi tôi thực hiện những gì được đề xuất trong câu hỏi 3 và 4 (thêm caps, giảm gdppayvà gdpdepay) thì độ trễ video của tôi trở nên tồi tệ hơn nhiều (và dường như được tích lũy, độ trễ tăng theo thời gian và sau vài phút video dừng lại)! Tại sao có thể như vậy? Tôi muốn nhận được độ trễ tôi nhận được bằng lệnh ban đầu, nhưng cũng có tính năng có thể tham gia luồng bất cứ lúc nào.

6. Tôi đã đọc rằng RTSP + RTP thường sử dụng kết hợp TCP và UDP: TCP cho các thông điệp điều khiển và những thứ khác không bị mất và UDP để truyền dữ liệu video thực tế. Trong các thiết lập ở trên, tôi thực sự đang sử dụng nó hay tôi chỉ đang sử dụng UDP? Nó hơi mờ đối với tôi cho dù người quản lý có quan tâm đến việc này hay không.

Tôi sẽ đánh giá cao bất kỳ câu trả lời cho ngay cả một trong những câu hỏi này!

Các tùy chọn:

1. raspivid -t 0 -o - | nc -k -l 1234

2. raspivid -t 0 -o - | cvlc stream:///dev/stdin --sout "#rtp{sdp=rtsp://:1234/}" :demux=h264

3. cvlc v4l2:///dev/video0 --v4l2-chroma h264 --sout '#rtp{sdp=rtsp://:8554/}'

4. raspivid -t 0 -o - | gst-launch-1.0 fdsrc ! h264parse ! rtph264pay config-interval=1 pt=96 ! gdppay ! tcpserversink host=SERVER_IP port=1234

5. gst-launch-1.0 -e v4l2src do-timestamp=true ! video/x-h264,width=640,height=480,framerate=30/1 ! h264parse ! rtph264pay config-interval=1 ! gdppay ! udpsink host=SERVER_IP port=1234

6. uv4l --driver raspicam

7. picam --alsadev hw:1,0

Những điều cần cân nhắc

• độ trễ [ms] (có và không yêu cầu khách hàng muốn nhiều khung hình / giây hơn máy chủ)
• CPU nhàn rỗi [%] (được đo bằng top -d 10)
• CPU 1 máy khách [%]
• RAM [MB] (RES)
• cài đặt mã hóa giống nhau
• cùng tính năng
  • âm thanh
  • kết nối lại
  • Hệ điều hành máy khách độc lập (vlc, webrtc, v.v.)

So sánh:

            1    2    3    4    5    6    7
latency     2000 5000 ?    ?    ?    ?    1300
CPU         ?    1.4  ?    ?    ?    ?    ?
CPU 1       ?    1.8  ?    ?    ?    ?    ?
RAM         ?    14   ?    ?    ?    ?    ?
encoding    ?    ?    ?    ?    ?    ?    ?
audio       n    ?    ?    ?    ?    y    ?
reconnect   y    y    ?    ?    ?    y    ?
any OS      n    y    ?    ?    ?    y    ?
latency fps ?    ?    ?    ?    ?    ?    ?

Cách hiện đại duy nhất để truyền H264 tới trình duyệt là UV4L : không có độ trễ, không có cấu hình, với âm thanh tùy chọn, âm thanh / video hai chiều tùy chọn. Không có nước sốt GStreamer ma thuật, nhưng vẫn có thể mở rộng việc sử dụng nó.

1.) h264es phát trực tuyến trên mạng (chỉ mẫu)

trên máy chủ:

raspivid -v -a 524 -a 4 -a "rpi-0 %Y-%m-%d %X" -fps 15 -n -md 2 -ih -t 0 -l -o tcp://0.0.0.0:5001

trên máy khách:

mplayer -nostop-xscreensaver -nolirc -fps 15 -vo xv -vf rotate=2,screenshot -xy 1200 -demuxer h264es ffmpeg://tcp://<rpi-ip-address>:5001

2.) mjpeg truyền phát qua mạng (chỉ mẫu)

trên máy chủ:

/usr/local/bin/mjpg_streamer -o output_http.so -w ./www -i input_raspicam.so -x 1920 -y 1440 -fps 3

trên máy khách:

mplayer -nostop-xscreensaver -nolirc -fps 15 -vo xv -vf rotate=2,screenshot -xy 1200 -demuxer lavf http://<rpi-ip-address>:8080/?action=stream

tất cả điều này thậm chí hoạt động trên RPi Zero W (được định cấu hình như máy chủ)