Làm thế nào để bạn tạo một daemon trong Python?

Tìm kiếm trên Google cho thấy các đoạn mã x2. Kết quả đầu tiên là công thức mã này có rất nhiều tài liệu và giải thích, cùng với một số thảo luận hữu ích bên dưới.

Tuy nhiên, một mẫu mã khác , trong khi không chứa quá nhiều tài liệu, bao gồm mã mẫu để truyền các lệnh như bắt đầu, dừng và khởi động lại. Nó cũng tạo ra một tệp PID có thể thuận tiện cho việc kiểm tra nếu daemon đang chạy, v.v.

Các mẫu này đều giải thích cách tạo daemon. Có bất kỳ điều bổ sung cần phải được xem xét? Là một mẫu tốt hơn mẫu kia, và tại sao?

Giải pháp tạm thời

Một triển khai tham chiếu của PEP 3143 (Thư viện quy trình daemon tiêu chuẩn) hiện có sẵn dưới dạng python-daemon .

Câu trả lời lịch sử

Mẫu mã của Sander Marechal vượt trội so với bản gốc, được đăng lần đầu vào năm 2004. Tôi đã từng đóng góp một trình nền cho Pyro, nhưng có lẽ sẽ sử dụng mã của Sander nếu tôi phải làm điều đó.

Có rất nhiều điều khó khăn để chăm sóc khi trở thành một quy trình daemon hoạt động tốt :

• ngăn chặn các bãi chứa lõi (nhiều trình tiện ích chạy dưới quyền root và các bãi chứa lõi có thể chứa thông tin nhạy cảm)

• cư xử đúng trong chrootgaol

• đặt UID, GID, thư mục làm việc, ô và các tham số quy trình khác một cách thích hợp cho trường hợp sử dụng

• từ bỏ nâng cao suid, sgidđặc quyền

• đóng tất cả các mô tả tệp đang mở, với các loại trừ tùy thuộc vào trường hợp sử dụng

• cư xử một cách chính xác nếu bắt đầu bên trong một bối cảnh đã kề, chẳng hạn như init, inetdvv

• thiết lập trình xử lý tín hiệu cho hành vi daemon hợp lý, nhưng cũng với các trình xử lý cụ thể được xác định bởi trường hợp sử dụng

• chuyển hướng dòng tiêu chuẩn stdin, stdout, stderrkể từ khi một tiến trình daemon không còn có một thiết bị đầu cuối kiểm soát

• xử lý một tập tin PID như một khóa tư vấn hợp tác, đó là toàn bộ một con giun trong chính nó với nhiều cách đối nghịch nhưng hợp lệ để hành xử

• cho phép dọn dẹp đúng cách khi quá trình kết thúc

• thực sự trở thành một quá trình daemon mà không dẫn đến zombie

Một số trong số này là tiêu chuẩn , như được mô tả trong tài liệu Unix chính tắc ( Lập trình nâng cao trong môi trường UNIX , của cố W. Richard Stevens, Addison-Wesley, 1992). Những người khác, chẳng hạn như chuyển hướng dòng và xử lý tệp PID , là hành vi thông thường mà hầu hết người dùng daemon mong đợi nhưng điều đó ít được tiêu chuẩn hóa.

Tất cả những điều này được bao phủ bởi đặc tả thư viện quy trình daemon tiêu chuẩn PEP 3143 . Việc triển khai tham chiếu python-daemon hoạt động trên Python 2.7 trở lên và Python 3.2 trở lên.

Đây là trình nền Python 'Howdy World' cơ bản của tôi mà tôi bắt đầu, khi tôi đang phát triển một ứng dụng trình nền mới.

#!/usr/bin/python
import time
from daemon import runner

class App():
    def __init__(self):
        self.stdin_path = '/dev/null'
        self.stdout_path = '/dev/tty'
        self.stderr_path = '/dev/tty'
        self.pidfile_path =  '/tmp/foo.pid'
        self.pidfile_timeout = 5
    def run(self):
        while True:
            print("Howdy!  Gig'em!  Whoop!")
            time.sleep(10)

app = App()
daemon_runner = runner.DaemonRunner(app)
daemon_runner.do_action()

Lưu ý rằng bạn sẽ cần python-daemonthư viện. Bạn có thể cài đặt nó bằng cách:

pip install python-daemon

Sau đó, chỉ cần bắt đầu với nó ./howdy.py start, và dừng lại với ./howdy.py stop.

Lưu ý gói python-daemon giúp giải quyết rất nhiều vấn đề đằng sau daemon.

Trong số các tính năng khác, nó cho phép (từ mô tả gói Debian):

• Tách quy trình thành nhóm quy trình riêng của mình.
• Đặt môi trường quá trình thích hợp để chạy bên trong một chroot.
• Từ bỏ các đặc quyền suid và sgid.
• Đóng tất cả các mô tả tập tin mở.
• Thay đổi thư mục làm việc, uid, gid và umask.
• Đặt bộ xử lý tín hiệu thích hợp.
• Mở mô tả tệp mới cho stdin, stdout và stderr.
• Quản lý một tệp khóa PID được chỉ định.
• Đăng ký chức năng dọn dẹp để xử lý tại lối ra.

Một cách khác - tạo một chương trình Python bình thường, không có daemon, sau đó đưa ra bên ngoài nó bằng cách sử dụng giám sát . Điều này có thể tiết kiệm rất nhiều đau đầu, và * nix- và ngôn ngữ di động.

Có lẽ không phải là một câu trả lời trực tiếp cho câu hỏi, nhưng systemd có thể được sử dụng để chạy ứng dụng của bạn như một daemon. Đây là một ví dụ:

[Unit]
Description=Python daemon
After=syslog.target
After=network.target

[Service]
Type=simple
User=<run as user>
Group=<run as group group>
ExecStart=/usr/bin/python <python script home>/script.py

# Give the script some time to startup
TimeoutSec=300

[Install]
WantedBy=multi-user.target

Tôi thích phương pháp này vì rất nhiều công việc được thực hiện cho bạn, và sau đó tập lệnh daemon của bạn hoạt động tương tự với phần còn lại của hệ thống.

-Hoặc bằng cách

YapDi là một mô-đun python tương đối mới xuất hiện trên Hacker News. Trông khá hữu ích, có thể được sử dụng để chuyển đổi tập lệnh python sang chế độ daemon từ bên trong tập lệnh.

Vì python-daemon chưa hỗ trợ python 3.x, và từ những gì có thể đọc được trong danh sách gửi thư, nên có thể sẽ không bao giờ, tôi đã viết một bản triển khai mới của PEP 3143: pep3143daemon

pep3143daemon nên hỗ trợ ít nhất python 2.6, 2.7 và 3.x

Nó cũng chứa một lớp PidFile.

Thư viện chỉ phụ thuộc vào thư viện tiêu chuẩn và trên sáu mô-đun.

Nó có thể được sử dụng như một sự thay thế cho python-daemon.

Đây là tài liệu .

Hàm này sẽ biến đổi một ứng dụng thành một daemon:

import sys
import os

def daemonize():
    try:
        pid = os.fork()
        if pid > 0:
            # exit first parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #1 failed: {0}\n'.format(err))
        sys.exit(1)
    # decouple from parent environment
    os.chdir('/')
    os.setsid()
    os.umask(0)
    # do second fork
    try:
        pid = os.fork()
        if pid > 0:
            # exit from second parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #2 failed: {0}\n'.format(err))
        sys.exit(1)
    # redirect standard file descriptors
    sys.stdout.flush()
    sys.stderr.flush()
    si = open(os.devnull, 'r')
    so = open(os.devnull, 'w')
    se = open(os.devnull, 'w')
    os.dup2(si.fileno(), sys.stdin.fileno())
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())

Tôi sợ mô-đun daemon được đề cập bởi @Dustin không hoạt động với tôi. Thay vào đó tôi đã cài đặt python-daemon và sử dụng đoạn mã sau:

# filename myDaemon.py
import sys
import daemon
sys.path.append('/home/ubuntu/samplemodule') # till __init__.py
from samplemodule import moduleclass 

with daemon.DaemonContext():
    moduleclass.do_running() # I have do_running() function and whatever I was doing in __main__() in module.py I copied in it.

Chạy rất dễ

> python myDaemon.py

chỉ để hoàn thiện ở đây là nội dung thư mục samplemodule

>ls samplemodule
__init__.py __init__.pyc moduleclass.py

Nội dung của moduleclass.py có thể là

class moduleclass():
    ...

def do_running():
    m = moduleclass()
    # do whatever daemon is required to do.

Một điều nữa cần suy nghĩ khi daemonizing trong python:

Nếu bạn đang sử dụng ghi nhật ký python và bạn muốn tiếp tục sử dụng nó sau khi daemonizing, hãy đảm bảo gọi close()trình xử lý (đặc biệt là trình xử lý tệp).

Nếu bạn không làm điều này, trình xử lý vẫn có thể nghĩ rằng nó có các tệp đang mở và các thông điệp của bạn sẽ biến mất - nói cách khác là đảm bảo rằng trình ghi nhật ký biết các tệp của nó đã bị đóng!

Điều này giả định khi bạn daemonise bạn đang đóng TẤT CẢ các mô tả tệp đang mở một cách bừa bãi - thay vào đó bạn có thể thử đóng tất cả trừ các tệp nhật ký (nhưng thường đơn giản hơn để đóng tất cả các tệp bạn muốn).

Mặc dù bạn có thể thích giải pháp Python thuần túy được cung cấp bởi mô-đun python-daemon, nhưng có một daemon(3)chức năng trong libc- ít nhất là trên BSD và Linux - sẽ thực hiện đúng.

Gọi nó từ python thật dễ dàng:

import ctypes

ctypes.CDLL(None).daemon(0, 0) # Read the man-page for the arguments' meanings

Điều duy nhất còn lại phải làm là tạo (và khóa) tệp PID. Nhưng bạn có thể tự xử lý ...

Tôi đã sửa đổi một vài dòng trong mẫu mã của Sander Marechal (được đề cập bởi @JeffBauer trong câu trả lời được chấp nhận ) để thêm một quit()phương thức được thực thi trước khi daemon bị dừng. Điều này đôi khi rất hữu ích.

Nó đây rồi

Lưu ý: Tôi không sử dụng mô-đun "python-daemon" vì tài liệu vẫn còn thiếu (xem thêm nhiều câu hỏi SO khác) và khá mơ hồ (làm thế nào để bắt đầu / dừng đúng cách một daemon từ dòng lệnh với mô-đun này?)

Sau một vài năm và nhiều nỗ lực (tôi đã thử tất cả các câu trả lời ở đây, nhưng tất cả chúng đều có nhược điểm nhỏ ở cuối), bây giờ tôi nhận ra rằng có một cách tốt hơn là muốn bắt đầu, dừng lại, khởi động lại một trình nền trực tiếp từ Python : sử dụng các công cụ hệ điều hành thay thế.

Ví dụ, đối với Linux, thay vì làm python myapp startvà python myapp stop, tôi làm điều này để khởi động ứng dụng:

screen -S myapp python myapp.py    
CTRL+A, D to detach

hoặc screen -dmS myapp python myapp.pyđể bắt đầu và tách nó trong một lệnh .

Sau đó:

screen -r myapp

để gắn vào thiết bị đầu cuối này một lần nữa. Khi ở trong thiết bị đầu cuối, có thể sử dụng CTRL + C để dừng nó.

Cách dễ nhất để tạo daemon với Python là sử dụng khung theo hướng sự kiện Twisted . Nó xử lý tất cả những thứ cần thiết để trình bày cho bạn. Nó sử dụng Mẫu Lò phản ứng để xử lý các yêu cầu đồng thời.

80% thời gian, khi mọi người nói "daemon", họ chỉ muốn một máy chủ. Vì câu hỏi hoàn toàn không rõ ràng về điểm này, thật khó để nói miền trả lời có thể là gì. Vì một máy chủ là đủ, bắt đầu từ đó. Nếu một "daemon" thực sự thực sự cần thiết (điều này rất hiếm), hãy đọc tiếpnohup như một cách để daemon hóa một máy chủ.

Cho đến khi thực sự cần một trình nền thực sự, chỉ cần viết một máy chủ đơn giản.

Cũng xem xét triển khai tham chiếu WSGI .

Cũng nhìn vào Máy chủ HTTP đơn giản .

"Có bất kỳ điều gì thêm cần được xem xét?" Có. Khoảng một triệu thứ. Giao thức gì? Có bao nhiêu yêu cầu? Bao lâu để phục vụ mỗi yêu cầu? Bao lâu thì họ sẽ đến? Bạn sẽ sử dụng một quy trình chuyên dụng? Chủ đề? Các quy trình con? Viết một daemon là một công việc lớn.