Cách tìm ra số lượng CPU sử dụng python

Tôi muốn biết số lượng CPU trên máy cục bộ bằng Python. Kết quả phải user/reallà đầu ra time(1)khi được gọi với chương trình chỉ dành cho không gian người dùng.

Nếu bạn có python với phiên bản> = 2.6, bạn chỉ cần sử dụng

import multiprocessing

multiprocessing.cpu_count()

http://docs.python.org/l Library / multiprocessing.html # multiprocessing.cpu_count

Nếu bạn quan tâm đến số lượng bộ xử lý có sẵn cho quy trình hiện tại của mình, trước tiên bạn phải kiểm tra cpuset . Mặt khác (hoặc nếu cpuset không được sử dụng), multiprocessing.cpu_count()là cách để đi trong Python 2.6 và mới hơn. Phương thức sau đây quay lại một vài phương thức thay thế trong các phiên bản cũ hơn của Python:

import os
import re
import subprocess


def available_cpu_count():
    """ Number of available virtual or physical CPUs on this system, i.e.
    user/real as output by time(1) when called with an optimally scaling
    userspace-only program"""

    # cpuset
    # cpuset may restrict the number of *available* processors
    try:
        m = re.search(r'(?m)^Cpus_allowed:\s*(.*)$',
                      open('/proc/self/status').read())
        if m:
            res = bin(int(m.group(1).replace(',', ''), 16)).count('1')
            if res > 0:
                return res
    except IOError:
        pass

    # Python 2.6+
    try:
        import multiprocessing
        return multiprocessing.cpu_count()
    except (ImportError, NotImplementedError):
        pass

    # https://github.com/giampaolo/psutil
    try:
        import psutil
        return psutil.cpu_count()   # psutil.NUM_CPUS on old versions
    except (ImportError, AttributeError):
        pass

    # POSIX
    try:
        res = int(os.sysconf('SC_NPROCESSORS_ONLN'))

        if res > 0:
            return res
    except (AttributeError, ValueError):
        pass

    # Windows
    try:
        res = int(os.environ['NUMBER_OF_PROCESSORS'])

        if res > 0:
            return res
    except (KeyError, ValueError):
        pass

    # jython
    try:
        from java.lang import Runtime
        runtime = Runtime.getRuntime()
        res = runtime.availableProcessors()
        if res > 0:
            return res
    except ImportError:
        pass

    # BSD
    try:
        sysctl = subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
                                  stdout=subprocess.PIPE)
        scStdout = sysctl.communicate()[0]
        res = int(scStdout)

        if res > 0:
            return res
    except (OSError, ValueError):
        pass

    # Linux
    try:
        res = open('/proc/cpuinfo').read().count('processor\t:')

        if res > 0:
            return res
    except IOError:
        pass

    # Solaris
    try:
        pseudoDevices = os.listdir('/devices/pseudo/')
        res = 0
        for pd in pseudoDevices:
            if re.match(r'^cpuid@[0-9]+$', pd):
                res += 1

        if res > 0:
            return res
    except OSError:
        pass

    # Other UNIXes (heuristic)
    try:
        try:
            dmesg = open('/var/run/dmesg.boot').read()
        except IOError:
            dmesgProcess = subprocess.Popen(['dmesg'], stdout=subprocess.PIPE)
            dmesg = dmesgProcess.communicate()[0]

        res = 0
        while '\ncpu' + str(res) + ':' in dmesg:
            res += 1

        if res > 0:
            return res
    except OSError:
        pass

    raise Exception('Can not determine number of CPUs on this system')

Một tùy chọn khác là sử dụng psutilthư viện, vốn luôn hữu ích trong các tình huống sau:

>>> import psutil
>>> psutil.cpu_count()
2

Điều này sẽ hoạt động trên mọi nền tảng được hỗ trợ bởi psutil(Unix và Windows).

Lưu ý rằng trong một số trường hợp multiprocessing.cpu_countcó thể tăng một NotImplementedErrorthời gian psutilsẽ có thể có được số lượng CPU. Điều này đơn giản là vì psutillần đầu tiên cố gắng sử dụng các kỹ thuật tương tự được sử dụng bởi multiprocessingvà nếu thất bại, nó cũng sử dụng các kỹ thuật khác.

Trong Python 3,4+ : os.cpu_count () .

multiprocessing.cpu_count()được triển khai theo chức năng này nhưng tăng NotImplementedErrornếu os.cpu_count()trả về None("không thể xác định số lượng CPU").

len(os.sched_getaffinity(0)) là những gì bạn thường muốn

https://docs.python.org/3/l Library / os.html # os.sched_getaffinity

os.sched_getaffinity(0)(được thêm vào trong Python 3) trả về bộ CPU có sẵn khi xem xét sched_setaffinitycuộc gọi hệ thống Linux , giới hạn CPU mà một quá trình và con của nó có thể chạy.

0có nghĩa là để có được giá trị cho quá trình hiện tại. Hàm trả về một set()CPU được phép, do đó cần phải có len().

multiprocessing.cpu_count() mặt khác chỉ trả về tổng số CPU vật lý.

Sự khác biệt đặc biệt quan trọng vì các hệ thống quản lý cụm nhất định như Nền tảng LSF giới hạn việc sử dụng CPU công việc sched_getaffinity.

Do đó, nếu bạn sử dụng multiprocessing.cpu_count(), tập lệnh của bạn có thể cố gắng sử dụng nhiều lõi hơn mức có sẵn, điều này có thể dẫn đến quá tải và hết thời gian.

Chúng ta có thể thấy sự khác biệt một cách cụ thể bằng cách hạn chế mối quan hệ với tasksettiện ích.

Ví dụ: nếu tôi giới hạn Python chỉ 1 lõi (lõi 0) trong hệ thống 16 lõi của mình:

taskset -c 0 ./main.py

với kịch bản thử nghiệm:

chính

#!/usr/bin/env python3

import multiprocessing
import os

print(multiprocessing.cpu_count())
print(len(os.sched_getaffinity(0)))

thì đầu ra là:

16
1

nproc tuy nhiên, tôn trọng mối quan hệ theo mặc định và:

taskset -c 0 nproc

đầu ra:

1

và man nproclàm cho điều đó khá rõ ràng:

in số lượng đơn vị xử lý có sẵn

nproccó --allcờ cho trường hợp ít phổ biến hơn mà bạn muốn lấy số lượng CPU vật lý:

taskset -c 0 nproc --all

Nhược điểm duy nhất của phương pháp này là nó dường như chỉ là UNIX. Tôi nghĩ rằng Windows phải có API mối quan hệ tương tự, có thể SetProcessAffinityMask, vì vậy tôi tự hỏi tại sao nó không được chuyển. Nhưng tôi không biết gì về Windows.

Đã thử nghiệm trong Ubuntu 16.04, Python 3.5.2.

nền tảng độc lập:

psutil.cpu_count (logic = Sai)

https://github.com/giampaolo/psutil/blob/master/INSTALL.rst

Chúng cung cấp cho bạn số lượng CPU siêu phân luồng

1. multiprocessing.cpu_count()
2. os.cpu_count()

Chúng cung cấp cho bạn số lượng CPU máy ảo

1. psutil.cpu_count()
2. numexpr.detect_number_of_cores()

Chỉ quan trọng nếu bạn làm việc trên máy ảo.

multiprocessing.cpu_count()sẽ trả về số lượng CPU logic, vì vậy nếu bạn có CPU lõi tứ với siêu phân luồng, nó sẽ trả về 8. Nếu bạn muốn số lượng CPU vật lý, hãy sử dụng các liên kết python để hwloc:

#!/usr/bin/env python
import hwloc
topology = hwloc.Topology()
topology.load()
print topology.get_nbobjs_by_type(hwloc.OBJ_CORE)

hwloc được thiết kế để có thể di động trên các hệ điều hành và kiến ​​trúc.

Không thể tìm ra cách thêm mã hoặc trả lời tin nhắn nhưng đây là hỗ trợ cho jython mà bạn có thể giải quyết trước khi bạn từ bỏ:

# jython
try:
    from java.lang import Runtime
    runtime = Runtime.getRuntime()
    res = runtime.availableProcessors()
    if res > 0:
        return res
except ImportError:
    pass

Điều này có thể làm việc cho những người trong chúng ta sử dụng các hệ thống / hệ điều hành khác nhau, nhưng muốn có được điều tốt nhất trong tất cả các thế giới:

import os
workers = os.cpu_count()
if 'sched_getaffinity' in dir(os):
    workers = len(os.sched_getaffinity(0))

Bạn cũng có thể sử dụng "joblib" cho mục đích này.

import joblib
print joblib.cpu_count()

Phương pháp này sẽ cung cấp cho bạn số lượng cpus trong hệ thống. joblib cần phải được cài đặt mặc dù. Thông tin thêm về joblib có thể được tìm thấy ở đây https://pythonhosted.org/joblib/abul.html

Ngoài ra, bạn có thể sử dụng gói numexpr của python. Nó có rất nhiều chức năng đơn giản hữu ích để lấy thông tin về cpu hệ thống.

import numexpr as ne
print ne.detect_number_of_cores()

Một tùy chọn khác nếu bạn không có Python 2.6:

import commands
n = commands.getoutput("grep -c processor /proc/cpuinfo")