Có cách nào dễ dàng để chọn một hàm python (hoặc cách khác là tuần tự hóa mã của nó) không?

Tôi đang cố chuyển một chức năng qua kết nối mạng (sử dụng asyncore). Có cách nào dễ dàng để tuần tự hóa một hàm python (ít nhất là trong trường hợp này, sẽ không có tác động phụ nào) để chuyển như thế này không?

Lý tưởng nhất là tôi muốn có một cặp hàm tương tự như sau:

def transmit(func):
    obj = pickle.dumps(func)
    [send obj across the network]

def receive():
    [receive obj from the network]
    func = pickle.loads(s)
    func()

Bạn có thể tuần tự hóa hàm bytecode và sau đó cấu trúc lại nó trên trình gọi. Các soái mô-đun có thể được sử dụng để đối tượng đang tự các, mà sau đó có thể được tập hợp lại thành một hàm. I E:

import marshal
def foo(x): return x*x
code_string = marshal.dumps(foo.func_code)

Sau đó, trong quá trình từ xa (sau khi chuyển mã_string):

import marshal, types

code = marshal.loads(code_string)
func = types.FunctionType(code, globals(), "some_func_name")

func(10)  # gives 100

Một số lưu ý:

• Định dạng của soái ca (bất kỳ mã bytecode nào của python cho vấn đề đó) có thể không tương thích giữa các phiên bản python chính.

• Sẽ chỉ hoạt động cho việc triển khai cpython.

• Nếu hàm tham chiếu đến toàn cầu (bao gồm các mô-đun đã nhập, các hàm khác, v.v.) mà bạn cần lấy, bạn cũng cần phải tuần tự hóa chúng hoặc tạo lại chúng ở phía từ xa. Ví dụ của tôi chỉ cung cấp cho nó không gian tên chung của quy trình từ xa.

• Có thể bạn sẽ cần phải làm nhiều hơn một chút để hỗ trợ các trường hợp phức tạp hơn, chẳng hạn như các hàm đóng hoặc trình tạo.

Hãy xem Dill , mở rộng thư viện dưa chua của Python để hỗ trợ nhiều loại hơn, bao gồm các hàm:

>>> import dill as pickle
>>> def f(x): return x + 1
...
>>> g = pickle.dumps(f)
>>> f(1)
2
>>> pickle.loads(g)(1)
2

Nó cũng hỗ trợ các tham chiếu đến các đối tượng trong bao hàm của hàm:

>>> def plusTwo(x): return f(f(x))
...
>>> pickle.loads(pickle.dumps(plusTwo))(1)
3

Pyro có thể làm điều này cho bạn .

Cách đơn giản nhất có lẽ là inspect.getsource(object)(xem mô-đun kiểm tra ) trả về một Chuỗi có mã nguồn cho một hàm hoặc một phương thức.

Tất cả phụ thuộc vào việc bạn có tạo hàm trong thời gian chạy hay không:

Nếu bạn làm vậy - inspect.getsource(object)sẽ không hoạt động đối với các hàm được tạo động vì nó lấy nguồn của đối tượng từ .pytệp, vì vậy chỉ những hàm được xác định trước khi thực thi mới có thể được truy xuất làm nguồn.

Và nếu các chức năng của bạn vẫn được đặt trong tệp, tại sao không cấp cho người nhận quyền truy cập vào chúng và chỉ chuyển xung quanh tên mô-đun và chức năng.

Giải pháp duy nhất cho các hàm được tạo động mà tôi có thể nghĩ đến là xây dựng hàm dưới dạng một chuỗi trước khi truyền, nguồn phát và sau đó là eval()nó ở phía thu.

Chỉnh sửa: marshalgiải pháp trông cũng khá thông minh, không biết bạn có thể tuần tự hóa thứ gì đó khác mà không được tích hợp sẵn

Các cloudgói (PIP cài đặt điện toán đám mây) có thể dưa mã tùy ý, trong đó có phụ thuộc. Xem https://stackoverflow.com/a/16891169/1264797 .

code_string = '' '
def foo (x):
    trả về x * 2
thanh def (x):
    trả về x ** 2
''

obj = pickle.dumps (code_string)

Hiện nay

executive (pickle.loads (obj))

foo (1)
> 2
thanh (3)
> 9

Bạn có thể làm được việc này:

def fn_generator():
    def fn(x, y):
        return x + y
    return fn

Bây giờ, transmit(fn_generator())sẽ gửi definiton thực fn(x,y)thay vì tham chiếu đến tên mô-đun.

Bạn có thể sử dụng thủ thuật tương tự để gửi các lớp học qua mạng.

Các chức năng cơ bản được sử dụng cho mô-đun này bao gồm truy vấn của bạn, ngoài ra, bạn sẽ có được khả năng nén tốt nhất qua dây; xem mã nguồn hướng dẫn:

y_serial.py mô-đun :: kho các đối tượng Python với SQLite

"Tuần tự hóa + kiên trì :: trong một vài dòng mã, nén và chú thích các đối tượng Python vào SQLite; sau đó truy xuất chúng theo thứ tự thời gian bằng các từ khóa mà không cần bất kỳ SQL nào. Mô-đun" tiêu chuẩn "hữu ích nhất cho cơ sở dữ liệu để lưu trữ dữ liệu ít giản đồ."

http://yserial.sourceforge.net

Cloudpickle có lẽ là thứ bạn đang tìm kiếm. Cloudpickle được mô tả như sau:

cloudpickle đặc biệt hữu ích cho điện toán cụm trong đó mã Python được vận chuyển qua mạng để thực thi trên các máy chủ từ xa, có thể gần với dữ liệu.

Ví dụ sử dụng:

def add_one(n):
  return n + 1

pickled_function = cloudpickle.dumps(add_one)
pickle.loads(pickled_function)(42)

Đây là một lớp trợ giúp bạn có thể sử dụng để bọc các hàm nhằm làm cho chúng có thể nhặt được. Các lưu ý đã được đề cập marshalsẽ được áp dụng nhưng chúng tôi sẽ cố gắng sử dụng dưa chua bất cứ khi nào có thể. Không có nỗ lực nào được thực hiện để bảo vệ các hình cầu hoặc các kết thúc trong quá trình tuần tự hóa.

    class PicklableFunction:
        def __init__(self, fun):
            self._fun = fun

        def __call__(self, *args, **kwargs):
            return self._fun(*args, **kwargs)

        def __getstate__(self):
            try:
                return pickle.dumps(self._fun)
            except Exception:
                return marshal.dumps((self._fun.__code__, self._fun.__name__))

        def __setstate__(self, state):
            try:
                self._fun = pickle.loads(state)
            except Exception:
                code, name = marshal.loads(state)
                self._fun = types.FunctionType(code, {}, name)