Nguyên nhân gây ra lỗi phân đoạn Python?

Tôi đang triển khai thuật toán tìm kiếm đồ thị Thành phần được kết nối mạnh (SCC) của Kosaraju bằng Python.

Chương trình chạy tuyệt vời trên tập dữ liệu nhỏ, nhưng khi tôi chạy nó trên một đồ thị siêu lớn (hơn 800.000 nút), nó cho biết "Lỗi phân đoạn".

Điều gì có thể là nguyên nhân của nó? Cảm ơn bạn!

Thông tin bổ sung: Đầu tiên, tôi gặp lỗi này khi chạy trên tập dữ liệu siêu lớn:

"RuntimeError: maximum recursion depth exceeded in cmp"

Sau đó, tôi đặt lại giới hạn đệ quy bằng cách sử dụng

sys.setrecursionlimit(50000)

nhưng có 'lỗi phân đoạn'

Hãy tin tôi rằng nó không phải là một vòng lặp vô hạn, nó chạy chính xác trên dữ liệu tương đối nhỏ hơn. Có thể chương trình đã cạn kiệt tài nguyên?

Điều này xảy ra khi một tiện ích mở rộng python (được viết bằng C) cố gắng truy cập vào một bộ nhớ ngoài tầm với.

Bạn có thể theo dõi nó theo những cách sau.

• Thêm sys.settracevào dòng đầu tiên của mã.

• Sử dụng gdbnhư được mô tả bởi Đánh dấu trong câu trả lời này .. Tại dấu nhắc lệnh

  gdb python
  (gdb) run /path/to/script.py
  ## wait for segfault ##
  (gdb) backtrace
  ## stack trace of the c code
  

Tôi hiểu rằng bạn đã giải quyết được sự cố của mình, nhưng đối với những người khác đang đọc chuỗi này, đây là câu trả lời: bạn phải tăng ngăn xếp mà hệ điều hành của bạn phân bổ cho quy trình python.

Cách thực hiện, phụ thuộc vào hệ điều hành. Trong linux, bạn có thể kiểm tra bằng lệnh ulimit -sgiá trị hiện tại của mình và bạn có thể tăng giá trị đó bằngulimit -s <new_value>

Hãy thử nhân đôi giá trị trước đó và tiếp tục nhân đôi nếu nó không hoạt động, cho đến khi bạn tìm thấy giá trị đó hoặc hết bộ nhớ.

Lỗi phân đoạn là một lỗi chung, có nhiều lý do có thể xảy ra:

• Bộ nhớ thấp
• Bộ nhớ Ram bị lỗi
• Tìm nạp một tập dữ liệu khổng lồ từ db bằng cách sử dụng truy vấn (nếu kích thước của dữ liệu được tìm nạp lớn hơn trao đổi mem)
• truy vấn sai / mã lỗi
• có vòng lặp dài (nhiều đệ quy)

Cập nhật ulimit đã hoạt động cho việc triển khai SCC của Kosaraju của tôi bằng cách sửa lỗi segfault trên cả triển khai Python (Python segfault .. ai biết!) Và C ++.

Đối với MAC của tôi, tôi đã tìm ra mức tối đa có thể thông qua:

$ ulimit -s -H
65532

Google tìm kiếm cho tôi bài viết này và tôi không thấy "giải pháp cá nhân" sau đây được thảo luận.

Điều khó chịu gần đây của tôi với Python 3.7 trên Hệ thống con Windows dành cho Linux là: trên hai máy có cùng thư viện Pandas, một máy báo cho tôi segmentation faultvà máy còn lại cảnh báo. Không rõ cái nào mới hơn, nhưng "đang cài đặt lại"pandas giải quyết được vấn đề.

Lệnh mà tôi đã chạy trên máy có lỗi.

conda install pandas

Thông tin chi tiết: Tôi đang chạy các tập lệnh giống hệt nhau (được đồng bộ hóa thông qua Git) và cả hai đều là máy Windows 10 với WSL + Anaconda. Đây là ảnh chụp màn hình để làm cho trường hợp. Ngoài ra, trên máy mà dòng lệnh pythonsẽ bị phàn nàn Segmentation fault (core dumped), phòng thí nghiệm Jupyter chỉ cần khởi động lại hạt nhân mỗi lần. Tệ hơn nữa, không có cảnh báo nào được đưa ra.

Cập nhật vài tháng sau: Tôi đã bỏ lưu trữ máy chủ Jupyter trên máy Windows. Bây giờ tôi sử dụng WSL trên Windows để tìm nạp các cổng từ xa được mở trên máy chủ Linux và chạy tất cả các công việc của tôi trên máy Linux từ xa. Tôi chưa bao giờ gặp bất kỳ lỗi thực thi nào trong nhiều tháng :)

Tôi gặp phải lỗi phân đoạn này sau khi nâng cấp dlib trên RPI. Tôi đã theo dõi lại ngăn xếp theo đề xuất của Shiplu Mokaddim ở trên và nó đã giải quyết trên thư viện OpenBLAS.

Vì OpenBLAS cũng đa luồng, việc sử dụng nó trong một ứng dụng phân luồng sẽ nhân các luồng theo cấp số nhân cho đến khi lỗi phân đoạn. Đối với các ứng dụng đa luồng, hãy đặt OpenBlas thành chế độ luồng đơn.

Trong môi trường ảo python, yêu cầu OpenBLAS chỉ sử dụng một luồng duy nhất bằng cách chỉnh sửa:

    $ workon <myenv>
    $ nano .virtualenv/<myenv>/bin/postactivate

và thêm:

    export OPENBLAS_NUM_THREADS=1 
    export OPENBLAS_MAIN_FREE=1

Sau khi khởi động lại, tôi đã có thể chạy tất cả các ứng dụng nhận dạng hình ảnh của mình trên rpi3b mà trước đó nó đã bị lỗi.

tham khảo: https://github.com/ageitgey/face_recognition/issues/294

Có vẻ như bạn đã hết bộ nhớ ngăn xếp. Bạn có thể muốn tăng nó như Davide đã nêu. Để làm điều đó trong mã python, bạn sẽ cần chạy "main ()" của mình bằng cách sử dụng luồng:

def main():
    pass # write your code here

sys.setrecursionlimit(2097152)    # adjust numbers
threading.stack_size(134217728)   # for your needs

main_thread = threading.Thread(target=main)
main_thread.start()
main_thread.join()

Nguồn: bài đăng của c1729 trên codeforces . Chạy nó bằng PyPy phức tạp hơn một chút .