Làm thế nào để chạy cơ sở dữ liệu thử nghiệm của Django chỉ trong bộ nhớ?

Các bài kiểm tra đơn vị Django của tôi mất nhiều thời gian để chạy, vì vậy tôi đang tìm cách để tăng tốc. Tôi đang xem xét việc cài đặt một ổ SSD , nhưng tôi biết nó cũng có nhược điểm. Tất nhiên, có những điều tôi có thể làm với mã của mình, nhưng tôi đang tìm cách sửa lỗi cấu trúc. Ngay cả khi chạy thử nghiệm đơn lẻ cũng chậm vì cơ sở dữ liệu cần phải được xây dựng lại / di chuyển về phía nam mỗi lần. Vì vậy, đây là ý tưởng của tôi ...

Vì tôi biết cơ sở dữ liệu kiểm tra sẽ luôn khá nhỏ, tại sao tôi không thể cấu hình hệ thống để luôn giữ toàn bộ cơ sở dữ liệu kiểm tra trong RAM? Không bao giờ chạm vào đĩa cả. Làm cách nào để định cấu hình cái này trong Django? Tôi muốn tiếp tục sử dụng MySQL vì đó là những gì tôi sử dụng trong sản xuất, nhưng nếu SQLite  3 hoặc thứ gì khác làm cho điều này trở nên dễ dàng, tôi sẽ đi theo hướng đó.

SQLite hoặc MySQL có tùy chọn chạy hoàn toàn trong bộ nhớ không? Có thể định cấu hình đĩa RAM và sau đó định cấu hình cơ sở dữ liệu kiểm tra để lưu trữ dữ liệu của nó ở đó, nhưng tôi không biết làm thế nào để nói với Django / MySQL sử dụng một thư mục dữ liệu khác cho một cơ sở dữ liệu nhất định, đặc biệt là khi nó bị xóa và tái tạo mỗi lần chạy. (Tôi đang dùng Mac FWIW.)

Nếu bạn đặt công cụ cơ sở dữ liệu của mình thành sqlite3 khi bạn chạy thử nghiệm, Django sẽ sử dụng cơ sở dữ liệu trong bộ nhớ .

Tôi đang sử dụng mã như thế này settings.pyđể đặt công cụ thành sqlite khi chạy thử nghiệm:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Hoặc trong Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

Và cuối cùng trong Django 1.3 và 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Đường dẫn đầy đủ đến phần phụ trợ không thực sự cần thiết với Django 1.3, nhưng làm cho cài đặt tương thích về phía trước.)

Bạn cũng có thể thêm dòng sau, trong trường hợp bạn gặp vấn đề với việc di chuyển Nam:

    SOUTH_TESTS_MIGRATE = False

Tôi thường tạo một tệp cài đặt riêng cho các thử nghiệm và sử dụng nó trong lệnh thử nghiệm, vd

python manage.py test --settings=mysite.test_settings myapp

Nó có hai lợi ích:

1. Bạn không cần phải kiểm tra testhoặc bất kỳ từ ma thuật nào như vậy trong sys.argv, test_settings.pycó thể chỉ đơn giản là

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Hoặc bạn có thể điều chỉnh thêm cho nhu cầu của mình, tách biệt rõ ràng các cài đặt kiểm tra khỏi cài đặt sản xuất.

2. Một lợi ích khác là bạn có thể chạy thử nghiệm với công cụ cơ sở dữ liệu sản xuất thay vì sqlite3 để tránh các lỗi tinh vi, vì vậy trong khi phát triển sử dụng

   python manage.py test --settings=mysite.test_settings myapp

   và trước khi cam kết chạy mã một lần

   python manage.py test myapp

   chỉ để chắc chắn rằng tất cả các bài kiểm tra đang thực sự vượt qua.

MySQL hỗ trợ một công cụ lưu trữ có tên "MEMORY", mà bạn có thể định cấu hình trong cấu hình cơ sở dữ liệu của mình ( settings.py) như sau:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Lưu ý rằng công cụ lưu trữ MEMOR không hỗ trợ các cột blob / văn bản, vì vậy nếu bạn đang sử dụng công cụ django.db.models.TextFieldnày sẽ không hiệu quả với bạn.

Tôi không thể trả lời câu hỏi chính của bạn, nhưng có một vài điều bạn có thể làm để tăng tốc mọi thứ.

Trước tiên, hãy đảm bảo rằng cơ sở dữ liệu MySQL của bạn được thiết lập để sử dụng InnoDB. Sau đó, nó có thể sử dụng các giao dịch để khôi phục trạng thái của db trước mỗi thử nghiệm, theo kinh nghiệm của tôi đã dẫn đến việc tăng tốc độ lớn. Bạn có thể truyền lệnh init cơ sở dữ liệu trong cài đặt của bạn (cú pháp Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Thứ hai, bạn không cần phải di chuyển miền Nam mỗi lần. Đặt SOUTH_TESTS_MIGRATE = Falsetrong cài đặt của bạn và cơ sở dữ liệu sẽ được tạo bằng syncdb đơn giản, sẽ nhanh hơn nhiều so với chạy qua tất cả các lần di chuyển lịch sử.

Bạn có thể thực hiện điều chỉnh kép:

• sử dụng các bảng giao dịch: trạng thái đồ đạc ban đầu sẽ được thiết lập bằng cách sử dụng cơ sở dữ liệu rollback sau mỗi TestCase.
• đưa thư mục dữ liệu cơ sở dữ liệu của bạn lên ramdisk: bạn sẽ đạt được nhiều như liên quan đến việc tạo cơ sở dữ liệu và chạy thử nghiệm sẽ nhanh hơn.

Tôi đang sử dụng cả hai thủ thuật và tôi khá hạnh phúc.

Cách thiết lập nó cho MySQL trên Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Coi chừng, nó chỉ để thử nghiệm, sau khi khởi động lại cơ sở dữ liệu của bạn từ bộ nhớ bị mất!

Một cách tiếp cận khác: có một phiên bản khác của MySQL chạy trong tempfs sử dụng RAM RAM. Hướng dẫn trong bài đăng trên blog này: Tăng tốc MySQL để thử nghiệm trong Django .

Ưu điểm:

• Bạn sử dụng cùng một cơ sở dữ liệu mà máy chủ sản xuất của bạn sử dụng
• không cần thay đổi cấu hình mysql mặc định của bạn

Mở rộng câu trả lời của Anurag Tôi đã đơn giản hóa quy trình bằng cách tạo cùng test_sinstall và thêm phần sau vào Manage.txt

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

có vẻ sạch hơn vì sys đã được nhập và Manage.txt chỉ được sử dụng thông qua dòng lệnh, do đó không cần phải làm lộn xộn cài đặt

Sử dụng dưới đây trong của bạn setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'