Tại sao chúng ta không thể chèn vào các tập tin mà không ghi thêm? (Tôi không có nghĩa là chắp thêm, cũng không viết quá nhiều)

Điều này xảy ra như là một vấn đề độc lập ngôn ngữ lập trình với tôi.

Tôi có một tập tin với nội dung

aaabddd

Khi tôi muốn chèn Cphía sau bthì mã của tôi cần phải viết lại dddđể có được

aaabCddd

Tại sao tôi không thể chỉ chèn Cvào vị trí này?

Tôi không thể làm điều này trong Java, Python, .... Tôi không thể làm điều này trong Linux, Windows, .... Tôi có đúng không

Tôi không hiểu tại sao Ckhông thể đơn giản được chèn mà không cần viết thêm. Ai đó sẽ giải thích tại sao điều này là như vậy?

Do hầu hết các hệ thống tệp lưu trữ nội dung của các tệp trong các khối riêng lẻ không nhất thiết phải liền kề trên đĩa vật lý, nhưng được liên kết qua các cấu trúc con trỏ, có vẻ như chế độ đó - "chèn" thay vì "nối thêm" hoặc "ghi đè" - nên để có thể, và chắc chắn có thể được thực hiện hiệu quả hơn những gì chúng ta phải làm bây giờ: đọc toàn bộ nội dung, chỉnh sửa luồng byte và viết lại toàn bộ nội dung.

Tuy nhiên, dù tốt hay xấu, ngữ nghĩa UNIX của các hệ thống tệp được thiết kế theo mô hình "thô và đơn giản" vào những năm 1970: nó cho phép bạn làm mọi thứ, nhưng không nhất thiết phải theo cách hiệu quả nhất có thể. Ngày nay, gần như không thể tưởng tượng được việc giới thiệu chế độ mở tệp mới vào lớp Hệ thống tệp ảo và có bất kỳ hy vọng nào về các hệ thống tệp chính áp dụng hỗ trợ cho nó. Đây là một tiểu thú cưng của tôi, nhưng tiếc là người ta không thể giải quyết sớm được.

Về mặt lý thuyết, bạn có thể thực hiện một tệp cho phép loại điều này. Tuy nhiên, để linh hoạt tối đa, bạn cần lưu trữ một con trỏ tới byte kế tiếp cùng với mỗi byte trong tệp. Giả sử một con trỏ 64 bit, điều đó có nghĩa là 8 trên 9 byte tệp của bạn sẽ bao gồm các con trỏ bên trong. Vì vậy, sẽ mất 9000 byte không gian để lưu trữ 1000 byte dữ liệu thực tế. Đọc tệp cũng sẽ chậm vì bạn cần đọc từng byte, đọc con trỏ, theo con trỏ để đọc byte tiếp theo, v.v. thay vì đọc các khối dữ liệu lớn, liền kề từ đĩa.

Rõ ràng, cách tiếp cận này không thực tế. Tuy nhiên, bạn có thể chia tệp thành các khối 32 kb. Điều đó sẽ giúp việc thêm 32 kb dữ liệu vào bất kỳ ranh giới 32 kb nào trong tệp tương đối dễ dàng. Sẽ không dễ dàng hơn khi thêm một byte đơn làm byte thứ 5 của tệp. Tuy nhiên, nếu bạn dành một số không gian trống trong mỗi khối, bạn có thể cho phép bổ sung dữ liệu nhỏ, điều này chỉ ảnh hưởng đến dữ liệu trong khối đó. Tất nhiên, bạn sẽ bị phạt về kích thước tệp, nhưng có khả năng là hợp lý. Tuy nhiên, việc tìm ra bao nhiêu không gian để dự trữ và cách phân chia các khối có xu hướng dễ dàng hơn cho một ứng dụng cụ thể so với hệ thống có mục đích chung-- những gì hoạt động trong một ngữ cảnh có thể rất tệ trong một bối cảnh khác tùy thuộc vào quyền truy cập tệp và đặc điểm sửa đổi.

Trên thực tế, nhiều hệ thống dành nhiều thời gian để tương tác với các tệp thực hiện một cái gì đó giống như những gì tôi đã mô tả ở trên khi chúng thực hiện trừu tượng hóa tệp cụ thể của chúng. Ví dụ, cơ sở dữ liệu sẽ triển khai một số khái niệm về "khối" là đơn vị I / O nhỏ nhất mà chúng có thể làm việc và thường sẽ dành một lượng không gian cho sự tăng trưởng trong tương lai để việc cập nhật một hàng trong bảng chỉ ảnh hưởng đến một khối mà dữ liệu đó được lưu trữ thay vì ghi lại toàn bộ tệp. Các cơ sở dữ liệu khác nhau, tất nhiên, có các triển khai khác nhau với sự đánh đổi khác nhau.

"Vấn đề" nắm rõ cách các tệp được ghi ra phương tiện lưu trữ theo kiểu byte theo byte.

Trong biểu diễn cơ bản nhất của nó, một tệp không có gì khác ngoài một chuỗi các byte được ghi ra đĩa (còn gọi là phương tiện lưu trữ). Vì vậy, chuỗi ban đầu của bạn trông giống như:

Address  Value
0x00     `a`
0x01     `a`
0x02     `a`
0x03     `b`
0x04     `d`
0x05     `d`
0x06     `d`

Và bạn muốn chèn Cvào vị trí 0x04. Điều đó yêu cầu chuyển byte 4 - 6 xuống một byte để bạn có thể chèn giá trị mới. Nếu bạn không, bạn sẽ ghi đè lên giá trị hiện tại là 0x04 không phải là điều bạn muốn.

Address  Value
0x00     `a`
0x01     `a`
0x02     `a`
0x03     `b`
0x04     `C`
0x05     `d`
0x06     `d`
0x07     `d`

Vì vậy, lý do tại sao bạn phải viết lại phần đuôi của tệp sau khi bạn chèn một giá trị mới là vì không có bất kỳ khoảng trống nào trong tệp để chấp nhận giá trị được chèn. Nếu không, bạn sẽ viết quá nhiều những gì đã có.

Phụ lục 1 : Nếu bạn muốn thay thế giá trị bbằng Cthì bạn không cần phải viết lại phần đuôi của chuỗi. Thay thế một giá trị bằng một giá trị có kích thước tương tự không yêu cầu viết lại.

Phụ lục 2 : Nếu bạn muốn thay thế chuỗi abbằng Cthì bạn sẽ cần phải viết lại phần còn lại của tệp khi bạn đã tạo một khoảng trống trong tệp.

Phụ lục 3 : Cấu trúc cấp khối đã được tạo để giúp xử lý các tệp lớn dễ xử lý hơn. Thay vì phải tìm không gian liền kề có giá trị 1M cho tệp của bạn, giờ đây bạn chỉ cần tìm các khối có sẵn trị giá 1M để ghi vào thay thế.

Về lý thuyết, bạn có thể xây dựng một hệ thống tập tin thực hiện liên kết từng byte tương tự như các khối cung cấp. Sau đó, bạn có thể chèn một byte mới bằng cách cập nhật thành | từ con trỏ tại điểm thích hợp. Tôi sẽ mạo hiểm đoán rằng hiệu suất trên đó sẽ khá kém.

Như Grandmaster B đã đề xuất , hãy sử dụng hình ảnh của domino xếp chồng để hiểu trực quan cách tệp được biểu diễn.

Bạn không thể chèn một domino khác trong dòng domino mà không khiến mọi thứ sụp đổ. Bạn phải tạo không gian cho domino mới bằng cách di chuyển những người khác xuống dòng. Di chuyển domino xuống dòng tương đương với việc viết lại đuôi của tệp sau điểm chèn.

Việc chèn vào một tệp không được triển khai trong hầu hết các hệ thống tệp vì nó được coi là một hoạt động "tốn kém" (ăn thời gian và không gian) với các hậu quả "tốn kém" dài hạn và các chế độ thất bại bổ sung.

Một hệ thống tệp có ngữ nghĩa chèn có thể sẽ sử dụng shift & insert (có thể rất tốn kém khi bạn chèn ở phía trước một tệp lớn, nhưng không có / vài tác dụng phụ dài hạn) hoặc một số loại phân bổ heap tổng quát với kích thước phân bổ chiều dài thay đổi ( hiệu suất rất tệ trong một số trường hợp [hãy tưởng tượng khuôn mặt của người dùng tương tác nếu họ cố lưu tệp trong một GC dừng lại trên thế giới!]).

Nếu bạn muốn thử nghiệm, bạn có thể dễ dàng xây dựng một bản tóm tắt I / O trong Java hoặc Python thực hiện việc chèn. Nếu bạn thành công và nó có đặc điểm hiệu suất hoạt động tốt, bạn có cơ sở cho một bài nghiên cứu xuất sắc. Chúc may mắn.

Cách hiệu quả nhất để chèn một khối byte vào giữa tệp sẽ là:

1. Ánh xạ tệp vào bộ nhớ
2. Nối các byte vào cuối hình ảnh bộ nhớ của tệp
3. Xoay các tệp này vào vị trí (ví dụ: với một thuật toán tiêu chuẩn có sẵn trong Thư viện chuẩn C ++)
4. Hãy để HĐH xử lý việc ghi các khối bẩn vào đĩa

Trước tiên, bạn cần đọc mọi thứ sau điểm chèn, sau đó viết lại xuống nhiều khoảng trống như bạn sẽ chèn. Sau đó, bạn có thể viết dữ liệu "chèn" của mình vào đúng chỗ. Hoạt động cực kỳ kém, do đó không được hỗ trợ.

Khi bạn truy cập trực tiếp vào một tệp bạn đang sử dụng ở mức thấp có thể được sử dụng để xây dựng các cấu trúc tinh vi hơn. Xem xét việc xây dựng cơ sở dữ liệu với dữ liệu của bạn cho phép các loại quyền truy cập bạn cần, bao gồm cả chèn.

Sẽ ít tốn kém hơn nếu bạn chỉ cần lặp qua tệp không truy cập ngẫu nhiên vào phần bù được chỉ định. Nếu bạn cần truy cập ngẫu nhiên bằng offset trong tệp, bạn sẽ cần cập nhật chỉ mục cho tất cả các byte ngoài điểm chèn.

Nói chung, bạn sẽ trả tiền trong việc lập chỉ mục cấu trúc dữ liệu, bộ nhớ để lưu chỉ mục và truy cập đĩa bổ sung để cập nhật nó.