Tôi nghĩ rằng thường xuyên, xu hướng cảm thấy như bạn đã đi xuống một hố thỏ với các phân tích khám phá là do mất tầm nhìn của (các) câu hỏi thực tế mà bạn đang hỏi. Thỉnh thoảng tôi tự làm điều đó, và sau đó phải tự nhắc nhở bản thân mục tiêu của mình là gì. Ví dụ, tôi đang cố gắng xây dựng một mô hình cụ thể, hoặc đánh giá sự đầy đủ của một mô hình hiện có? Tôi có đang tìm kiếm bằng chứng về các vấn đề với dữ liệu (nghĩa là phân tích dữ liệu pháp y) không? Hoặc, đây có phải là trong giai đoạn đầu của phân tích, nơi tôi đang điều tra các câu hỏi cụ thể không chính thức (ví dụ: có mối quan hệ giữa hai biến không?) Trước khi chuyển sang phát triển một mô hình chính thức? Tóm lại, nếu bạn bắt mình phải viết ra các ô và bảng nhưng không thể nói rõ mục tiêu trước mắt của bạn là gì hoặc tại sao lô / bảng đó có liên quan, thì bạn biết bạn '
Tôi cố gắng tiếp cận phân tích dữ liệu khám phá như tôi đang viết, cho dù đó là viết một chương trình hay viết một bài báo. Trong cả hai trường hợp, tôi sẽ không bắt đầu mà không đưa ra một phác thảo đầu tiên. Tất nhiên, phác thảo đó có thể thay đổi (và thường xuyên làm như vậy), nhưng để bắt đầu viết mà không có ai là không hiệu quả, và thường mang lại một sản phẩm cuối cùng kém.
Tổ chức WRT, mỗi nhà phân tích phải tìm ra một quy trình làm việc cho anh ấy hoặc cô ấy, vì vậy IMO quan trọng hơn là cố gắng tuân theo quy trình làm việc của người khác một cách cứng nhắc (mặc dù luôn hữu ích để lấy ý tưởng từ những gì người khác đang làm). Nếu bạn đang làm việc theo chương trình (ví dụ, viết code có thể được chạy để tạo / tái tạo một tập hợp các kết quả) và kiểm tra công việc của bạn vào git, sau đó bạn đã dặm trước nhiều trong vấn đề này. Tôi nghi ngờ rằng bạn có thể chỉ cần dành một chút thời gian để tổ chức mã của mình và vì thế, tôi sẽ đề nghị theo đề cương của bạn. Ví dụ: giữ các tệp phân tích của bạn tương đối ngắn và được nhắm mục tiêu, sao cho mỗi câu trả lời một câu hỏi cụ thể (ví dụ: sơ đồ chẩn đoán cho một mô hình hồi quy cụ thể). Tổ chức chúng thành các thư mục con ở một hoặc hai cấp, tùy thuộc vào quy mô và độ phức tạp của dự án. Theo cách này, dự án trở thành tài liệu tự; một khung nhìn danh sách các thư mục, thư mục con và tệp (cùng với nhận xét ở đầu mỗi tệp), theo lý thuyết, sẽ tái tạo phác thảo của bạn.
Tất nhiên, trong một dự án lớn, bạn cũng có thể có mã quản lý và làm sạch dữ liệu, mã bạn đã viết để ước tính một loại mô hình nhất định hoặc các tiện ích khác mà bạn đã viết và chúng không phù hợp với nội dung chính phác thảo cho phân tích dữ liệu của bạn, vì vậy chúng nên được tổ chức trong một phần khác của thư mục dự án của bạn.
Cập nhật: Sau khi đăng bài này, tôi nhận ra rằng tôi đã không trực tiếp giải quyết câu hỏi của bạn về "ngõ cụt". Nếu bạn thực sự quyết định rằng toàn bộ tập hợp phân tích không có giá trị, thì nếu bạn đang làm việc trong git, bạn luôn có thể xóa (các) tệp tương ứng bằng một thông báo cam kết như "Đã bỏ dòng phân tích này vì nó không hiệu quả. " Không giống như vò nát những gì bạn đã viết và vứt nó vào thùng rác, bạn luôn có thể quay lại những gì bạn đã làm sau này, nếu muốn.
Tuy nhiên, tôi nghĩ bạn sẽ thấy rằng nếu bạn tiến hành từ một phác thảo mà bạn đã suy nghĩ, bạn sẽ có ít cái gọi là ngõ cụt hơn. Thay vào đó, nếu bạn dành thời gian để điều tra một câu hỏi có giá trị và có liên quan ngay cả khi điều này dẫn đến một kết quả không có giá trị hoặc không thành công như bạn dự đoán, bạn có thể vẫn muốn ghi lại những gì bạn đã làm và kết quả (tại tối thiểu, để bạn không phạm sai lầm lặp lại điều này sau này). Chỉ cần di chuyển chúng xuống dưới cùng của phác thảo của bạn, trong một loại "Phụ lục."