Liệt kê tất cả các tệp từ một thư mục một cách đệ quy với Java

Tôi có chức năng này in tên của tất cả các tệp trong một thư mục một cách đệ quy. Vấn đề là mã của tôi rất chậm vì nó phải truy cập thiết bị mạng từ xa với mỗi lần lặp lại.

Kế hoạch của tôi trước tiên là tải tất cả các tệp từ thư mục một cách đệ quy và sau đó đi qua tất cả các tệp bằng regex để lọc ra tất cả các tệp tôi không muốn. Có ai có một đề nghị tốt hơn?

public static printFnames(String sDir){
  File[] faFiles = new File(sDir).listFiles();
  for(File file: faFiles){
    if(file.getName().matches("^(.*?)")){
      System.out.println(file.getAbsolutePath());
    }
    if(file.isDirectory()){
      printFnames(file.getAbsolutePath());
    }
  }
}

Đây chỉ là một bài kiểm tra sau này, tôi sẽ không sử dụng mã như thế này, thay vào đó tôi sẽ thêm đường dẫn và ngày sửa đổi của mọi tệp khớp với regex nâng cao vào một mảng.

Giả sử đây là mã sản xuất thực tế mà bạn sẽ viết, thì tôi khuyên bạn nên sử dụng giải pháp cho loại thứ này đã được giải quyết - cụ thể là Apache Commons IOFileUtils.listFiles() . Nó xử lý các thư mục, bộ lọc lồng nhau (dựa trên tên, thời gian sửa đổi, v.v.).

Ví dụ, đối với regex của bạn:

Collection files = FileUtils.listFiles(
  dir, 
  new RegexFileFilter("^(.*?)"), 
  DirectoryFileFilter.DIRECTORY
);

Thao tác này sẽ tìm kiếm đệ quy các tệp phù hợp với ^(.*?)regex, trả về kết quả dưới dạng một tập hợp.

Cần lưu ý rằng điều này sẽ không nhanh hơn so với việc cuộn mã của riêng bạn, nó cũng hoạt động tương tự - truy xuất hệ thống tệp trong Java chỉ chậm. Sự khác biệt là, phiên bản Apache Commons sẽ không có lỗi trong đó.

Trong Java 8, đó là một 1-liner qua Files.find()với độ sâu tùy tiện lớn (ví dụ 999) và BasicFileAttributescủaisRegularFile()

public static printFnames(String sDir) {
    Files.find(Paths.get(sDir), 999, (p, bfa) -> bfa.isRegularFile()).forEach(System.out::println);
}

Để thêm tính năng lọc, hãy nâng cao lambda, ví dụ: tất cả các tệp jpg được sửa đổi trong 24 giờ qua:

(p, bfa) -> bfa.isRegularFile()
  && p.getFileName().toString().matches(".*\\.jpg")
  && bfa.lastModifiedTime().toMillis() > System.currentMillis() - 86400000

Đây là một phương pháp đệ quy rất đơn giản để lấy tất cả các tệp từ một gốc nhất định.

Nó sử dụng lớp Java 7 NIO Path.

private List<String> getFileNames(List<String> fileNames, Path dir) {
    try(DirectoryStream<Path> stream = Files.newDirectoryStream(dir)) {
        for (Path path : stream) {
            if(path.toFile().isDirectory()) {
                getFileNames(fileNames, path);
            } else {
                fileNames.add(path.toAbsolutePath().toString());
                System.out.println(path.getFileName());
            }
        }
    } catch(IOException e) {
        e.printStackTrace();
    }
    return fileNames;
} 

Với Java 7, cách nhanh hơn để đi qua cây thư mục đã được giới thiệu với chức năng Pathsvà Files. Chúng nhanh hơn nhiều so với cách "cũ" File.

Đây sẽ là mã để đi qua và kiểm tra tên đường dẫn bằng một biểu thức chính quy:

public final void test() throws IOException, InterruptedException {
    final Path rootDir = Paths.get("path to your directory where the walk starts");

    // Walk thru mainDir directory
    Files.walkFileTree(rootDir, new FileVisitor<Path>() {
        // First (minor) speed up. Compile regular expression pattern only one time.
        private Pattern pattern = Pattern.compile("^(.*?)");

        @Override
        public FileVisitResult preVisitDirectory(Path path,
                BasicFileAttributes atts) throws IOException {

            boolean matches = pattern.matcher(path.toString()).matches();

            // TODO: Put here your business logic when matches equals true/false

            return (matches)? FileVisitResult.CONTINUE:FileVisitResult.SKIP_SUBTREE;
        }

        @Override
        public FileVisitResult visitFile(Path path, BasicFileAttributes mainAtts)
                throws IOException {

            boolean matches = pattern.matcher(path.toString()).matches();

            // TODO: Put here your business logic when matches equals true/false

            return FileVisitResult.CONTINUE;
        }

        @Override
        public FileVisitResult postVisitDirectory(Path path,
                IOException exc) throws IOException {
            // TODO Auto-generated method stub
            return FileVisitResult.CONTINUE;
        }

        @Override
        public FileVisitResult visitFileFailed(Path path, IOException exc)
                throws IOException {
            exc.printStackTrace();

            // If the root directory has failed it makes no sense to continue
            return path.equals(rootDir)? FileVisitResult.TERMINATE:FileVisitResult.CONTINUE;
        }
    });
}

Cách nhanh chóng để lấy nội dung của một thư mục bằng Java 7 NIO:

import java.nio.file.DirectoryStream;
import java.nio.file.Files;
import java.nio.file.FileSystems;
import java.nio.file.Path;

...

Path dir = FileSystems.getDefault().getPath( filePath );
DirectoryStream<Path> stream = Files.newDirectoryStream( dir );
for (Path path : stream) {
   System.out.println( path.getFileName() );
}
stream.close();

Giao diện của Java để đọc nội dung thư mục hệ thống tệp không hiệu quả lắm (như bạn đã phát hiện ra). JDK 7 khắc phục sự cố này bằng một giao diện hoàn toàn mới cho loại thứ này, sẽ mang lại hiệu suất ở mức nguyên bản cho các loại hoạt động này.

Vấn đề cốt lõi là Java thực hiện lệnh gọi hệ thống gốc cho mọi tệp đơn lẻ. Trên giao diện có độ trễ thấp, đây không phải là vấn đề lớn - nhưng trên một mạng có độ trễ vừa phải, nó thực sự tăng thêm. Nếu lập hồ sơ thuật toán của mình ở trên, bạn sẽ thấy rằng phần lớn thời gian được dành cho lệnh gọi isDirectory () khó chịu - đó là bởi vì bạn đang phải chịu một chuyến đi khứ hồi cho mỗi lệnh gọi đến isDirectory (). Hầu hết các hệ điều hành hiện đại đều có thể cung cấp loại thông tin này khi danh sách các tệp / thư mục được yêu cầu ban đầu (trái ngược với việc truy vấn từng đường dẫn tệp riêng lẻ cho các thuộc tính của nó).

Nếu bạn không thể đợi JDK7, một chiến lược để giải quyết độ trễ này là sử dụng đa luồng và sử dụng ExecutorService với số luồng tối đa để thực hiện đệ quy của bạn. Nó không tuyệt vời (bạn phải đối phó với việc khóa cấu trúc dữ liệu đầu ra của mình), nhưng nó sẽ nhanh hơn rất nhiều so với thực hiện một luồng đơn lẻ này.

Trong tất cả các cuộc thảo luận của bạn về loại điều này, tôi thực sự khuyên bạn nên so sánh với những gì tốt nhất bạn có thể làm bằng cách sử dụng mã gốc (hoặc thậm chí một tập lệnh dòng lệnh gần giống như vậy). Nói rằng mất một giờ để đi qua một cấu trúc mạng không thực sự có ý nghĩa nhiều. Nói với chúng tôi rằng bạn có thể làm điều đó ban đầu trong 7 giây, nhưng phải mất một giờ bằng Java sẽ thu hút sự chú ý của mọi người.

điều này sẽ hoạt động tốt ... và đệ quy của nó

File root = new File("ROOT PATH");
for ( File file : root.listFiles())
{
    getFilesRecursive(file);
}


private static void getFilesRecursive(File pFile)
{
    for(File files : pFile.listFiles())
    {
        if(files.isDirectory())
        {
            getFilesRecursive(files);
        }
        else
        {
            // do your thing 
            // you can either save in HashMap and use it as
            // per your requirement
        }
    }
}

Cá nhân tôi thích phiên bản FileUtils này. Dưới đây là một ví dụ tìm tất cả mp3 hoặc flac trong một thư mục hoặc bất kỳ thư mục con nào của nó:

String[] types = {"mp3", "flac"};
Collection<File> files2 = FileUtils.listFiles(/path/to/your/dir, types , true);

Điều này sẽ hoạt động tốt

public void displayAll(File path){      
    if(path.isFile()){
        System.out.println(path.getName());
    }else{
        System.out.println(path.getName());         
        File files[] = path.listFiles();
        for(File dirOrFile: files){
            displayAll(dirOrFile);
        }
    }
}

Hàm này có thể sẽ liệt kê tất cả tên tệp và đường dẫn của nó từ thư mục và các thư mục con của nó.

public void listFile(String pathname) {
    File f = new File(pathname);
    File[] listfiles = f.listFiles();
    for (int i = 0; i < listfiles.length; i++) {
        if (listfiles[i].isDirectory()) {
            File[] internalFile = listfiles[i].listFiles();
            for (int j = 0; j < internalFile.length; j++) {
                System.out.println(internalFile[j]);
                if (internalFile[j].isDirectory()) {
                    String name = internalFile[j].getAbsolutePath();
                    listFile(name);
                }

            }
        } else {
            System.out.println(listfiles[i]);
        }

    }

}

Java 8

public static void main(String[] args) throws IOException {

        Path start = Paths.get("C:\\data\\");
        try (Stream<Path> stream = Files.walk(start, Integer.MAX_VALUE)) {
            List<String> collect = stream
                .map(String::valueOf)
                .sorted()
                .collect(Collectors.toList());

            collect.forEach(System.out::println);
        }


    }

có cảm giác như thật ngu ngốc khi truy cập vào hệ thống tệp và lấy nội dung cho mọi thư mục con thay vì lấy mọi thứ cùng một lúc.

Cảm giác của bạn là sai. Đó là cách hệ thống tập tin hoạt động. Không có cách nào nhanh hơn (ngoại trừ khi bạn phải làm điều này nhiều lần hoặc với các mẫu khác nhau, bạn có thể lưu vào bộ nhớ cache tất cả các đường dẫn tệp trong bộ nhớ, nhưng sau đó bạn phải đối phó với việc vô hiệu bộ nhớ cache, tức là điều gì sẽ xảy ra khi tệp được thêm / xóa / đổi tên trong khi ứng dụng đang chạy).

Mong bạn biết rằng isDirectory () là một phương thức khá chậm. Tôi thấy nó khá chậm trong trình duyệt tệp của mình. Tôi sẽ tìm kiếm một thư viện để thay thế nó bằng mã gốc.

Cách hiệu quả hơn mà tôi tìm thấy trong việc xử lý hàng triệu thư mục và tệp là nắm bắt danh sách thư mục thông qua lệnh DOS trong một số tệp và phân tích cú pháp. Khi bạn đã phân tích cú pháp dữ liệu thì bạn có thể thực hiện phân tích và tính toán thống kê.

import java.io.*;

public class MultiFolderReading {

public void checkNoOfFiles (String filename) throws IOException {

    File dir=new File(filename);
    File files[]=dir.listFiles();//files array stores the list of files

 for(int i=0;i<files.length;i++)
    {
        if(files[i].isFile()) //check whether files[i] is file or directory
        {
            System.out.println("File::"+files[i].getName());
            System.out.println();

        }
        else if(files[i].isDirectory())
        {
            System.out.println("Directory::"+files[i].getName());
            System.out.println();
            checkNoOfFiles(files[i].getAbsolutePath());
        }
    }
}

public static void main(String[] args) throws IOException {

    MultiFolderReading mf=new MultiFolderReading();
    String str="E:\\file"; 
    mf.checkNoOfFiles(str);
   }
}

Trong Guava, bạn không phải đợi Bộ sưu tập được trả lại cho mình mà thực sự có thể lặp lại các tệp. Có thể dễ dàng hình dung ra một IDoSomethingWithThisFilegiao diện trong chữ ký của hàm dưới đây:

public static void collectFilesInDir(File dir) {
    TreeTraverser<File> traverser = Files.fileTreeTraverser();
    FluentIterable<File> filesInPostOrder = traverser.preOrderTraversal(dir);
    for (File f: filesInPostOrder)
        System.out.printf("File: %s\n", f.getPath());
}

TreeTraverser cũng cho phép bạn chuyển đổi giữa các kiểu truyền tải khác nhau.

public class GetFilesRecursive {
    public static List <String> getFilesRecursively(File dir){
        List <String> ls = new ArrayList<String>();
        for (File fObj : dir.listFiles()) {
            if(fObj.isDirectory()) {
                ls.add(String.valueOf(fObj));
                ls.addAll(getFilesRecursively(fObj));               
            } else {
                ls.add(String.valueOf(fObj));       
            }
        }

        return ls;
    }
    public static List <String> getListOfFiles(String fullPathDir) {
        List <String> ls = new ArrayList<String> ();
        File f = new File(fullPathDir);
        if (f.exists()) {
            if(f.isDirectory()) {
                ls.add(String.valueOf(f));
                ls.addAll(getFilesRecursively(f));
            }
        } else {
            ls.add(fullPathDir);
        }
        return ls;
    }

    public static void main(String[] args) {
        List <String> ls = getListOfFiles("/Users/srinivasab/Documents");
        for (String file:ls) {
            System.out.println(file);
        }
        System.out.println(ls.size());
    }
}

Một mã được tối ưu hóa khác

import java.io.File;
import java.util.ArrayList;
import java.util.List;

public class GetFilesRecursive {
    public static List <String> getFilesRecursively(File dir){
        List <String> ls = new ArrayList<String>();
        if (dir.isDirectory())
            for (File fObj : dir.listFiles()) {
                if(fObj.isDirectory()) {
                    ls.add(String.valueOf(fObj));
                    ls.addAll(getFilesRecursively(fObj));               
                } else {
                    ls.add(String.valueOf(fObj));       
                }
            }
        else
            ls.add(String.valueOf(dir));

        return ls;
    }

    public static void main(String[] args) {
        List <String> ls = getFilesRecursively(new File("/Users/srinivasab/Documents"));
        for (String file:ls) {
            System.out.println(file);
        }
        System.out.println(ls.size());
    }
}

Thêm một ví dụ về liệt kê các tệp và thư mục bằng Java 8 filter

public static void main(String[] args) {

System.out.println("Files!!");
        try {
            Files.walk(Paths.get("."))
                    .filter(Files::isRegularFile)
                    .filter(c ->
                            c.getFileName().toString().substring(c.getFileName().toString().length()-4).contains(".jpg")
                            ||
                            c.getFileName().toString().substring(c.getFileName().toString().length()-5).contains(".jpeg")
                    )
                    .forEach(System.out::println);

        } catch (IOException e) {
        System.out.println("No jpeg or jpg files");
        }

        System.out.println("\nDirectories!!\n");
        try {
            Files.walk(Paths.get("."))
                    .filter(Files::isDirectory)
                    .forEach(System.out::println);

        } catch (IOException e) {
            System.out.println("No Jpeg files");
        }
}