Đọc toàn bộ tập tin trong Scala?

Cách đơn giản và chuẩn để đọc toàn bộ tệp vào bộ nhớ trong Scala là gì? (Lý tưởng nhất là kiểm soát mã hóa ký tự.)

Điều tốt nhất tôi có thể đưa ra là:

scala.io.Source.fromPath("file.txt").getLines.reduceLeft(_+_)

hoặc tôi phải sử dụng một trong những thành ngữ tuyệt vời của Java, trong đó thành ngữ tốt nhất (không sử dụng thư viện bên ngoài) dường như là:

import java.util.Scanner
import java.io.File
new Scanner(new File("file.txt")).useDelimiter("\\Z").next()

Từ việc đọc các cuộc thảo luận về danh sách gửi thư, đối với tôi, scala.io.Source thậm chí còn được coi là thư viện I / O chuẩn. Tôi không hiểu mục đích dự định của nó là gì, chính xác.

... Tôi muốn một cái gì đó chết - đơn giản và dễ nhớ. Ví dụ, trong các ngôn ngữ này, thật khó để quên thành ngữ ...

Ruby    open("file.txt").read
Ruby    File.read("file.txt")
Python  open("file.txt").read()

val lines = scala.io.Source.fromFile("file.txt").mkString

Nhân tiện, " scala." không thực sự cần thiết, vì dù sao nó luôn nằm trong phạm vi và dĩ nhiên, bạn có thể nhập nội dung của io, đầy đủ hoặc một phần và tránh phải trả trước "io". quá.

Ở trên để các tập tin mở, tuy nhiên. Để tránh sự cố, bạn nên đóng nó như thế này:

val source = scala.io.Source.fromFile("file.txt")
val lines = try source.mkString finally source.close()

Một vấn đề khác với mã ở trên là nó chậm khủng khiếp do tính chất thực thi của nó. Đối với các tệp lớn hơn nên sử dụng:

source.getLines mkString "\n"

Chỉ cần mở rộng giải pháp của Daniel, bạn có thể rút ngắn rất nhiều thứ bằng cách chèn phần nhập sau vào bất kỳ tệp nào yêu cầu thao tác tệp:

import scala.io.Source._

Với điều này, bây giờ bạn có thể làm:

val lines = fromFile("file.txt").getLines

Tôi sẽ cảnh giác khi đọc toàn bộ một tập tin thành một String. Đó là một thói quen rất xấu, một thói quen sẽ cắn bạn sớm hơn và khó hơn bạn nghĩ. Các getLinesphương thức trả về một giá trị kiểu Iterator[String]. Đó thực sự là một con trỏ lười biếng vào tập tin, cho phép bạn chỉ kiểm tra dữ liệu bạn cần mà không gặp rủi ro về bộ nhớ.

Ồ, và để trả lời câu hỏi ngụ ý của bạn về Source: có, đó là thư viện I / O chính tắc. Hầu hết các mã kết thúc bằng cách sử dụng java.iodo giao diện cấp thấp hơn và khả năng tương thích tốt hơn với các khung hiện có, nhưng bất kỳ mã nào có lựa chọn nên được sử dụng Source, đặc biệt là cho thao tác tệp đơn giản.

// for file with utf-8 encoding
val lines = scala.io.Source.fromFile("file.txt", "utf-8").getLines.mkString

(EDIT: Điều này không hoạt động trong scala 2.9 và có thể không phải 2.8)

Sử dụng thân cây:

scala> io.File("/etc/passwd").slurp
res0: String = 
##
# User Database
# 
... etc

import java.nio.charset.StandardCharsets._
import java.nio.file.{Files, Paths}

new String(Files.readAllBytes(Paths.get("file.txt")), UTF_8)

Kiểm soát mã hóa ký tự và không có tài nguyên để dọn dẹp. Ngoài ra, có thể được tối ưu hóa (ví dụ: Files.readAllBytesphân bổ một mảng byte phù hợp với kích thước của tệp).

Tôi đã được thông báo rằng Source.fromFile có vấn đề. Cá nhân tôi đã gặp sự cố khi mở các tệp lớn với Source.fromFile và đã phải dùng đến Java InputStreams.

Một giải pháp thú vị khác là sử dụng scalax. Dưới đây là ví dụ về một số mã được nhận xét tốt mở tệp nhật ký bằng ManagedResource để mở tệp với trình trợ giúp scalax: http://pastie.org/pastes/420714

Sử dụng getLines () trên scala.io.Source sẽ loại bỏ các ký tự được sử dụng cho các đầu cuối dòng (\ n, \ r, \ r \ n, v.v.)

Sau đây nên giữ nguyên ký tự cho từng ký tự và không thực hiện nối chuỗi quá mức (vấn đề về hiệu năng):

def fileToString(file: File, encoding: String) = {
  val inStream = new FileInputStream(file)
  val outStream = new ByteArrayOutputStream
  try {
    var reading = true
    while ( reading ) {
      inStream.read() match {
        case -1 => reading = false
        case c => outStream.write(c)
      }
    }
    outStream.flush()
  }
  finally {
    inStream.close()
  }
  new String(outStream.toByteArray(), encoding)
}

Thêm một điều nữa: https://github.com/pathikrit/better-files#streams-and-codecs

Nhiều cách khác nhau để nhét một tập tin mà không tải nội dung vào bộ nhớ:

val bytes  : Iterator[Byte]            = file.bytes
val chars  : Iterator[Char]            = file.chars
val lines  : Iterator[String]          = file.lines
val source : scala.io.BufferedSource   = file.content 

Bạn cũng có thể cung cấp codec của riêng mình cho bất kỳ thứ gì đọc / ghi (nó giả sử scala.io.Codec.default nếu bạn không cung cấp một cái):

val content: String = file.contentAsString  // default codec
// custom codec:
import scala.io.Codec
file.contentAsString(Codec.ISO8859)
//or
import scala.io.Codec.string2codec
file.write("hello world")(codec = "US-ASCII")

Giống như trong Java, sử dụng thư viện CommonsIO:

FileUtils.readFileToString(file, StandardCharsets.UTF_8)

Ngoài ra, nhiều câu trả lời ở đây quên Charset. Tốt hơn là luôn luôn cung cấp nó một cách rõ ràng, hoặc nó sẽ đạt được một ngày.

Để mô phỏng cú pháp Ruby (và truyền đạt ngữ nghĩa) của việc mở và đọc tệp, hãy xem xét lớp ẩn này (Scala 2.10 trở lên),

import java.io.File

def open(filename: String) = new File(filename)

implicit class RichFile(val file: File) extends AnyVal {
  def read = io.Source.fromFile(file).getLines.mkString("\n")
}

Theo cách này,

open("file.txt").read

như một vài người đã đề cập đến scala.io.Source là tốt nhất nên tránh do rò rỉ kết nối.

Có lẽ scalax và java lib thuần như commons-io là những lựa chọn tốt nhất cho đến khi dự án ươm tạo mới (tức là scala-io) được hợp nhất.

bạn cũng có thể sử dụng Đường dẫn từ scala io để đọc và xử lý tệp.

import scalax.file.Path

Bây giờ bạn có thể nhận đường dẫn tệp bằng cách này: -

val filePath = Path("path_of_file_to_b_read", '/')
val lines = file.lines(includeTerminator = true)

Bạn cũng có thể Bao gồm các đầu cuối nhưng theo mặc định, nó được đặt thành false ..

Để đọc / tải lên toàn bộ tệp (lớn) nhanh hơn, hãy xem xét tăng kích thước của bufferSize( Source.DefaultBufSizeđược đặt thành 2048), ví dụ như sau,

val file = new java.io.File("myFilename")
io.Source.fromFile(file, bufferSize = Source.DefaultBufSize * 2)

Lưu ý Nguồn.scala . Để thảo luận thêm, xem tệp văn bản nhanh Scala đọc và tải lên bộ nhớ .

Bạn không cần phải phân tích từng dòng một và sau đó nối chúng lại ...

Source.fromFile(path)(Codec.UTF8).mkString

Tôi thích sử dụng này:

import scala.io.{BufferedSource, Codec, Source}
import scala.util.Try

def readFileUtf8(path: String): Try[String] = Try {
  val source: BufferedSource = Source.fromFile(path)(Codec.UTF8)
  val content = source.mkString
  source.close()
  content
}

Nếu bạn không bận tâm đến sự phụ thuộc của bên thứ ba, bạn nên xem xét sử dụng thư viện OS-Lib của tôi . Điều này làm cho việc đọc / ghi tệp và làm việc với hệ thống tệp rất thuận tiện:

// Make sure working directory exists and is empty
val wd = os.pwd/"out"/"splash"
os.remove.all(wd)
os.makeDir.all(wd)

// Read/write files
os.write(wd/"file.txt", "hello")
os.read(wd/"file.txt") ==> "hello"

// Perform filesystem operations
os.copy(wd/"file.txt", wd/"copied.txt")
os.list(wd) ==> Seq(wd/"copied.txt", wd/"file.txt")

với các trình trợ giúp một dòng để đọc byte , đọc các đoạn , đọc các dòng và nhiều hoạt động hữu ích / phổ biến khác

Câu hỏi rõ ràng là "tại sao bạn muốn đọc trong toàn bộ tập tin?" Đây rõ ràng không phải là một giải pháp có thể mở rộng nếu các tệp của bạn trở nên rất lớn. Việc scala.io.Sourcecung cấp cho bạn một Iterator[String]từ getLinesphương thức, rất hữu ích và súc tích.

Không có nhiều công việc để đưa ra một chuyển đổi ngầm bằng cách sử dụng các tiện ích java IO cơ bản để chuyển đổi a File, a Readerhoặc InputStreama thành a String. Tôi nghĩ rằng việc thiếu khả năng mở rộng có nghĩa là họ đúng khi không thêm điều này vào API tiêu chuẩn.

in mọi dòng, như sử dụng Java BufferedReader đọc dòng ervery và in nó:

scala.io.Source.fromFile("test.txt" ).foreach{  print  }

tương đương:

scala.io.Source.fromFile("test.txt" ).foreach( x => print(x))

import scala.io.source
object ReadLine{
def main(args:Array[String]){
if (args.length>0){
for (line <- Source.fromLine(args(0)).getLine())
println(line)
}
}

trong các đối số bạn có thể đưa ra đường dẫn tệp và nó sẽ trả về tất cả các dòng