Câu hỏi được gắn thẻ «tokenize»

Java có một phương thức phân chia thuận tiện: String str = "The quick brown fox"; String[] results = str.split(" "); Có một cách dễ dàng để làm điều này trong C ++?

414 c++  string  split  tokenize 

Tôi đang phân tích một chuỗi trong C ++ bằng cách sử dụng như sau: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } Phân tích cú pháp với một dấu phân cách char là tốt. Nhưng nếu tôi muốn …

362 c++  parsing  split  token  tokenize 

StringTokenizer? Chuyển đổi Stringthành a char[]và lặp đi lặp lại điều đó? Thứ gì khác?

340 java  string  iteration  character  tokenize 

Giả sử tôi có chuỗi 1:2:3:4:5và tôi muốn lấy trường cuối cùng của nó ( 5trong trường hợp này). Làm thế nào để tôi làm điều đó bằng cách sử dụng Bash? Tôi đã thử cut, nhưng tôi không biết cách chỉ định trường cuối cùng -f.

293 bash  split  tokenize  cut 

Tôi mới tìm hiểu về lớp Scanner của Java và bây giờ tôi đang tự hỏi làm thế nào nó so sánh / cạnh tranh với StringTokenizer và String.Split. Tôi biết rằng StringTokenizer và String.Split chỉ hoạt động trên Chuỗi, vậy tại sao tôi muốn sử dụng Trình quét cho …

155 java  java.util.scanner  tokenize  split 

Tôi đang tìm một định nghĩa rõ ràng về "mã thông báo", "trình phân tích cú pháp" và "từ vựng" là gì và chúng có liên quan với nhau như thế nào (ví dụ: trình phân tích cú pháp sử dụng mã thông báo hoặc ngược lại)? Tôi cần tạo …

151 parsing  lexer  tokenize 

Từ một cái gì đó như thế này: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) Tôi muốn có được một cái gì đó như thế này: 1 2 3 Mã có thể tự đọc theo cách này? Tất cả những gì tôi muốn là đầu ra từ các phần lồng nhau của mã được …

149 python  reflection  metaprogramming  indentation  tokenize 

Cách tốt nhất để token hóa / tách NSString trong Objective-C là gì?

144 objective-c  cocoa  tokenize 

Tôi mới bắt đầu sử dụng NLTK và tôi hoàn toàn không hiểu làm thế nào để có được danh sách các từ trong văn bản. Nếu tôi sử dụng nltk.word_tokenize(), tôi nhận được một danh sách các từ và dấu câu. Tôi chỉ cần những từ thay thế. Làm …

125 python  nlp  tokenize  nltk 

Tôi biết điều này đã được giải đáp ở một mức độ nào đó với PHP và MYSQL, nhưng tôi đã tự hỏi liệu ai đó có thể dạy tôi cách tiếp cận đơn giản nhất để tách một chuỗi (được phân cách bằng dấu phẩy) thành nhiều hàng trong …

104 sql  string  oracle  plsql  tokenize