Xóa các thẻ HTML khỏi Chuỗi

Có cách nào tốt để xóa HTML khỏi chuỗi Java không? Một regex đơn giản như

 replaceAll("\\<.*?>","") 

sẽ hoạt động, nhưng những thứ như &sẽ không được chuyển đổi chính xác và không phải HTML giữa hai dấu ngoặc góc sẽ bị xóa (tức là .*?trong biểu thức chính quy sẽ biến mất).

Sử dụng trình phân tích cú pháp HTML thay vì regex. Điều này thật đơn giản với Jsoup .

public static String html2text(String html) {
    return Jsoup.parse(html).text();
}

Jsoup cũng hỗ trợ xóa các thẻ HTML đối với danh sách trắng có thể tùy chỉnh, rất hữu ích nếu bạn chỉ muốn cho phép <b>, ví dụ , <i>và <u>.

Xem thêm:

• RegEx khớp các thẻ mở trừ các thẻ độc lập XHTML
• Những ưu và nhược điểm của các trình phân tích cú pháp Java hàng đầu là gì?
• Ngăn chặn XSS trong ứng dụng web JSP / Servlet

Nếu bạn đang viết cho Android, bạn có thể làm điều này ...

android.text.Html.fromHtml(instruction).toString()

Nếu người dùng vào <b>hey!</b>, bạn có muốn hiển thị <b>hey!</b>hay hey!không? Nếu là người đầu tiên, hãy thoát các lệnh ít mã hóa và mã hóa html (và trích dẫn tùy chọn) và bạn vẫn ổn. Một sửa đổi cho mã của bạn để thực hiện tùy chọn thứ hai sẽ là:

replaceAll("\\<[^>]*>","")

nhưng bạn sẽ gặp vấn đề nếu người dùng nhập vào một cái gì đó không đúng định dạng, như thế nào <bhey!</b>.

Bạn cũng có thể kiểm tra JTidy sẽ phân tích cú pháp html "bẩn" và sẽ cung cấp cho bạn cách xóa thẻ, giữ văn bản.

Vấn đề với việc cố gắng tách html là các trình duyệt có trình phân tích cú pháp rất khoan dung, khoan dung hơn bất kỳ thư viện nào bạn có thể tìm thấy, vì vậy ngay cả khi bạn cố hết sức để loại bỏ tất cả các thẻ (sử dụng phương pháp thay thế ở trên, thư viện DOM hoặc JTidy) , bạn sẽ vẫn cần đảm bảo mã hóa mọi ký tự đặc biệt HTML còn lại để giữ đầu ra của bạn an toàn.

Một cách khác là sử dụng javax.swing.text.html.HTMLEditorKit để trích xuất văn bản.

import java.io.*;
import javax.swing.text.html.*;
import javax.swing.text.html.parser.*;

public class Html2Text extends HTMLEditorKit.ParserCallback {
    StringBuffer s;

    public Html2Text() {
    }

    public void parse(Reader in) throws IOException {
        s = new StringBuffer();
        ParserDelegator delegator = new ParserDelegator();
        // the third parameter is TRUE to ignore charset directive
        delegator.parse(in, this, Boolean.TRUE);
    }

    public void handleText(char[] text, int pos) {
        s.append(text);
    }

    public String getText() {
        return s.toString();
    }

    public static void main(String[] args) {
        try {
            // the HTML to convert
            FileReader in = new FileReader("java-new.html");
            Html2Text parser = new Html2Text();
            parser.parse(in);
            in.close();
            System.out.println(parser.getText());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

ref: Xóa các thẻ HTML khỏi một tệp để chỉ trích xuất văn bản

Tôi nghĩ rằng cách đơn giản nhất để lọc các thẻ html là:

private static final Pattern REMOVE_TAGS = Pattern.compile("<.+?>");

public static String removeTags(String string) {
    if (string == null || string.length() == 0) {
        return string;
    }

    Matcher m = REMOVE_TAGS.matcher(string);
    return m.replaceAll("");
}

Cũng rất đơn giản khi sử dụng Jericho và bạn có thể giữ lại một số định dạng (ví dụ ngắt dòng và liên kết).

    Source htmlSource = new Source(htmlText);
    Segment htmlSeg = new Segment(htmlSource, 0, htmlSource.length());
    Renderer htmlRend = new Renderer(htmlSeg);
    System.out.println(htmlRend.toString());

Câu trả lời được chấp nhận khi thực hiện đơn giản Jsoup.parse(html).text()có 2 vấn đề tiềm ẩn (với JSoup 1.7.3):

• Nó loại bỏ ngắt dòng khỏi văn bản
• Nó chuyển đổi văn bản <script>thành<script>

Nếu bạn sử dụng điều này để bảo vệ chống lại XSS, điều này hơi khó chịu. Đây là cách tốt nhất của tôi về một giải pháp cải tiến, sử dụng cả JSoup và Apache StringEscapeUtils:

// breaks multi-level of escaping, preventing &amp;lt;script&amp;gt; to be rendered as <script>
String replace = input.replace("&amp;", "");
// decode any encoded html, preventing &lt;script&gt; to be rendered as <script>
String html = StringEscapeUtils.unescapeHtml(replace);
// remove all html tags, but maintain line breaks
String clean = Jsoup.clean(html, "", Whitelist.none(), new Document.OutputSettings().prettyPrint(false));
// decode html again to convert character entities back into text
return StringEscapeUtils.unescapeHtml(clean);

Lưu ý rằng bước cuối cùng là vì tôi cần sử dụng đầu ra dưới dạng văn bản thuần túy. Nếu bạn chỉ cần đầu ra HTML thì bạn sẽ có thể loại bỏ nó.

Và đây là một loạt các trường hợp thử nghiệm (đầu vào đầu ra):

{"regular string", "regular string"},
{"<a href=\"link\">A link</a>", "A link"},
{"<script src=\"http://evil.url.com\"/>", ""},
{"&lt;script&gt;", ""},
{"&amp;lt;script&amp;gt;", "lt;scriptgt;"}, // best effort
{"\" ' > < \n \\ é å à ü and & preserved", "\" ' > < \n \\ é å à ü and & preserved"}

Nếu bạn tìm thấy một cách để làm cho nó tốt hơn, xin vui lòng cho tôi biết.

Trên Android, hãy thử điều này:

String result = Html.fromHtml(html).toString();

HTML Escaping thực sự rất khó để thực hiện đúng - Tôi chắc chắn khuyên bạn nên sử dụng mã thư viện để làm điều này, vì nó tinh tế hơn nhiều so với bạn nghĩ. Hãy xem StringEscapeUtils của Apache để có một thư viện khá tốt để xử lý việc này trong Java.

Điều này sẽ làm việc -

dùng cái này

  text.replaceAll('<.*?>' , " ") -> This will replace all the html tags with a space.

và điều này

  text.replaceAll('&.*?;' , "")-> this will replace all the tags which starts with "&" and ends with ";" like  , &, > etc.

Bạn có thể muốn thay thế <br/>và </p>gắn thẻ bằng các dòng mới trước khi tước HTML để ngăn nó trở thành một mớ hỗn độn không thể đọc được như Tim gợi ý.

Cách duy nhất tôi có thể nghĩ đến để xóa các thẻ HTML nhưng để lại không phải HTML giữa các dấu ngoặc góc sẽ là kiểm tra danh sách các thẻ HTML . Một cái gì đó dọc theo những dòng này ...

replaceAll("\\<[\s]*tag[^>]*>","")

Sau đó, HTML giải mã các ký tự đặc biệt như &. Kết quả không nên được coi là vệ sinh.

Ngoài ra, người ta có thể sử dụng HtmlCleaner :

private CharSequence removeHtmlFrom(String html) {
    return new HtmlCleaner().clean(html).getText();
}

Câu trả lời được chấp nhận không phù hợp với tôi đối với trường hợp thử nghiệm mà tôi đã chỉ ra: kết quả của "a <b hoặc b> c" là "ab hoặc b> c".

Vì vậy, tôi đã sử dụng TagSoup thay thế. Đây là một shot hoạt động cho trường hợp thử nghiệm của tôi (và một vài người khác):

import java.io.IOException;
import java.io.StringReader;
import java.util.logging.Logger;

import org.ccil.cowan.tagsoup.Parser;
import org.xml.sax.Attributes;
import org.xml.sax.ContentHandler;
import org.xml.sax.InputSource;
import org.xml.sax.Locator;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;

/**
 * Take HTML and give back the text part while dropping the HTML tags.
 *
 * There is some risk that using TagSoup means we'll permute non-HTML text.
 * However, it seems to work the best so far in test cases.
 *
 * @author dan
 * @see <a href="http://home.ccil.org/~cowan/XML/tagsoup/">TagSoup</a> 
 */
public class Html2Text2 implements ContentHandler {
private StringBuffer sb;

public Html2Text2() {
}

public void parse(String str) throws IOException, SAXException {
    XMLReader reader = new Parser();
    reader.setContentHandler(this);
    sb = new StringBuffer();
    reader.parse(new InputSource(new StringReader(str)));
}

public String getText() {
    return sb.toString();
}

@Override
public void characters(char[] ch, int start, int length)
    throws SAXException {
    for (int idx = 0; idx < length; idx++) {
    sb.append(ch[idx+start]);
    }
}

@Override
public void ignorableWhitespace(char[] ch, int start, int length)
    throws SAXException {
    sb.append(ch);
}

// The methods below do not contribute to the text
@Override
public void endDocument() throws SAXException {
}

@Override
public void endElement(String uri, String localName, String qName)
    throws SAXException {
}

@Override
public void endPrefixMapping(String prefix) throws SAXException {
}


@Override
public void processingInstruction(String target, String data)
    throws SAXException {
}

@Override
public void setDocumentLocator(Locator locator) {
}

@Override
public void skippedEntity(String name) throws SAXException {
}

@Override
public void startDocument() throws SAXException {
}

@Override
public void startElement(String uri, String localName, String qName,
    Attributes atts) throws SAXException {
}

@Override
public void startPrefixMapping(String prefix, String uri)
    throws SAXException {
}
}

Tôi biết điều này đã cũ, nhưng tôi chỉ đang thực hiện một dự án yêu cầu tôi lọc HTML và điều này hoạt động tốt:

noHTMLString.replaceAll("\\&.*?\\;", "");

thay vì điều này:

html = html.replaceAll(" ","");
html = html.replaceAll("&"."");

Đây là một bản cập nhật nhẹ nhàng hơn để cố gắng xử lý một số định dạng cho các ngắt và danh sách. Tôi đã sử dụng đầu ra của Amaya như một hướng dẫn.

import java.io.IOException;
import java.io.Reader;
import java.io.StringReader;
import java.util.Stack;
import java.util.logging.Logger;

import javax.swing.text.MutableAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLEditorKit;
import javax.swing.text.html.parser.ParserDelegator;

public class HTML2Text extends HTMLEditorKit.ParserCallback {
    private static final Logger log = Logger
            .getLogger(Logger.GLOBAL_LOGGER_NAME);

    private StringBuffer stringBuffer;

    private Stack<IndexType> indentStack;

    public static class IndexType {
        public String type;
        public int counter; // used for ordered lists

        public IndexType(String type) {
            this.type = type;
            counter = 0;
        }
    }

    public HTML2Text() {
        stringBuffer = new StringBuffer();
        indentStack = new Stack<IndexType>();
    }

    public static String convert(String html) {
        HTML2Text parser = new HTML2Text();
        Reader in = new StringReader(html);
        try {
            // the HTML to convert
            parser.parse(in);
        } catch (Exception e) {
            log.severe(e.getMessage());
        } finally {
            try {
                in.close();
            } catch (IOException ioe) {
                // this should never happen
            }
        }
        return parser.getText();
    }

    public void parse(Reader in) throws IOException {
        ParserDelegator delegator = new ParserDelegator();
        // the third parameter is TRUE to ignore charset directive
        delegator.parse(in, this, Boolean.TRUE);
    }

    public void handleStartTag(HTML.Tag t, MutableAttributeSet a, int pos) {
        log.info("StartTag:" + t.toString());
        if (t.toString().equals("p")) {
            if (stringBuffer.length() > 0
                    && !stringBuffer.substring(stringBuffer.length() - 1)
                            .equals("\n")) {
                newLine();
            }
            newLine();
        } else if (t.toString().equals("ol")) {
            indentStack.push(new IndexType("ol"));
            newLine();
        } else if (t.toString().equals("ul")) {
            indentStack.push(new IndexType("ul"));
            newLine();
        } else if (t.toString().equals("li")) {
            IndexType parent = indentStack.peek();
            if (parent.type.equals("ol")) {
                String numberString = "" + (++parent.counter) + ".";
                stringBuffer.append(numberString);
                for (int i = 0; i < (4 - numberString.length()); i++) {
                    stringBuffer.append(" ");
                }
            } else {
                stringBuffer.append("*   ");
            }
            indentStack.push(new IndexType("li"));
        } else if (t.toString().equals("dl")) {
            newLine();
        } else if (t.toString().equals("dt")) {
            newLine();
        } else if (t.toString().equals("dd")) {
            indentStack.push(new IndexType("dd"));
            newLine();
        }
    }

    private void newLine() {
        stringBuffer.append("\n");
        for (int i = 0; i < indentStack.size(); i++) {
            stringBuffer.append("    ");
        }
    }

    public void handleEndTag(HTML.Tag t, int pos) {
        log.info("EndTag:" + t.toString());
        if (t.toString().equals("p")) {
            newLine();
        } else if (t.toString().equals("ol")) {
            indentStack.pop();
            ;
            newLine();
        } else if (t.toString().equals("ul")) {
            indentStack.pop();
            ;
            newLine();
        } else if (t.toString().equals("li")) {
            indentStack.pop();
            ;
            newLine();
        } else if (t.toString().equals("dd")) {
            indentStack.pop();
            ;
        }
    }

    public void handleSimpleTag(HTML.Tag t, MutableAttributeSet a, int pos) {
        log.info("SimpleTag:" + t.toString());
        if (t.toString().equals("br")) {
            newLine();
        }
    }

    public void handleText(char[] text, int pos) {
        log.info("Text:" + new String(text));
        stringBuffer.append(text);
    }

    public String getText() {
        return stringBuffer.toString();
    }

    public static void main(String args[]) {
        String html = "<html><body><p>paragraph at start</p>hello<br />What is happening?<p>this is a<br />mutiline paragraph</p><ol>  <li>This</li>  <li>is</li>  <li>an</li>  <li>ordered</li>  <li>list    <p>with</p>    <ul>      <li>another</li>      <li>list        <dl>          <dt>This</dt>          <dt>is</dt>            <dd>sdasd</dd>            <dd>sdasda</dd>            <dd>asda              <p>aasdas</p>            </dd>            <dd>sdada</dd>          <dt>fsdfsdfsd</dt>        </dl>        <dl>          <dt>vbcvcvbcvb</dt>          <dt>cvbcvbc</dt>            <dd>vbcbcvbcvb</dd>          <dt>cvbcv</dt>          <dt></dt>        </dl>        <dl>          <dt></dt>        </dl></li>      <li>cool</li>    </ul>    <p>stuff</p>  </li>  <li>cool</li></ol><p></p></body></html>";
        System.out.println(convert(html));
    }
}

Sử dụng Html.fromHtml

Thẻ HTML là

<a href=”…”> <b>,  <big>, <blockquote>, <br>, <cite>, <dfn>
<div align=”…”>,  <em>, <font size=”…” color=”…” face=”…”>
<h1>,  <h2>, <h3>, <h4>,  <h5>, <h6>
<i>, <p>, <small>
<strike>,  <strong>, <sub>, <sup>, <tt>, <u>

Theo Tài liệu chính thức của Android, bất kỳ thẻ nào trong HTML sẽ hiển thị dưới dạng Chuỗi thay thế chung mà chương trình của bạn có thể đi qua và thay thế bằng các chuỗi thực .

Html.formHtmlphương thức lấy một Html.TagHandlervà một Html.ImageGetter làm đối số cũng như văn bản để phân tích cú pháp.

Thí dụ

String Str_Html=" <p>This is about me text that the user can put into their profile</p> ";

Sau đó

Your_TextView_Obj.setText(Html.fromHtml(Str_Html).toString());

Đầu ra

Đây là về tôi văn bản mà người dùng có thể đưa vào hồ sơ của họ

Đây là một biến thể nữa về cách thay thế tất cả (Thẻ HTML | Thực thể HTML | Không gian trống trong nội dung HTML)

content.replaceAll("(<.*?>)|(&.*?;)|([ ]{2,})", ""); trong đó nội dung là một chuỗi.

Bạn chỉ có thể sử dụng bộ lọc HTML mặc định của Android

    public String htmlToStringFilter(String textToFilter){

    return Html.fromHtml(textToFilter).toString();

    }

Phương pháp trên sẽ trả về chuỗi đã lọc HTML cho đầu vào của bạn.

Một cách nữa có thể là sử dụng lớp com.google.gdata.util.common.html.HtmlToText như

MyWriter.toConsole(HtmlToText.htmlToPlainText(htmlResponse));

Đây không phải là mã bằng chứng đạn và khi tôi chạy nó trên các mục wikipedia tôi cũng nhận được thông tin về kiểu dáng. Tuy nhiên tôi tin rằng đối với các công việc nhỏ / đơn giản, điều này sẽ có hiệu quả.

Có vẻ như bạn muốn chuyển từ HTML sang văn bản thuần túy.
Nếu đó là trường hợp, hãy xem www.htmlparser.org. Dưới đây là một ví dụ loại bỏ tất cả các thẻ ra khỏi tệp html được tìm thấy tại một URL.
Nó sử dụng org.htmlparser.beans.StringBean .

static public String getUrlContentsAsText(String url) {
    String content = "";
    StringBean stringBean = new StringBean();
    stringBean.setURL(url);
    content = stringBean.getStrings();
    return content;
}

Đây là một cách khác để làm điều đó:

public static String removeHTML(String input) {
    int i = 0;
    String[] str = input.split("");

    String s = "";
    boolean inTag = false;

    for (i = input.indexOf("<"); i < input.indexOf(">"); i++) {
        inTag = true;
    }
    if (!inTag) {
        for (i = 0; i < str.length; i++) {
            s = s + str[i];
        }
    }
    return s;
}

Người ta cũng có thể sử dụng Apache Tika cho mục đích này. Theo mặc định, nó bảo toàn khoảng trắng từ html bị tước, có thể được yêu cầu trong một số trường hợp:

InputStream htmlInputStream = ..
HtmlParser htmlParser = new HtmlParser();
HtmlContentHandler htmlContentHandler = new HtmlContentHandler();
htmlParser.parse(htmlInputStream, htmlContentHandler, new Metadata())
System.out.println(htmlContentHandler.getBodyText().trim())

Một cách để giữ lại thông tin dòng mới với JSoup là đặt trước tất cả các thẻ dòng mới bằng một số chuỗi giả, thực thi JSoup và thay thế chuỗi giả bằng "\ n".

String html = "<p>Line one</p><p>Line two</p>Line three<br/>etc.";
String NEW_LINE_MARK = "NEWLINESTART1234567890NEWLINEEND";
for (String tag: new String[]{"</p>","<br/>","</h1>","</h2>","</h3>","</h4>","</h5>","</h6>","</li>"}) {
    html = html.replace(tag, NEW_LINE_MARK+tag);
}

String text = Jsoup.parse(html).text();

text = text.replace(NEW_LINE_MARK + " ", "\n\n");
text = text.replace(NEW_LINE_MARK, "\n\n");

classeString.replaceAll("\\<(/?[^\\>]+)\\>", "\\ ").replaceAll("\\s+", " ").trim() 

5 xu của tôi:

String[] temp = yourString.split("&");
String tmp = "";
if (temp.length > 1) {

    for (int i = 0; i < temp.length; i++) {
        tmp += temp[i] + "&";
    }
    yourString = tmp.substring(0, tmp.length() - 1);
}

Để có được văn bản html đơn giản định dạng, bạn có thể làm điều đó:

String BR_ESCAPED = "<br/>";
Element el=Jsoup.parse(html).select("body");
el.select("br").append(BR_ESCAPED);
el.select("p").append(BR_ESCAPED+BR_ESCAPED);
el.select("h1").append(BR_ESCAPED+BR_ESCAPED);
el.select("h2").append(BR_ESCAPED+BR_ESCAPED);
el.select("h3").append(BR_ESCAPED+BR_ESCAPED);
el.select("h4").append(BR_ESCAPED+BR_ESCAPED);
el.select("h5").append(BR_ESCAPED+BR_ESCAPED);
String nodeValue=el.text();
nodeValue=nodeValue.replaceAll(BR_ESCAPED, "<br/>");
nodeValue=nodeValue.replaceAll("(\\s*<br[^>]*>){3,}", "<br/><br/>");

Để có được thay đổi văn bản đơn giản định dạng <br/> bởi \ n và thay đổi dòng cuối cùng bằng cách:

nodeValue=nodeValue.replaceAll("(\\s*\n){3,}", "<br/><br/>");

Tôi biết đã được một lúc kể từ khi câu hỏi này được hỏi, nhưng tôi đã tìm thấy một giải pháp khác, đây là những gì làm việc cho tôi:

Pattern REMOVE_TAGS = Pattern.compile("<.+?>");
    Source source= new Source(htmlAsString);
 Matcher m = REMOVE_TAGS.matcher(sourceStep.getTextExtractor().toString());
                        String clearedHtml= m.replaceAll("");

bạn có thể chỉ cần tạo một phương thức với nhiều thay thế ()

String RemoveTag(String html){
   html = html.replaceAll("\\<.*?>","")
   html = html.replaceAll("&nbsp;","");
   html = html.replaceAll("&amp;"."");
   ----------
   ----------
   return html;
}

Sử dụng liên kết này cho hầu hết các thay thế phổ biến bạn cần: http://tunes.org/wiki/html_20special_20char character_20and_20symbols.html

Nó đơn giản nhưng hiệu quả. Trước tiên, tôi sử dụng phương pháp này để loại bỏ rác nhưng không phải là dòng đầu tiên, ví dụ: ) phương pháp để loại bỏ những thứ không cần thiết. Vì điều này mạnh mẽ hơn và bạn có thể xác định chính xác những gì bạn cần trong toàn bộ trang html.

Xóa các thẻ HTML khỏi chuỗi. Ở đâu đó chúng ta cần phân tích một số chuỗi được nhận bởi một số phản hồi như Httpresponse từ máy chủ.

Vì vậy, chúng ta cần phân tích nó.

Ở đây tôi sẽ chỉ cho bạn cách xóa thẻ html khỏi chuỗi.

    // sample text with tags

    string str = "<html><head>sdfkashf sdf</head><body>sdfasdf</body></html>";



    // regex which match tags

    System.Text.RegularExpressions.Regex rx = new System.Text.RegularExpressions.Regex("<[^>]*>");



    // replace all matches with empty strin

    str = rx.Replace(str, "");



    //now str contains string without html tags