PHP DOMDocument loadHTML không mã hóa UTF-8 chính xác

Tôi đang cố phân tích một số HTML bằng DOMDocument, nhưng khi tôi làm vậy, tôi đột nhiên mất mã hóa (ít nhất đó là cách nó xuất hiện với tôi).

$profile = "<div><p>various japanese characters</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile); 

$divs = $dom->getElementsByTagName('div');

foreach ($divs as $div) {
    echo $dom->saveHTML($div);
}

Kết quả của mã này là tôi nhận được một loạt các ký tự không phải là tiếng Nhật. Tuy nhiên, nếu tôi làm:

echo $profile;

Nó hiển thị chính xác. Tôi đã thử lưuHTML và saveXML và không hiển thị chính xác. Tôi đang sử dụng PHP 5.3.

Những gì tôi thấy:

ã¤ãªãã¤å·ã·ã«ã´ã«ã¦ãã¢ã¤ã«ã©ã³ãç³»ã®å®¶åº­ã«ã9人åå¼ã®5çªç®ã¨ãã¦çã¾ãããå½¼ãå«ãã¦4人ã俳åªã«ãªã£ããç¶è¦ªã¯æ¨æã®ã»ã¼ã«ã¹ãã³ã§ãæ¯è¦ªã¯éµä¾¿å±ã®å®¢å®¤ä¿ã ã£ããé«æ ¡æ代ã¯ã­ã£ãã£ã®ã¢ã«ãã¤ãã«å¤ãã¿ãæè²è³éãåããªããã«ããªãã¯ç³»ã®é«æ ¡ã¸é²å­¦ã

Những gì cần được hiển thị:

イリノイ州シカゴにて、アイルランド系の家庭に、9人兄弟の5番目として生まれる。彼を含めて4人が俳優になった。父親は木材のセールスマンで、母親は郵便局の客室係だった。高校時代はキャディのアルバイトに勤しみ、教育資金を受けながらカトリック系の高校へ進学

EDIT: Tôi đã đơn giản hóa mã thành năm dòng để bạn có thể tự kiểm tra nó.

$profile = "<div lang=ja><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
echo $dom->saveHTML();
echo $profile;

Đây là html được trả về:

<div lang="ja"><p>イリノイ州シカゴã«ã¦ã€ã‚¢ã‚¤ãƒ«ãƒ©ãƒ³ãƒ‰ç³»ã®å®¶åº­ã«ã€</p></div>
<div lang="ja"><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>

DOMDocument::loadHTMLsẽ coi chuỗi của bạn là trong ISO-8859-1 trừ khi bạn nói khác. Điều này dẫn đến các chuỗi UTF-8 bị hiểu sai.

Nếu chuỗi của bạn không chứa khai báo mã hóa XML, bạn có thể thêm một chuỗi để khiến chuỗi được coi là UTF-8:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

Nếu bạn không thể biết liệu chuỗi có chứa một khai báo như vậy chưa, thì có một cách giải quyết trong SmartDOMDocument sẽ giúp bạn:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();

Đây không phải là một cách giải quyết tuyệt vời, nhưng vì không phải tất cả các ký tự đều có thể được thể hiện trong ISO-8859-1 (như những thanh katana này), đây là cách thay thế an toàn nhất.

Vấn đề là với saveHTML()và saveXML(), cả hai đều không hoạt động chính xác trong Unix. Chúng không lưu chính xác các ký tự UTF-8 khi được sử dụng trong Unix, nhưng chúng hoạt động trong Windows.

Cách giải quyết rất đơn giản:

Nếu bạn thử mặc định, bạn sẽ nhận được lỗi bạn mô tả

$str = $dom->saveHTML(); // saves incorrectly

Tất cả bạn phải làm là lưu như sau:

$str = $dom->saveHTML($dom->documentElement); // saves correctly

Dòng mã này sẽ giúp các ký tự UTF-8 của bạn được lưu chính xác. Sử dụng cách giải quyết tương tự nếu bạn đang sử dụng saveXML().

Cập nhật

Theo đề xuất của " Jack M " trong phần bình luận bên dưới và được xác minh bởi " Pamela " và " Marco Aurélio Deleu ", biến thể sau có thể hoạt động trong trường hợp của bạn:

$str = utf8_decode($dom->saveHTML($dom->documentElement));

Ghi chú

1. Các ký tự tiếng Anh không gây ra bất kỳ vấn đề nào khi bạn sử dụng saveHTML()mà không có tham số (vì các ký tự tiếng Anh được lưu dưới dạng các ký tự byte đơn trong UTF-8)

2. Vấn đề xảy ra khi bạn có các ký tự nhiều byte (như tiếng Trung, tiếng Nga, tiếng Ả Rập, tiếng Do Thái, ... vv.)

Tôi khuyên bạn nên đọc bài viết này: http://coding.smashingmagazine.com/2012/06/06/all-about-unicode-utf8-character-sets/ . Bạn sẽ hiểu UTF-8 hoạt động như thế nào và tại sao bạn gặp vấn đề này. Nó sẽ đưa bạn khoảng 30 phút, nhưng đó là thời gian chi tiêu tốt.

Đảm bảo tệp nguồn thực được lưu dưới dạng UTF-8 (Bạn thậm chí có thể muốn dùng thử các ký tự BOM không được đề xuất với UTF-8 để đảm bảo).

Ngoài ra trong trường hợp HTML, hãy đảm bảo bạn đã khai báo mã hóa chính xác bằng metacác thẻ:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

Nếu đó là một CMS (như bạn đã gắn thẻ câu hỏi của mình với Joomla), bạn có thể cần phải định cấu hình các cài đặt phù hợp cho mã hóa.

Bạn có thể tiền tố một dòng thực thi utf-8mã hóa, như thế này:

@$doc->loadHTML('<?xml version="1.0" encoding="UTF-8"?>' . "\n" . $profile);

Và sau đó bạn có thể tiếp tục với mã bạn đã có, như:

$doc->saveXML()

Điều này khiến tôi mất một lúc để tìm ra nhưng đây là câu trả lời của tôi.

Trước khi sử dụng DomDocument, tôi sẽ sử dụng file_get_contents để truy xuất các url và sau đó xử lý chúng bằng các hàm chuỗi. Có lẽ không phải là cách tốt nhất nhưng nhanh chóng. Sau khi bị thuyết phục, Dom cũng nhanh như vậy, lần đầu tiên tôi đã thử như sau:

$dom = new DomDocument('1.0', 'UTF-8');
if ($dom->loadHTMLFile($url) == false) { // read the url
    // error message
}
else {
    // process
}

Điều này đã thất bại một cách ngoạn mục trong việc bảo tồn mã hóa UTF-8 mặc dù các thẻ meta phù hợp, cài đặt php và tất cả các biện pháp khắc phục còn lại được cung cấp ở đây và các nơi khác. Đây là những gì hoạt động:

$dom = new DomDocument('1.0', 'UTF-8');
$str = file_get_contents($url);
if ($dom->loadHTML(mb_convert_encoding($str, 'HTML-ENTITIES', 'UTF-8')) == false) {
}

vv Bây giờ mọi thứ đều đúng với thế giới. Hi vọng điêu nay co ich.

Bạn phải cung cấp cho DOMDocument một phiên bản HTML của bạn với một tiêu đề có ý nghĩa. Giống như HTML5.

$profile ='<?xml version="1.0" encoding="'.$_encoding.'"?>'. $html;

có lẽ là một ý tưởng tốt để giữ cho html của bạn hợp lệ nhất có thể, vì vậy bạn không gặp vấn đề khi bạn bắt đầu truy vấn ... xung quanh :-) và tránh xa htmlentities!!!! Đó là một sự lãng phí cần thiết và lãng phí tài nguyên. giữ mã của bạn điên rồ !!!!

Tôi đang sử dụng php 7.3.8 trên manjaro và tôi đang làm việc với nội dung tiếng Ba Tư. Điều này đã giải quyết vấn đề của tôi:

$html = 'hi</b><p>سلام<div>の家庭に、9 ☆';
$doc = new DOMDocument('1.0', 'UTF-8');
$doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
print $doc->saveHTML($doc->documentElement) . PHP_EOL . PHP_EOL;

Công trình tìm cho tôi:

$dom = new \DOMDocument;
$dom->loadHTML(utf8_decode($html));
...
return  utf8_encode( $dom->saveHTML());

Sử dụng nó cho kết quả chính xác

$dom = new DOMDocument();
$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset=utf-8">' . $profile);
echo $dom->saveHTML();
echo $profile;

Hoạt động này

mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8');

Đó là cách xấu, bởi vì các biểu tượng đặc biệt như & lt; , & gt; có thể ở cấu hình $ và chúng sẽ không chuyển đổi hai lần sau mb_convert_encoding. Đó là lỗ hổng cho XSS và HTML không chính xác.

Điều duy nhất làm việc cho tôi là câu trả lời được chấp nhận của

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

TUY NHIÊN

Điều này mang lại những vấn đề mới, về việc có <?xml encoding="utf-8" ?>đầu ra của tài liệu.

Giải pháp cho tôi là sau đó phải làm

foreach ($doc->childNodes as $xx) {
    if ($xx instanceof \DOMProcessingInstruction) {
        $xx->parentNode->removeChild($xx);
    }
}

Một số giải pháp cho tôi biết để xóa xmltiêu đề, tôi phải thực hiện

$dom->saveXML($dom->documentElement);

Điều này không làm việc cho tôi như đối với một tài liệu một phần (ví dụ: tài liệu có hai <p>thẻ), chỉ một trong những <p>thẻ được trả về.

Vấn đề là khi bạn thêm tham số vào hàm DOMDocument :: saveHTML (), bạn sẽ mất mã hóa. Trong một số trường hợp, bạn sẽ cần tránh sử dụng tham số và sử dụng hàm chuỗi cũ để tìm thứ bạn đang tìm kiếm.

Tôi nghĩ rằng câu trả lời trước có hiệu quả với bạn, nhưng vì cách giải quyết này không hiệu quả với tôi, tôi thêm câu trả lời đó để giúp đỡ người có thể trong trường hợp của tôi.

Cũng có thể mã hóa như dưới đây .... được thu thập từ https://davidwalsh.name/domdocument-utf8-probols

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();