Input conversion failed due to input error bytes 0x98 0xd0 0xb4 0xd0

I am looking to scrap a Chinese website using PHP and CURL. Earlier I had an issue with the compressed results and SO had helped me to sort it out.
Now I’m facing a trouble while parsing the contents through PHP — DOMDocument.
The error is as follows,

Warning: DOMDocument::loadHTML(): input conversion failed due to input error, bytes 0xE3 0x80 0x90 0xE8 in /var/www/html/ ..

Even though warning this is preventing from getting further results.

My code is as given below:

$agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0';
$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL,$url); 
curl_setopt($curl, CURLOPT_HTTPHEADER, array('text/html; charset=gb2312')); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($curl, CURLOPT_ENCODING, "");  // handling all compressions 
curl_setopt($curl, CURLOPT_USERAGENT, $agent);
curl_setopt($curl, CURLOPT_TIMEOUT, 1000);
$html = curl_exec($curl) or die("error: ".curl_error($curl));
curl_close($curl);
$htmlParsed = mb_convert_encoding($result,'utf-8','gb2312');

$doc = new DOMDocument();
$doc->loadHTML($htmlParsed);

$xpath = new DOMXpath($doc);

$elements = $xpath->query('//div[@class="test"]//a/@href');

if (!is_null($elements)) {
  foreach ($elements as $element) {
    echo "<br/>[". $element->nodeName. "]";

    $nodes = $element->childNodes;
    foreach ($nodes as $node) {
      echo $node->nodeValue. "n";
    }
  }
}

I found the content type in my target website as ,

<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />

So I tried converting result to utf-8.

Since the input conversion fails at ‘DOMDocument::loadHTML()’ line of the code ,I can’t parse the web page to get the results.
I am currently stuck at this point and any help or suggestions will be highly appreciated. Thanx in advance.

(Earlier I used to work with simple HTML DOM parser,which was pretty simple.But later after reading the cons in SO regarding its usage.I planned to switch to PHP’s native DOM Parser )

О неочевидных ошибках функции loadXML() – PHP

Функция loadXML() в языке РНР производит загрузка XML из строки – так сказано в мануалах по PHP. Она возвращает TRUE в случае успешного завершения или FALSE в случае возникновения ошибки. Если вызвана статически, возвращает объект класса DOMDocument или FALSE в случае возникновения ошибки.

Какие могут быть у нее ошибки?

Мануал сообщает лишь о некоторых видах ошибок:

Из комментариев в мануалу можно прочитать еще о возможных проблемах с функцией loadXML():

И, в общем-то, всё. Там, однако, НЕ указан еще один важнейший класс ошибок, которые могут быть допущены при работе с loadXML():

Надо сказать, что это – и не мудрено, что не указано. Дело в том, что такая ошибка – достаточно нетипичная, редкая и потому – очень трудно ее отловить (скажем, типичные автоматизированные тесты, скорее всего, не выявят ее). И тем она – коварнее. Но, увы, именно она может «почему-то» вызвать капитальный сбой в работе сайта.

Ниже мы рассмотрим подробно два вида ошибок: ввода некорректного XML и несоответствие кодировок.

1. Некорректный XML

Виды некорректного XML могут быть подразделены на два основных:

Формат html-тегов может быть неверным, к примеру, если не закрыт тот или иной тег; или если тег сам по себе написан неверно. Вот типичные примеры неверных тегов, исходя из стандарта XML:

(этот тег – самозакрывающийся и должен быть написан так:
)

(присутствует пробел там, где его быть не должно)

(присутствуют лишние пробелы)

HTML-сущности имеют два формата написания:

Следует заметить, что и то, и другое описание имеет характерные признаки: начинается с символа & (амперсанд) и оканчивается ; (точка с запятой). Между ними могут быть либо латинские буквы, либо знак # и цифры. Однако, далеко НЕ ВСЕ буквы и цифры допустимы. В частности, существуют некорректные (недопустимые) html-сущности. Например, сущность ©f; — недопустима (в отличие от © ). Точно также и с цифрами – отнюдь не любое их сочетание является допустимым (корректным).

Так вот, если на вход функции loadxml() подать строку, содержащую некорректные теги или некорректную html-сущность, будет сгенерировано предупреждение, при этом результатом этой функции будет, как уже говорилось, FALSE. Т.е. создание DOM для такой строки не произойдет – со всеми вытекающими последствиями.

Например, хрестоматийным некорректным XML-кодом является символ одиночного амперсанда & . Вместо этого следует использовать & . Т.е. сам по себе амперсанд допустим в XML-коде только в составе ДОПУСТИМЫХ html-сущностей. Иными словами, если Вы решили передать во входную строку функции loadxml() , к примеру, программный код вида

то необходимо превратить в корректные html-сущности амперсанды, которые, по крайней мере, не являются началом тех или иных html-сущностей. Т.е. этот код перед передачей функции loadxml() нужно будет преобразовать следующим образом:

Увы. Да, длинновато получится, но зато – будет работать без проблем в качестве аргумента этой функции.

Ну, с некорректным XML-кодом, вроде бы, всё ясно. Переходим ко второму виду ошибок, пока еще НЕ описанных в мануалах и иных руководствах.

2. Несоответствие кодировок

Посмотрим типичный пример применения функции loadxml() :

Источник

Input conversion failed due to input error bytes 0x98 0xd0 0xb4 0xd0

alligator

Дата 20.8.2014, 21:23 (ссылка) | (нет голосов) Загрузка .

Опытный Профиль Группа: Участник Сообщений: 730 Регистрация: 28.1.2004 Репутация: 1 Всего: 1 Всем доброго времени суток! получаю через curl данные по ссылке http://www.gaztransbank.ru/For_CBRF/Deposits.xml simplexml вывавливает кучу ошибок, не могу найти где проблема ?? пробывал копировать текст в файл, из файла нормально работает. Код Warning: SimpleXMLElement::__construct(): input conversion failed due to input error, bytes 0x98 0xD0 0xBD 0xD1 in /var/www/portal.mikronika-energo.ru/htdocs/test/ssl/action.php on line 166 Warning: SimpleXMLElement::__construct(): Entity: line 1: parser error : switching encoding: encoder error in /var/www/portal.mikronika-energo.ru/htdocs/test/ssl/action.php on line 166 Warning: SimpleXMLElement::__construct(): in test.php on line 166 Warning: SimpleXMLElement::__construct(): ^ in test.php on line 166 Warning: SimpleXMLElement::__construct(): Entity: line 1: parser error : Blank needed here in test.php on line 166 Warning: SimpleXMLElement::__construct(): in test.php Warning: SimpleXMLElement::__construct(): ^ test.php Warning: SimpleXMLElement::__construct(): Entity: line 1: parser error : parsing XML declaration: ‘?>’

Aliance

Дата 21.8.2014, 12:50 (ссылка) | (нет голосов) Загрузка .

I ♥ ‘http://www.gaztransbank.ru/For_CBRF/Deposits.xml’, CURLOPT_HTTPHEADER=>array(‘Content-Type: text/xml’), CURLOPT_HTTPGET=>true, CURLOPT_NOBODY=>false, CURLOPT_RETURNTRANSFER=>true, CURLOPT_FOLLOWLOCATION=>true, CURLOPT_MAXREDIRS=>5, CURLOPT_SSL_VERIFYPEER =>0, CURLOPT_SSL_VERIFYHOST =>0, CURLOPT_CONNECTTIMEOUT => 30, CURLOPT_TIMEOUT => 30 ); $ch = curl_init(); curl_setopt_array($ch, $options); $xml = curl_exec($ch); $status_code = curl_getinfo($ch,CURLINFO_HTTP_CODE); echo $xml; $xml_data = new SimpleXMLElement($xml); curl_close($ch); ?>

Aliance	Дата 22.8.2014, 08:18 (ссылка) | (нет голосов) Загрузка .
I ♥ $xml = str_replace(«windows-1251», «utf-8», $xml);

alligator

Дата 22.8.2014, 10:14 (ссылка) | (нет голосов) Загрузка .

Опытный Профиль Группа: Участник Сообщений: 730 Регистрация: 28.1.2004 Репутация: 1 Всего: 1 Цитата(Aliance @ 22.8.2014, 09:18) SimpleXMLElement плохо работает не с utf, пока что более изящное решение, чем замена кодировки не подскажу: Код $xml = str_replace(«windows-1251», «utf-8», $xml); Код echo mb_detect_encoding($r, «Windows-1251, UTF-8″).» «; Везде UTF-8 и simplexml нормально отрабатывает на них хотя в коде encoding=windows-1251 как тогда определить правильную кодировку если сервера отдают в utf-8 а по факту где как. PHP редакторы собираются и обсуждаются здесь Электронные книги по PHP, документацию можно найти здесь Интерпретатор PHP, полную документацию можно скачать на PHP.NET Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода. Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ Действия модераторов можно обсудить здесь Темы «ищу скрипт», «подскажите скрипт» и т.п. будут переноситься в форум «Web-технологии» Темы с именами: «Срочно», «помогите», «не знаю как делать» будут УДАЛЯТЬСЯ Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, [email protected] , skyboy, SamDark, MoLeX, awers. 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) 0 Пользователей: « Предыдущая тема | PHP: Общие вопросы | Следующая тема » [ Время генерации скрипта: 0.1095 ] [ Использовано запросов: 21 ] [ GZIP включён ] Источник Adblock detector

I am looking to scrap a Chinese website using PHP and CURL. Earlier I had an issue with the compressed results and SO had helped me to sort it out.
Now I’m facing a trouble while parsing the contents through PHP — DOMDocument.
The error is as follows,

Warning: DOMDocument::loadHTML(): input conversion failed due to input error, bytes 0xE3 0x80 0x90 0xE8 in /var/www/html/ ..

Even though warning this is preventing from getting further results.

My code is as given below:

$agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0';
$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL,$url); 
curl_setopt($curl, CURLOPT_HTTPHEADER, array('text/html; charset=gb2312')); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($curl, CURLOPT_ENCODING, "");  // handling all compressions 
curl_setopt($curl, CURLOPT_USERAGENT, $agent);
curl_setopt($curl, CURLOPT_TIMEOUT, 1000);
$html = curl_exec($curl) or die("error: ".curl_error($curl));
curl_close($curl);
$htmlParsed = mb_convert_encoding($result,'utf-8','gb2312');

$doc = new DOMDocument();
$doc->loadHTML($htmlParsed);

$xpath = new DOMXpath($doc);

$elements = $xpath->query('//div[@class="test"]//a/@href');

if (!is_null($elements)) {
  foreach ($elements as $element) {
    echo "<br/>[". $element->nodeName. "]";

    $nodes = $element->childNodes;
    foreach ($nodes as $node) {
      echo $node->nodeValue. "n";
    }
  }
}

I found the content type in my target website as ,

<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />

So I tried converting result to utf-8.

Since the input conversion fails at ‘DOMDocument::loadHTML()’ line of the code ,I can’t parse the web page to get the results.
I am currently stuck at this point and any help or suggestions will be highly appreciated. Thanx in advance.

(Earlier I used to work with simple HTML DOM parser,which was pretty simple.But later after reading the cons in SO regarding its usage.I planned to switch to PHP’s native DOM Parser )