Error tunneling socket could not be established statuscode 502 - Исправление ошибок и поиск оптимальных решений проблем

Hey, I am not really sure, is it a bug report or question about the module or coding in general because I am trying to a bit rework SteamCommunity.prototype.marketSearch implementation. The idea is to switch proxy between each requests for increasing speed.
I experimentally discovered that if request to Steam every 3 second I won’t get 429 error. So with 10 proxy I can request to market every 0.3~ sec.

I have proxy pool, which I can use like this:

let proxies = [];

config.proxies.map(_proxy => {
  proxies.push({ lastUse: Date.now() - 3000, ..._proxy  });
})

const reloadProxy = () => {
  let res = proxies.shift();
  console.log(`http://${res.username}:${res.password}@${res.ip}:${res.port}`);
  if (Date.now() - res.lastUse < 3000) {
    proxies.unshift(res);   
    return reloadProxy();
  } else {
    proxies.push(res);
    return `http://${res.username}:${res.password}@${res.ip}:${res.port}`;
  }
}

So, I wanted to create externed instance of SteamCommunity for scanning market.

const sleep = require('sleep-promise');
const Cheerio = require('cheerio');
const config = require('../../config');
const Request = require('request');
const reloadProxy = require('./reloadProxy');

const SteamCommunity = require('steamcommunity');
let community = new SteamCommunity();

community.marketSearch = function(options, stream) {
  logger.info('Started parsing...')
  var qs = {};

  if(typeof options === 'string') {
    qs.query = options;
  } else {
    qs.query = options.query || '';
    qs.appid = options.appid;
    qs.search_descriptions = options.searchDescriptions ? 1 : 0;

    if(qs.appid) {
      for(var i in options) {
        if(['query', 'appid', 'searchDescriptions'].indexOf(i) != -1) {
          continue;
        }

        // This is a tag
        qs['category_' + qs.appid + '_' + i + '[]'] = 'tag_' + options[i];
      }
    }
  }

  qs.start = 0;
  qs.count = 100;
  qs.sort_column = 'price';
  qs.sort_dir = 'asc';

  var self = this;
  performSearch();

  function performSearch() {
    let USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36";
    let defaults = {  
      proxy: reloadProxy(),
      jar: this._jar,
      timeout: options.timeout || 50000,
      gzip: true,
      headers: {
        'User-Agent': USER_AGENT
      }
    };
  
    self.request = Request.defaults(defaults);
    
    self.httpRequest({
      // uri: 'https://iplogger.org/1oxzx', // here i can change uri to another, and all starts work
      uri: "https://steamcommunity.com/market/search/render/", // but when we requesting to steam, 502 error
      qs: qs,
      headers: {
        "referer": "https://steamcommunity.com/market/search"
      },
      json: true
    }, async function(err, response, body) {
      if (err) {
        if (err.code == 429) {
          logger.error('429 error! Sleeping 5 sec')
          await sleep(5000);
          performSearch();
          return;
        }
        stream.emit('error', err);
        return;
      }

      if(!body.success) {
        // return performSearch() // this is for testing proxy pool working
        stream.emit('error', new Error("Success is not true"));
        return;
      }

      if(!body.results_html) {
        stream.emit('error', new Error("No results_html in response"));
        return;
      }

      var $ = Cheerio.load(body.results_html);
      var $errorMsg = $('.market_listing_table_message');
      if($errorMsg.length > 0) {
        stream.emit('error', new Error($errorMsg.text()));
        return;
      }

      var rows = $('.market_listing_row_link');
      for(var i = 0; i < rows.length; i++) {
        stream.emit('newItem', (new CMarketSearchResult($(rows[i]))).market_hash_name);
      }

      if(body.start + body.pagesize >= body.total_count) {
        stream.emit('end', null);
        return;
      } else {
        console.log(qs.start);
        qs.start += body.pagesize;
        await sleep(3000/proxies.length);
        performSearch(); 
      }
    }, "steamcommunity");
  }
};

function CMarketSearchResult(row) {
  var match = row.attr('href').match(//market/listings/(d+)/([^?/]+)/);

  this.appid = parseInt(match[1], 10);
  this.market_hash_name = decodeURIComponent(match[2]);
  this.image = ((row.find('.market_listing_item_img').attr('src') || "").match(/^https?://[^/]+/economy/image/[^/]+//) || [])[0];
  this.price = parseInt(row.find('.market_listing_their_price .market_table_value span.normal_price').text().replace(/[^d]+/g, ''), 10);
  this.quantity = parseInt(row.find('.market_listing_num_listings_qty').text().replace(/[^d]+/g, ''), 10);
}

module.exports = community;

This is like the same as your implementation, but here I reload proxy each request and use stream to push elements back. So I can use this ljust like this:

const createAllItemStream = async () => {
  const itemsStream = new Readable();
  itemsStream._read = function () {};
  community.marketSearch({
    // query: 'desert', 
    appid: 730
  }, itemsStream);

  return itemsStream;
}

module.exports = async ({ mod }) => {
  if (mod == 'stream')
    return createAllItemStream();
  if (mod == 'silent' || !mod) {
    let count = 0;
    const itemsStream = await createAllItemStream();
    itemsStream.on('error', (err) => {
      throw err;
    });
    itemsStream.on('newItem', async (itemName) => {
      let item = await Item.findOrCreate({ where: { marketHashName: itemName }, defaults: { status: 'new' } });
      if (item[1]) count++;
    })
    itemsStream.on('end', () => {
      logger.info(`${count} new items.`);
      return count;
    });
  }
}

And when I requesting to Steam I get this:

(node:14916) UnhandledPromiseRejectionWarning: Error: tunneling socket could not be established, statusCode=502
    at ClientRequest.onConnect (D:Desktopworkprojectssteam-market-botnode_modulestunnel-agentindex.js:166:19)
    at Object.onceWrapper (events.js:273:13)
    at ClientRequest.emit (events.js:182:13)
    at Socket.socketOnData (_http_client.js:482:11)
    at Socket.emit (events.js:182:13)
    at addChunk (_stream_readable.js:283:12)
    at readableAddChunk (_stream_readable.js:264:11)
    at Socket.Readable.push (_stream_readable.js:219:10)
    at TCP.onStreamRead [as onread] (internal/stream_base_commons.js:94:17)
(node:14916) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function withoutout a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:14916) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will termerminate the Node.js process with a non-zero exit code.

Do you know what does it mean, or how to fix it?

Источник

[Enter steps to reproduce below:]

Atom Version: 1.12.9
Electron Version: 1.3.13
System: Mac OS X 10.12.1
Thrown From: Atom Core

Stack Trace

Uncaught Error: tunneling socket could not be established, statusCode=502

At stream.js:74

Error: tunneling socket could not be established, statusCode=502
    at ClientRequest.onConnect (/Applications/Atom.app/Contents/Resources/app.asar/node_modules/tunnel-agent/index.js:165:19)
    at ClientRequest.g (events.js:286:16)
    at emitThree (events.js:116:13)
    at ClientRequest.emit (events.js:194:7)
    at Socket.socketOnData (_http_client.js:393:11)
    at emitOne (events.js:96:13)
    at Socket.emit (events.js:188:7)
    at readableAddChunk (_stream_readable.js:176:18)
    at Socket.Readable.push (_stream_readable.js:134:10)
    at TCP.onread (net.js:543:20)

Commands

     -4:22.3.0 settings-view:open (atom-text-editor.editor.is-focused)
  2x -3:16 core:confirm (atom-text-editor.editor.mini.is-focused)

Config

{
  "core": {
    "customFileTypes": {
      "source.ini": [
        ".buckconfig",
        ".hgrc",
        ".flowconfig"
      ],
      "source.json": [
        ".arcconfig",
        "BUCK.autodeps"
      ],
      "source.python": [
        "BUCK"
      ]
    },
    "disabledPackages": [
      "tree-view",
      "language-babel"
    ],
    "telemetryConsent": "limited",
    "themes": [
      "atom-dark-ui",
      "one-dark-syntax"
    ]
  }
}

Installed Packages

# User
atom-react-native-autocomplete, v0.0.27 (active)
haskell-grammar, v0.4.0 (active)
highlight-selected, v0.11.2 (active)
language-babel, v2.48.5 (inactive)
language-graphql, v0.8.0 (active)
language-ini, v1.17.0 (active)
language-javascript-jsx, v0.3.7 (active)
language-lua, v0.9.11 (active)
language-ocaml, v1.1.2 (active)
language-swift, v0.5.0 (active)
language-thrift, v1.0.2 (active)
merge-conflicts, v1.4.4 (active)
nuclide, v0.195.0 (active)
nuclide-format-js, v0.0.36 (inactive)
react, v0.16.2 (active)
set-syntax, v0.3.2 (active)
simplified-chinese-menu, v3.5.0 (active)
sort-lines, v0.14.0 (inactive)
tool-bar, v1.0.1 (active)
atom-dark-syntax, v0.27.0 (inactive)
atom-dark-ui, v0.52.0 (active)
atom-light-syntax, v0.28.0 (inactive)
atom-light-ui, v0.45.0 (inactive)
base16-tomorrow-dark-theme, v1.3.0 (inactive)
base16-tomorrow-light-theme, v1.3.0 (inactive)
one-dark-ui, v1.6.2 (inactive)
one-light-ui, v1.6.2 (inactive)
one-dark-syntax, v1.5.0 (active)
one-light-syntax, v1.5.0 (inactive)
solarized-dark-syntax, v1.0.5 (inactive)
solarized-light-syntax, v1.0.5 (inactive)
about, v1.7.0 (active)
archive-view, v0.62.0 (active)
autocomplete-atom-api, v0.10.0 (active)
autocomplete-css, v0.13.1 (active)
autocomplete-html, v0.7.2 (active)
autocomplete-plus, v2.31.4 (active)
autocomplete-snippets, v1.11.0 (active)
autoflow, v0.27.0 (inactive)
autosave, v0.23.1 (active)
background-tips, v0.26.1 (active)
bookmarks, v0.42.0 (active)
bracket-matcher, v0.82.2 (active)
command-palette, v0.39.0 (inactive)
deprecation-cop, v0.54.1 (active)
dev-live-reload, v0.47.0 (active)
encoding-selector, v0.22.0 (active)
exception-reporting, v0.40.0 (active)
find-and-replace, v0.202.2 (inactive)
fuzzy-finder, v1.4.0 (active)
git-diff, v1.1.0 (active)
go-to-line, v0.31.0 (inactive)
grammar-selector, v0.48.2 (active)
image-view, v0.60.0 (active)
incompatible-packages, v0.26.1 (active)
keybinding-resolver, v0.35.0 (active)
line-ending-selector, v0.5.0 (active)
link, v0.31.2 (inactive)
markdown-preview, v0.158.8 (active)
metrics, v1.1.2 (active)
notifications, v0.65.1 (active)
open-on-github, v1.2.1 (inactive)
package-generator, v1.0.1 (inactive)
settings-view, v0.243.1 (active)
snippets, v1.0.4 (active)
spell-check, v0.68.4 (active)
status-bar, v1.4.1 (active)
styleguide, v0.47.2 (active)
symbols-view, v0.113.1 (inactive)
tabs, v0.103.0 (active)
timecop, v0.33.2 (active)
tree-view, v0.210.0 (inactive)
update-package-dependencies, v0.10.0 (active)
welcome, v0.35.1 (active)
whitespace, v0.35.0 (active)
wrap-guide, v0.38.2 (active)
language-c, v0.54.0 (active)
language-clojure, v0.22.1 (active)
language-coffee-script, v0.48.0 (active)
language-csharp, v0.13.0 (active)
language-css, v0.40.1 (active)
language-gfm, v0.88.0 (active)
language-git, v0.15.0 (active)
language-go, v0.43.0 (active)
language-html, v0.47.1 (active)
language-hyperlink, v0.16.1 (active)
language-java, v0.24.0 (active)
language-javascript, v0.122.0 (active)
language-json, v0.18.3 (active)
language-less, v0.29.6 (active)
language-make, v0.22.2 (active)
language-mustache, v0.13.0 (active)
language-objective-c, v0.15.1 (active)
language-perl, v0.37.0 (active)
language-php, v0.37.3 (active)
language-property-list, v0.8.0 (active)
language-python, v0.45.1 (active)
language-ruby, v0.70.2 (active)
language-ruby-on-rails, v0.25.1 (active)
language-sass, v0.57.0 (active)
language-shellscript, v0.23.0 (active)
language-source, v0.9.0 (active)
language-sql, v0.25.0 (active)
language-text, v0.7.1 (active)
language-todo, v0.29.1 (active)
language-toml, v0.18.1 (active)
language-xml, v0.34.12 (active)
language-yaml, v0.27.1 (active)

# Dev
No dev packages

Источник

Ошибка 502 при открытии сайта может появиться неожиданно. В этой статье мы расскажем, что значит код ошибки 502 и что может сделать пользователь и владелец сайта, чтобы её исправить.

Ошибка 502 Bad Gateway: что значит

Файлы любого сайта находятся на физическом сервере. Чтобы их получить и отобразить веб-ресурс на компьютере, браузер делает запрос на сервер. Если он по какой-либо причине не передал файлы, появляется ошибка 500-511.

Ошибка 502 Bad Gateway возникает при неправильной работе прокси-сервера, DNS-сервера и чаще всего сервера, на котором размещён сайт. Проблема может распространяться как на весь ресурс, так и на отдельные страницы. Это зависит от характера проблемы. Существуют разновидности 502 ошибки: Bad Gateway Nginx, Bad Gateway Apache. Об их отличиях мы расскажем ниже. Также эта ошибка может иметь формулировки:

Bad Gateway: Registered endpoint failed to handle the request, Temporary Error (502),
Error 502,
Bad 502 Gateway,
502 Error,
502. That’s an error,
502 Service Temporarily Overloaded,
502 Server Error: The server encountered a temporary error and could not complete your request,
502 – Web server received an invalid response while acting as a gateway or proxy server,
502 Bad Gateway Nginx,
502 Proxy Error,
HTTP 502,
HTTP Error 502 Bad Gateway.

Что значит плохой шлюз: ошибка 502

Причины возникновения ошибки 502 Bad Gateway

Первая и основная причина ― перегрузка сервера. Перегрузка может быть вызвана несколькими проблемами:
Большое количество посетителей одновременно. Веб-ресурс может посещать ограниченное количество посетителей. Сколько человек может посетить сайт зависит от возможностей сервера (размера оперативной памяти) и настроек, которые сделал создатель ресурса. Если по какой-либо причине на сайт зайдёт больше пользователей, чем запланировано, сервис может не справиться и страница выдаст код 502. Такое случается при рекламных акциях и распродажах в интернет-магазинах.
Атака хакеров или DDoS-атака. Эта проблема связана с предыдущей причиной перегрузки. Хакер имитирует большой наплыв пользователей, из-за чего сервер выходит из строя. Такие атаки могут быть использованы для снижения продаж.
Плохая оптимизация сайта. Настройки ресурса сделаны так, что маленькое количество посетителей генерирует много запросов. В этом случае нужно оптимизировать работу сервера с пользовательскими запросами.
Второй причиной возникновения кода 502 могут явиться ошибки РНР. Если для расширения функционала сайта в панель управления были добавлены некорректно настроенные плагины, они могут выдавать проблемы в своей работе. Вместе с ними ошибку покажет и сайт целиком. Также если код сайта написан неправильно, запросы могут давать отрицательный результат.
Ошибка браузера. Проблема может быть на стороне пользователя, если у него установлены расширения, которые нарушают соединение с сервером сайта.

Чем отличается ошибка 502 Bad Gateway Nginx

Между браузером и сервером может стоять веб-сервер. Он используется для снижения нагрузки на сервер, аутентификации пользователей и многого другого. Самые популярные программы для создания веб-сервера ― Nginx и Apache. Так как веб-сервер является посредником между браузером и сервером, то именно он будет оповещать пользователя о проблеме. Поэтому в зависимости от веб-сервера в сообщении вы можете увидеть надпись Bad Gateway Nginx или Bad Gateway Apache. При этом причины возникновения проблемы одинаковы.

Как исправить ошибку 502

Что делать, если вы пользователь

Перезагрузите страницу, если проблема была вызвана наплывом посетителей. Возможно, через некоторое время посетители уйдут со страницы и вы сможете увидеть контент.
Попробуйте зайти на другой веб-ресурс. Если вы можете зайти на другой сайт, значит проблема на стороне владельца ресурса и вы ничего не можете сделать. Вернитесь на страницу позже, когда администратор восстановит доступ.
Проверьте подключение к интернету. Из-за низкой скорости или нестабильности соединения браузер может не получать данные с сервера.
Запустите браузер в режиме «Инкогнито». В режиме «Инкогнито» браузер работает с базовыми настройками. Если вам удалось зайти на веб-ресурс в этом режиме, значит одно из ваших расширений браузера мешает соединению. Это расширение нужно отключить.
Почистите файлы cookies. Если при повторном входе на сайт всё равно отображается ошибка 502, очистите кэш браузера. Возможно, доступ уже восстановлен, но ваш браузер обращается к старой версии страницы из кэша.
Очистите кэш DNS. DNS-кэш — это временная база данных вашего компьютера, которая хранит записи обо всех последних посещениях и попытках посещений веб-сайтов и их IP-адресах. Кэш позволяет ускорить вход на часто посещаемые веб-ресурсы. Если у сайта изменились DNS, а данные из кэша отправляют на старый IP-адрес, в браузере появится код 502. После очистки браузер начнёт обращаться к новому IP-адресу.

Как очистить кэш DNS

В зависимости от вашей операционной системы очистите кэш по одной из инструкций.

Откройте командную строку. Для этого введите в поисковую строку «Командная строка» и выберите появившееся приложение:

Введите команду:

ipconfig /flushdns

Дождитесь сообщения об очистке кэша:

Откройте терминал клавишами Ctrl+Alt+T.
Введите команду:

Для Ubuntu:

sudo service network-manager restart

Для других дистрибутивов:

sudo /etc/init.d/nscd restart

Войдите в терминал. Для этого нажмите клавиши Command + Space. Введите Терминал и нажмите на найденное приложение.
Введите команду:

sudo killall -HUP mDNSResponder

Готово, вы очистили кеш DNS. Попробуйте заново зайти на сайт.

Что делать, если вы владелец сайта

Проверьте количество свободной памяти. Это можно сделать двумя способами.

Способ 1 ― введите команду top в командной строке сервера:

Mem ― вся оперативная память.

Swap ― раздел подкачки.

Посмотрите на строку Mem ― free. Это количество свободного места на сервере. Если там указано маленькое число, ошибка 502 Bad Gateway появляется из-за нехватки памяти. Увеличьте количество оперативной памяти и проблема пропадёт. Также в результатах можно будет увидеть, какую нагрузку на сервер даёт каждый отдельный процесс.

Способ 2 ― введите команду free -m.

Mem ― вся оперативная память.

Swap ― раздел подкачки.

В строке Mem ― free показано свободное место на сервере. Если там маленькое число, увеличьте количество оперативной памяти.

Проверьте логи сервера. Если проблема возникла в момент каких-либо обновлений на сайте, проверьте журнал изменений, чтобы отменить те доработки, которые нарушили функциональность сервера. Также в логах можно увидеть DDos-атаку. Если дело в нехватке памяти, в логах отобразится ошибка OOM (out of memory).

Проверьте плагины в WordPress. Если ваш сайт создан на WordPress, некоторые плагины и темы могут нарушать работу сервера.

1.

Войдите в панель управления WordPress. Если вы пользуетесь услугой REG.Site, войти в панель управления CMS можно прямо из Личного кабинета.
2.

Перейдите во вкладку «Плагины» ― «Установленные».
3.

Нажмите Деактивировать у плагина, который, как вам кажется, повлиял на работу сайта:

Можно сразу отключить все плагины, чтобы убедиться, что один из них влияет на работу сервера. И далее по очереди включайте плагины, пока не найдёте конкретный плагин-виновник.

Проверьте, как работают вспомогательные службы, например MySQL и Memcached. Иногда они могут стать причиной 502 ошибки.

Свяжитесь со службой поддержки своего хостинг-провайдера. Если ничего из вышеперечисленного не помогло, обратитесь к службе поддержки и подробно опишите проблему и действия, которые вы предприняли до обращения. Действуйте по одной из инструкций ниже.

Сайт находится на виртуальном хостинге REG.RU

Если вы столкнулись с единичными случаями возникновения 502 ошибки, можете проигнорировать их.
Если код 502 возникает регулярно, напишите заявку в службу поддержки. В заявке укажите:

Точное московское время наблюдения проблемы.
Название сайта, на котором была замечена проблема.
Если ошибка отображается не сразу, а после определённых действий (добавление изображения, отправка формы с сайта, импорт файлов), подробно опишите порядок действий, по которому мы сможем воспроизвести проблему.
Если для воспроизведения проблемы необходимо авторизоваться в административной части сайта, предоставьте логин и пароль для доступа.

Сайт находится на VPS REG.RU

Чаще всего на VPS используется связка: Nginx + бэкенд-сервер (Apache, PHP-FPM, Gunicorn, NodeJS). Ошибка 502 возникает в случае, если Nginx не может получить ответ от этих сервисов.
Клиенты с VPS сталкиваются с «502 Bad Gateway», когда:

какой-то из сервисов выключен. Перезапустите веб-сервер Apache, PHP-FPM либо другой сервис, с которым работает Nginx;
между Nginx и бэкенд-сервером некорректно настроена связь. Например, Nginx производит обращение к порту 8080, а веб-сервер Apache «слушает» на 8081. В этом случае необходимо скорректировать настройки веб-сервера.

Если вам не удалось самостоятельно устранить ошибку 502, обратитесь в техподдержку. В заявке укажите:

Точное московское время наблюдения проблемы.
Название сайта, на котором была замечена проблема.
Если ошибка отображается не сразу, а после определённых действий (добавление изображения, отправка формы с сайта, импорт файлов), подробно опишите порядок действий, по которому мы сможем воспроизвести проблему.
Если для воспроизведения проблемы необходимо авторизоваться в административной части сайта, предоставьте логин и пароль для доступа.

Источник

Stack Trace

Commands

Config

Installed Packages

Ошибка 502 Bad Gateway: что значит

Причины возникновения ошибки 502 Bad Gateway

Чем отличается ошибка 502 Bad Gateway Nginx

Как исправить ошибку 502

Что делать, если вы пользователь

Что делать, если вы владелец сайта

Читайте также: