Protocol error page navigate target closed

Как видно из приведенного ниже примера кода, я использую Puppeteer с кластером воркеров в Node для выполнения нескольких запросов снимков экрана веб-сайтов по заданному URL-адресу:

const cluster = require('cluster');
const express = require('express');
const bodyParser = require('body-parser');
const puppeteer = require('puppeteer');

async function getScreenshot(domain) {
    let screenshot;
    const browser = await puppeteer.launch({ args: ['--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage'] });
    const page = await browser.newPage();

    try {
        await page.goto('http://' + domain + '/', { timeout: 60000, waitUntil: 'networkidle2' });
    } catch (error) {
        try {
            await page.goto('http://' + domain + '/', { timeout: 120000, waitUntil: 'networkidle2' });
            screenshot = await page.screenshot({ type: 'png', encoding: 'base64' });
        } catch (error) {
            console.error('Connecting to: ' + domain + ' failed due to: ' + error);
        }

    await page.close();
    await browser.close();

    return screenshot;
}

if (cluster.isMaster) {
    const numOfWorkers = require('os').cpus().length;
    for (let worker = 0; worker < numOfWorkers; worker++) {
        cluster.fork();
    }

    cluster.on('exit', function (worker, code, signal) {
        console.debug('Worker ' + worker.process.pid + ' died with code: ' + code + ', and signal: ' + signal);
        Cluster.fork();
    });

    cluster.on('message', function (handler, msg) {
        console.debug('Worker: ' + handler.process.pid + ' has finished working on ' + msg.domain + '. Exiting...');
        if (Cluster.workers[handler.id]) {
            Cluster.workers[handler.id].kill('SIGTERM');
        }
    });
} else {
    const app = express();
    app.use(bodyParser.json());
    app.listen(80, function() {
        console.debug('Worker ' + process.pid + ' is listening to incoming messages');
    });

    app.post('/screenshot', (req, res) => {
        const domain = req.body.domain;

        getScreenshot(domain)
            .then((screenshot) =>
                try {
                    process.send({ domain: domain });
                } catch (error) {
                    console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
                }

                res.status(200).json({ screenshot: screenshot });
            })
            .catch((error) => {
                try {
                    process.send({ domain: domain });
                } catch (error) {
                    console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
                }

                res.status(500).json({ error: error });
            });
    });
}

Некоторое объяснение:

1. Каждый раз, когда поступает запрос, воркер обрабатывает его и в конце убивает себя.
2. Каждый рабочий создает новый экземпляр браузера с одной страницей, и если для загрузки страницы потребовалось более 60 секунд, он попытается перезагрузить ее (на той же странице, потому что, возможно, некоторые ресурсы уже были загружены) с таймаутом 120 секунд.
3. После завершения и страница, и браузер будут закрыты.

Моя проблема в том, что в некоторых законных доменах возникают ошибки, которые я не могу объяснить:

Error: Protocol error (Page.navigate): Target closed.

Error: Protocol error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

Я читал о какой-то проблеме с git (которую я сейчас не могу найти), что это может произойти, когда страница перенаправляется и добавляет в начале ‘www’, но я надеюсь, что это неверно … Что-то мне не хватает?

Что означает «Цель закрыта»

Когда вы запускаете браузер через puppeteer.launch, он запускает браузер и подключается к нему. Оттуда любая функция, которую вы выполняете в открытом браузере (например, page.goto), будет отправляться через Протокол Chrome DevTools в браузер. В данном контексте цель означает вкладку.

Исключение Target closed выдается, когда вы пытаетесь запустить функцию, но цель (вкладка) уже закрыта.

Подобные сообщения об ошибках

Сообщение об ошибке было недавно изменено, чтобы дать более значимую информацию. Теперь он дает следующее сообщение:

Ошибка: ошибка протокола (Target.activateTarget): сеанс закрыт. Скорее всего страницу закрыли.

Почему это происходит

Это могло произойти по нескольким причинам.

• Вы использовали уже закрытый ресурс

  Скорее всего, вы видите это сообщение, потому что вы закрыли вкладку / браузер и все еще пытаетесь использовать ресурс. Приведу простой пример:

  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  await browser.close();
  await page.goto('http://www.google.com');
  

  В этом случае браузер был закрыт, и после этого был вызван page.goto, что привело к сообщению об ошибке. В большинстве случаев это не так очевидно. Возможно, обработчик ошибок уже закрыл страницу во время задачи очистки, а ваш скрипт все еще сканирует.

• В браузере произошел сбой или не удалось инициализировать

  Я также испытываю это каждые несколько сотен запросов. Также существует проблема по этому поводу в репозитории кукловодов. Кажется, это так, когда вы используете много памяти или мощности процессора. Может у вас много браузеров порождают? В этих случаях браузер может аварийно завершить работу или отключиться.

  Я не нашел «серебряной пули» решения этой проблемы. Но вы можете проверить библиотеку puppeteer-cluster (отказ от ответственности: я автор) который обрабатывает такие случаи ошибок и позволяет вам повторно вводить URL-адрес, когда возникает ошибка. Он также может управлять пулом экземпляров браузера и упростить ваш код.

У меня возникала одна и та же проблема каждый раз, когда я пытался запустить свой сценарий кукольника *. выше не помогло мне решить эту проблему.

Я заставил его работать, удалив и переустановив пакет кукловода:

npm remove puppeteer
npm i puppeteer

* Я столкнулся с этой проблемой только при установке параметра headless на ‘false’

На мой взгляд, удаление '--single-process' из args устранило проблему.

puppeteerOptions: {
    headless: true,
    args: [
        '--disable-gpu',
        '--disable-dev-shm-usage',
        '--disable-setuid-sandbox',
        '--no-first-run',
        '--no-sandbox',
        '--no-zygote',
        '--deterministic-fetch',
        '--disable-features=IsolateOrigins',
        '--disable-site-isolation-trials',
        // '--single-process',
    ],
}

В 2021 году я получаю очень похожую следующую ошибку Error: Error pdf creationError: Protocol error (Target.setDiscoverTargets): Target closed., я решил ее, играя с разными аргументами, поэтому, если на вашем производственном сервере есть флаг pipe:true в объекте puppeteer.launch, это приведет к ошибкам .

Также флаг --disable-dev-shm-usage поможет

Приведенное ниже решение работает для меня:

const browser = await puppeteer.launch({
  headless: true,
  // pipe: true, <-- delete this property
  args: [
    '--no-sandbox',
    '--disable-dev-shm-usage', // <-- add this one
    ],
});

Проверьте свой файл jest-puppeteer.config.js. Я сделал ошибку ниже

module.exports = {
    launch: {
        headless: false,
        browserContext: "default",
    },
};

И после исправления, как показано ниже

module.exports = {
    launch: {
        headless: false
    },
    browserContext: "default",
};

Все работало отлично !!!

После нескольких часов разочарований я понял, что это происходит, когда он переходит на новую страницу, и мне нужно использовать await page.waitForNavigation(), прежде чем я что-либо сделаю, и после того, как я нажму кнопку или выполню любое действие, которое вызовет перенаправление.