Http error fetching url status 403

Google не разрешает использование роботов, вы не можете использовать jsoup для подключения Google.
Вы можете использовать Google Web Search API (Устаревший), но количество запросов, которое вы можете сделать в день, будет ограничено.

Ещё вопросы

• 0MySQL Stored Routine Error
• 1Преобразование списка <string> в IEnumerator <string>
• 1Сборка колоды карт в Java с использованием 2 разных ENUMS
• 0Html SignalR Переполнение чата в окне чата
• 0Как настроить Grafana на экземпляре EC2, используя аутентификацию IAM для экземпляра RDS mysql?
• 1Сокет-сервер без подключения
• 0C ++: полиморфизм
• 1Для разделяемых объектов Autofac требуются разные регистрации для каждого контроллера, но InstancePerApiControllerType не будет работать
• 1Существует ли встроенный метод InputType или другой способ заставить виджет Android EditText отказываться принимать запятые?
• 1Попытка разобрать XML с помощью SAX, но ни один из моих тестов JUnit не работает?
• 1Android: представление списка с миниатюрой
• 1TFS SDK 2013 Получить имена команд в заданном командном проекте
• 0Импорт Geo Point (Lat, Lng) из MySQL в Elasticsearch
• 0Скачать PDF с PHP, не работает в проводнике и сафари
• 0Проблема в сборке выпуска Visual Studio 2012
• 0Проблемы с центрированием меню
• 0Ошибка таблицы вставки конвейера данных AWS с S3 в MySQL
• 1Печать переменных в графическом интерфейсе tkinter
• 0MySQL вставка не вставляя предполагаемое значение
• 1Как сделать бесконечные (бесконечные) узлы в Piccolo2D?
• 1Ошибка с моим генератором паролей грубой силы (Java)
• 0Получение значения братьев и сестер с помощью JavaScript
• 0Как загрузить изображения тоже phpmyadmin ASP.Net
• 0Не можете добавить внешний ключ здесь?
• 0Изменение текста после фотографии с помощью jquery
• 1Есть ли способ узнать, когда данные вставляются и обновляются в базе данных Firebase?
• 0Angularjs выбирает «поддельную» модель обновления
• 0JavaScript innerHTML связывает браузер iOS
• 0jquery .html () VS innerHTML ()
• 1Удалите цвет фокуса по умолчанию из GridLayout и EditBox в Android
• 0ASP.NET Javascript фреймворки теперь
• 1Что эквивалентно конфигурации hdp: в аннотации Spring Boot?
• 0HTML отправка или выбор
• 1JavaScript во внешнем файле выполняется до события onload тега script
• 0Защитить электронную таблицу с помощью PHP API Google Doc
• 1Нерыночная публикация контента
• 0Zend-DB не выполняет замены связывания pdo
• 0Получение контейнера в качестве аргумента шаблона
• 1jsPlumb — отрисовка нескольких соединений с использованием одной конечной точки для источника и цели
• 1Как определить, что MMS полностью загружено в Android?
• 0AngularJS Количество Да / Нет Значения
• 1ImageView в приложении Android, вызывающем сбой
• 0Отображение массива ошибок структуры / класса C ++
• 0загрузка веб-страницы до загрузки веб-страницы
• 1Выбор расширения файла с JFileChooser
• 0Добавить флаг заголовка в YiiMailer
• 1EF6 Дочерние объекты не обновляются в отношениях «многие ко многим»
• 0Создание текстового поля и кнопки с помощью append в jquery (я получаю повторяющийся результат)
• 0Как сделать строку, указывающую на переменную в Less?
• 0Несколько частичных просмотров на AngularJS

Я пытаюсь получить результаты Google, используя следующий код:

Document doc = con.connect("http://www.google.com/search?q=lakshman").timeout(5000).get();

Но у меня такое исключение:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403,URL=http://www.google.com/search?q=lakshman

Ошибка 403 означает, что сервер запрещает доступ, но я могу без проблем загрузить этот URL-адрес в веб-браузере. Почему Jsoup получает ошибку 403?

Вам просто нужно добавить свойство UserAgent в заголовок HTTP следующим образом:

Jsoup.connect(itemUrl)
     .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
     .get()

ответ дан 18 мар ’14, в 02:03

ответ дан 16 дек ’13, 22:12

На самом деле, вы можете избежать ошибки 403, просто добавив пользовательский агент

doc = Jsoup.connect(url).timeout(timeout)
                    .userAgent("Mozilla")

Но я думаю, что это противоречит политике Google.

РЕДАКТИРОВАТЬ: Google ловит роботов быстрее, чем вы думаете. Однако вы можете использовать это как временное решение.

Создан 03 июн.

попробуй это:

Document doc =con.connect("http://www.google.com/search?q=lakshman").ignoreHttpErrors(true).timeout(5000).get();

на случай, если userAgent не сработал, как и у меня.

ответ дан 24 авг.

В некоторых случаях вам нужно установить реферер. В моем случае помогло.

Полный источник здесь

    try{

        String strText = 
                Jsoup
                .connect("http://www.whatismyreferer.com")
                .referrer("http://www.google.com")
                .get()
                .text();

        System.out.println(strText);

    }catch(IOException ioe){
        System.out.println("Exception: " + ioe);
    }

Создан 29 янв.

Заменить заявление

Document doc =con.connect("http://www.google.com/search?q=lakshman").timeout(5000).get();

с заявлением

Document doc=Jsoup.connect("http://www.google.com/search?q=lakshman").userAgent("Chrome").get();

ответ дан 29 апр.