Как изменить автопоиск на hh

В базе hh.ru свыше 39 млн резюме, на поиск подходящих уходит много времени. Вот несколько способов ускорить поиск.

1. Уточнять запрос

Из базы резюме вы получите то, что искали в поисковой строке. В 17% случаев пользователи оставляют строку пустой, поэтому видят все резюме. Еще 36% запросов содержат всего одно слово, из-за чего поиск также может выдавать нерелевантные результаты.

Эффективнее вводить в поиск полное название вакансии. Искать «менеджера по продажам», а не просто «менеджера».

2. Добавлять фильтры

Фильтры по зарплате и опыту работы сейчас устанавливают меньше 13% работодателей. Для поиска кандидата из другого города нужно поставить фильтр с названием города.

Фильтр по профобласти используют 14% пользователей, но нужно иметь в виду, что он помогает не всегда. Дело в том, что многие кандидаты ошибаются, выбирая профобласть во время подготовки резюме.

3. Задавать правила и область поиска в дополнительной строке

По умолчанию поиск ищет в резюме все слова, которые пользователь ввёл в строку. В дополнительных условиях можно уточнить параметры поиска: «все слова», «любое из слов», «точная фраза» или «не встречаются».

Можно ограничить область поиска по резюме: «везде», «в названии резюме», «в образовании», «в ключевых навыках», «в опыте работы», «в компаниях и отраслях», «в должностях» или «в обязанностях».

Для поиска по опыту работы можно выбрать, за какой период. Функция «добавить условие» уточняет поиск по дополнительным строкам. Это необходимо, когда слова по логике находятся в разных местах. Система найдет резюме, соответствующие условиям из всех поисковых строк.

4. Настроить сортировку и показы

Около 50% приглашений от работодателей приходят кандидатам, которые обновили резюме три дня назад или меньше. Около 90% — тем, кто обновил резюме за последние две недели.

Не все кандидаты знают, что во время поиска работы резюме важно часто обновлять, даже если не меняется его содержание. Хорошие специалисты часто даже не задумываются об этом, потому что редко меняют работу.

«Синие воротнички» в среднем находят новую работу за неделю. Среднее время поиска в других областях иногда занимает месяцы. Часть кандидатов неспешно ищет работу мечты годами.

Поэтому не стоит соревноваться за одних и тех же кандидатов, которые обновили резюме только что. Нужно использовать весь потенциал базы резюме — нужный сотрудник может оказаться среди тех, кто в последний раз обновлял свое резюме довольно давно.

В зависимости приоритетов нужно настроить выдачу через опцию «Вид результата». В результаты поиска можно выводить поля из резюме: «Время изменения», «Фото», «Последнее место работы», «Названия компаний, в которых работали» и так далее.

5. Добавьте тонкие настройки

В тонких настройках есть всё, чего нет в фильтрах или настройках поиска. Например, можно искать резюме по параметрам:

Тонкие настройки текущего запроса настраиваются через опцию «Изменить запрос». Новые параметры вносятся через параметр «Расширенный поиск». Там же можно настроить количество выданных резюме — не двадцать, а, например, сто.

6. Использовать язык поисковых запросов

Слов в поиске бывает недостаточно, иногда лучше придумать несколько словосочетаний, объединенных сложной логикой поиска.

OR означает ИЛИ, AND — И, NOT — НЕ, слова в кавычках — то, что эти слова в резюме должны стоять рядом, восклицательный знак и кавычки — точное словосочетание. Скобки позволяют задать последовательность проверки условий более явно: действия внутри скобок выполняются раньше, чем действия вне.

7. Сохранить запросы и настроить автоматический запуск

Чтобы не тратить много времени на детальный поисковый запрос для одноразового использования, можно скопировать и сохранить ссылку и каждый раз переходить по ней снова.

Но проще выбрать опцию «Следить за новыми резюме по этому запросу». Тогда каждую ночь система автоматически будет повторять запрос и присылать релевантные резюме, которые она ещё не показывала. Управлять автопоисками можно через опцию «кандидаты → автопоиск».

Следуя инструкции из примеров, получится такой результат:

Совет: заглянуть в раздел «Подходящие резюме»

После создания вакансии система помогает найти подходящих кандидатов автоматически на основе параметров из резюме: должность, опыт работы, график и тип занятости, регион и профобласть.

Поиск умеет распознавать информацию из описания вакансии. Найти выборку «Подходящие резюме» можно в личном кабинете или на странице вакансии. В этом разделе есть актуальный срез по вакансии, благодаря которому, возможно, не придётся искать кого-то вручную.

HeadHunter использует машинное обучение и искусственный интеллект и помогает соискателям найти работу. Рекомендуем просматривать отклики на вакансии, скорее всего, нужный кандидат уже откликнулся.

Мы стремимся к тому, чтобы пользователям не приходилось настраивать фильтры и добавлять надстройки. В будущем поиск будет выдавать всех подходящих кандидатов при слове «менеджер». Мы уже запустили первую версию поиска по резюме, основанную на машинном обучении, и продолжаем дорабатывать технологию.

 H1. hh.ru личный кабинет: вход, регистрация, возможности

 HH.ru — рекрутинговая интернет-платформа, объединяющая работодателей и потенциальных сотрудников. Пользователи могут бесплатно размещать резюме, объявления о поиске работы, пользоваться дополнительными услугами. Личный кабинет системы позволяет получить быстрый отклик на резюме, размещённую вакансию. Для доступа к полному функционалу сервиса необходимо зарегистрироваться.

Регистрация

 Чтобы пользователь не был обременён ненужными функциями, разработчики hh.ru-личного кабинета предлагают два типа аккаунта: для работодателей, для соискателей. Соответственно процедура регистрации будет незначительно отличаться, требовать введения разных данных.

Регистрация соискателя

 Зарегистрироваться на HH, как соискатель можно, используя следующий алгоритм:

 В верхней строке на главной странице выбрать пункт «Соискателям».

 Далее, нажать кнопку «Создать резюме», расположенную справа.

На следующем этапе заполните электронную форму, введя:

• Имя;
• Фамилию;
• Действующий адрес электронной почты, номер мобильного телефона;
• Капчу;
• Нажать «Регистрация»

 Необходимо указывать реальные данные, так как они будут использоваться для контактов с потенциальными работодателями.

  На указанный адрес электронной почты или номер мобильного телефона придёт сообщение, где будет содержаться ссылка или сервисный код, необходимые для подтверждения профиля.

Чтобы ускорить процедуру, можно использовать аккаунт в социальной сети. В таком случае данные, необходимые для регистрации, будут взяты из личных данных на персональной странице Фейсбука, Вконтакте, Одноклассников, других ресурсов.

 После регистрации пользователь попадает на страницу «Моё резюме», которая является первым этапом при поиске работы.

Регистрация работодателя

 Личный кабинет работодателя позволяет публиковать вакансии, просматривать резюме, подбирать персонал. Для регистрации необходимо:

На главной странице выбрать статус «Работодателям».

Далее, нажать кнопку «Разместить вакансию».

 На следующем этапе заполните электронную форму, указав:

• Имя, фамилию контактного лица;
• Номер мобильного телефона;
• Адрес электронной почты;
• Название компании;
• Регион расположения головного офиса, регионального отделения, которому требуется персонал;
• Нажмите «Зарегистрироваться»

 Через несколько минут на адрес электронной почты поступит письмо со ссылкой, которую нужно нажать для завершения регистрации. После этого станет доступен вход в личный кабинет.

Альтернативный путь регистрации

Доступ к форме регистрации в личном кабинете HH.ru возможен через кнопку «Войти», расположенную на главной странице сайта.

Пользователь попадёт на форму входа, где снизу, под надписью «Регистрация» будет расположено две кнопки: «Соискателям», «Работодателям». Нажав на одну из них, в зависимости от статуса, клиент попадёт на электронную форму, которую необходимо заполнить, чтобы в дальнейшем осуществлять вход в личный кабинет.

Авторизация в системе

 Чтобы сделать вход в личный кабинет предельно простым, разработчики платформы предлагают два способа авторизации:

• Используя логин и пароль;
• При помощи аккаунтов в социальных сетях: Google, Одноклассники, Вконтакте, Фейсбук, LInkedin, сервисах Mail.ru, Доктор на работе. Если пользователь во время регистрации не привязал учётную запись к анкете на HH.ru, ему придётся подтвердить запрос, введя сервисный код, который придёт на адрес электронной почты.

Авторизация работодателя

 Сотрудники отдела кадров, хед-хантеры, другие уполномоченные представители компаний, зарегистрированных на сайте hh.ru, могут выполнить вход в личный кабинет, воспользовавшись следующей инструкцией:

В строке браузера ввести: https://hh.ru/employer.

Далее, нажать зелёную кнопку «Войти».

В появившейся форме ввести адрес электронной почты, указанный при регистрации, пароль, нажать «Вход в личный кабинет».

 Также в форме можно выбрать аккаунт в социальной сети, привязанный к учётной записи рекрутингового сайта. Если данные введены верно, пользователь попадёт на главную страницу личного кабинета.

Восстановление пароля

 Если пользователь не может войти в систему, он может сбросить пароль. Процедура одинакова как для соискателей, так и для работодателей. Для этого достаточно:

На главной странице нажать кнопку «Войти».

В форме «Вход в личный кабинет» выбрать «Получить пароль».

На странице система попросит указать номер мобильного телефона, адрес электронной почты, указанные при регистрации. Чтобы задать пароль, необходимо перейти по ссылке, указанной в письме.

Воспользоваться восстановлением пароля следует и в случае, когда он не был указан во время регистрации. Это позволит избежать постоянного запроса сервисного авторизационного кода на e-mail, адрес мобильного телефона.

Возможности системы

 Интерфейс, набор опций, доступных в личном кабинете зависит от типа пользователя. После входа клиент попадает на главную страницу с удобным навигационным меню.

Создание вакансии

 Для привлечения потенциальных кандидатов на рабочее место, работодатель должен создать заявку с чётко сформулированными требованиями к претендентам. Такой способ позволяет сократить время поиска, отбор людей, лучше всего подходящих для занятия должности. С целью унификации, на сайте HH.ru разработана анкета, состоящая из нескольких вопросов. Она расположена в главном меню личного кабинета в разделе «Вакансии». Для формирования запроса необходимо:

Выбрать «Разместить вакансию».

Указав основные критерии:

• Название профессии, которое можно выбрать из списка;
• Выберите специализацию;
• Основные обязанности, требования к соискателю.

 Внимание! Согласно закону РФ № 1032-1запрещается дискриминация соискателей по полу, возрасту, религиозным убеждениям, национальности, что стоит учитывать при заполнении формы.

 Далее указываются:

• Ключевые навыки, список которых формируется путём нажатия пиктограммы «+»;
• Предлагаемая зарплата;
• Частота вид выплаты;
• Требуемый опыт работы;
• Работодатель может отметить указывать или скрывать свои контактные данные. При сокрытии номера телефона, адреса электронной почты общение с претендентами будет происходить в личном кабинете HH.ru.

 В последнем блоке указывается:

• Тип занятости;
• График работы;
• Другие данные о предлагаемой вакансии.

 После заполнения анкеты представитель работодателя может посмотреть, как будет выглядеть анкета на сайте после публикации. Если все данные указаны верно, остаётся перейти по кнопке «Продолжить».

 На финальном этапе система предложит выбрать тип публикации с указанием стоимости. Пользователь может выбрать один из вариантов: «Стандарт», «Стандарт плюс», « Премиум». Каждый тип публикации имеет свои преимущества.

 После выбора платных услуг пользователь попадёт на страницу оплаты, где необходимо определить тип платежа. Если транзакция прошла успешно, вакансия публикуется в базе данных. Использование личного кабинета позволяет не только искать кандидатов, но и в автоматическом режиме формировать списки подходящих кандидатов, что упрощает подготовку, проведение очного собеседования.

Бесплатная публикация вакансий

 Ещё недавно портал hh.ru предлагал новым пользователям протестировать возможности сайта, разместив бесплатно анкеты по трём вакансиям. На данном этапе акция приостановлена, чтобы опубликовать запрос, придётся заплатить за услуги сервиса.

Поиск работы

  Сервис HH.ru помогает найти вакансию по всей территории Российской Федерации, а также в странах СНГ. Функциональные возможности личного кабинета позволяют установить фильтры, отсеяв ненужные критерии. Также доступна опция автоматического поиска, когда пользователь будет получать уведомления о вновь добавленных вариантах, соответствующих резюме соискателя.

Чтоб ознакомиться с базой данных системы, необходимо на главной странице, в строке поиска ввести название профессии, должность, название потенциального работодателя.

После ввода первых букв система предложит несколько вариантов, что позволит наиболее точно выполнить поиск. Выберите подходящий, нажмите «Найти».

На следующей странице появятся результаты поиска. Здесь также можно отсортировать объявления по нескольким критериям: дате публикации, списком, с отображением на карте, профессиональной области, опыту работы, типу занятости, ввести дополнительные параметры, которые сократят список потенциальных вакансий.

 В центре расположены вакансии, соответствующие пользовательскому фильтру. Если какая-либо из вакансий заинтересовала, её можно добавить в избранное, нажать кнопку «Откликнуться». Вакансии, которые не соответствуют запросам можно скрыть, нажав «Не показывать».

Расширенный поиск

 Если воспользоваться расширенным поиском, можно сразу получить предельно лаконичный список вакансий, сократив время подбора вакансии.

Чтобы перейти в электронную форму поиска, необходимо на главной странице личного кабинета в строке ввода нажать пиктограмму поиска.

Форма состоит из нескольких основных блоков. В первом предлагается ввести:

• ключевые слова запроса (допускается ввод ограничений по названию должности, вакансии, описанию);
• профессиональную область;
• отрасль компании;
• регион, город;
• уровень желаемого дохода.

Во втором блоке соискатель отвечает на несколько вопросов, выбирая наиболее подходящий ответ из предложенных вариантов. Среди фильтров:

• требуемый опыт работы;
• тип занятости;
• график работы;
• настройка результатов поиска;
• сортировка по отмеченным критериям;
• диапазон публикаций на сайте;
• количество объявлений на странице.

Для расширенного поиска остаётся нажать кнопку «Найти». Для формирования запроса достаточно заполнить только часть формы.

Автопоиск работы

 Для подключения автоматического поиска вакансии (когда обо всех обновлениях в базе данных пользователю будут приходить уведомления) достаточно выполнить несколько действий:

Нажать кнопку «Автопоиски», расположенную на главной странице личного кабинета. В открывшемся меню можно подписаться на рассылку, удалить неактуальные вакансии, отсортировать активные подписки по нескольким критериям.

 Также можно подключить уведомление о результатах автопоиска, которые будут приходить в социальные сети, на мессенджеры.

Для активации автопоиска:

 Сформулируйте новый запрос на странице «Поиска».  Нажмите кнопку «Найти».  На открывшейся странице проскрольте выведенные результаты до второй строчки. Под ней будет расположен блок с надписью «Получайте новые вакансии по этому запросу. Здесь можно выбрать, куда будут приходить уведомления: на электронную почту или в один из популярных мессенджеров.

Чтобы получить подборку вакансий с новыми критериями:

 В «Автопоиске вакансий» нажмите на количество актуальных предложений по работе кликните «Найти». Последний этап — в пункте «Получайте новые вакансии под данному запросу поставьте галочку возле пункта «Получать напоминания».

Моё резюме

 Один из основополагающих разделов для соискателя в личном документе. Чтобы привлечь внимание рекламодателя, необходимо детально и грамотно заполнить профиль. В разделе собраны все важные инструменты для настройки и управления анкетой:

 Создать. Можно опубликовать сразу несколько резюме, что позволит вести поиск необходимой вакансии одновременно по нескольким направлениям.

 Выделить. Платная услуга, которая поможет привлечь внимание хедхантеров к вашей персоне.

 Автообновление. Профиль пользователя будет автоматически подниматься на верх страницы в списке «Новые соискатели».

 Статус. Показывается текущее состояние резюме (скрыто/опубликовано);

 Статистика. Статистические выкладки по рабочему аккаунту.

 Подходящие вакансии. Список объявлений, соответствующих параметрам, указанным в резюме.

Создание и редактирование резюме

 Грамотное резюме с чётким описанием профессиональных качеств навыков — важное преимущество в общении с работодателем перед конкурентами. Чтобы анкета соответствовала требованиям, была лаконичной, не содержала ненужных данных, на сайте HH разработан раздел, помогающий создать резюме тем, кто с этим никогда не сталкивался.

Соискателю достаточно заполнить готовый шаблон, введя данные в поля с указанием:

• должности;
• стажа работы;
• желаемой заработной платы;
• другой информации.

 Соискатель вправе составить несколько анкет, что расширит поиск вакансии на несколько категорий.

Если у пользователя есть резюме в электронном виде, он может загрузить файл, через специальную форму.

 Когда резюме заинтересует потенциального работодателя, он отправит приглашение на собеседование, которое попадёт в раздел «Отклики и приглашения». В разделе также отображается информация о количестве просмотров анкеты.

Добавление фотографии

 Интерфейс рекрутингового портала позволяет загружать, удаль фотографии, добавлять к ним комментарии. В разделе «Фото к резюме» пользователь может добавить до 8 фотографий, каждая должна быть размером до 6 Мб.

 Также добавить фотоматериалы можно в категории «Портфолио». Для демонстрации материалов соискателям/работодателям можно выгрузить на сервер до 20 снимком.

 Согласно законодательству Российской Федерации запрещено демонстрировать фотографии со сценами насилия, эротического характера и другие.

 Если в личном кабинете нет фото, для их загрузки необходимо:

Нажать пиктограмму в верхней части экрана.

Из всплывающего меню выбрать пункт «Изображения».

Далее нажать кнопку «Загрузить» возле требуемого раздела.

Когда необходимо сменить, обновить фотографии, следует нажать «Сменить фото».

Скрытие резюме от всех работодателей

Когда пользователю не нужно, он может удалить анкету из поиска, скрыв её от работодателей. Таким образом, он не будет получать новые отклики с вакансиями. Сделать это можно следующим способом:

• войти на HH.ru;
• В правом верхнем углу личного кабинета навести курсор на фото профиля;
• Во всплывающем меню выбрать «Настройки профиля».
• Далее, перейти во вкладку «Личные данные», где указана информация, которая заполнялась при регистрации в системе.
• Справа будет расположен блок «Мой статус на сайте».
• В нём необходимо отметить пункт «Я не ищу работу», нажать «Сохранить».

 После активации функции также будет отключен режим автопоиска вакансии.

 Пользовательское соглашение HH.ru допускает удаление персональной страницы пользователя вместе со всеми личными данными. Чтобы управлять учётной записью, необходимо перейти в «Моё резюме». В правом верхнем углу страницы следует выбрать пиктограмму в виде мусорной корзины.

Можно обеспечить полную конфиденциальность данных в системе, сохранив резюме для будущего поиска работы. Для этого в настройках видимости необходимо сменить статус на «Не видно никому» или «Доступ только по ссылке».

Платные услуги

 Помимо бесплатного использования сайта, пользователям доступны платные услуги, упрощающие поиск сотрудника, заветной вакансии. Подключение дополнительных сервисов обеспечивает преимущество перед другими соискателями, автоматизирует процесс составления документов, другие рутинные действия. В итоге пользователь экономит время, получая дополнительный эффект.

Для работодателей

 Платные сервисы HH.ru помогут быстрее закрыть вакансию, выбрав лучшего специалиста, соответствующего заданным критериям. Привлечь внимание соискателей поможет брендирование страницы, а публикация вакансий из шаблонов, выборка резюме, оценка талантов из личного кабинета, упростят использование сайта, повысят эффективность отдела кадров. Стоимость услуг вполне лояльная, дифференцируется в зависимости от региона размещения вакансии. Допускается подключение дополнительных сервисов от дней до одного года.

Для соискателей

 Информация о дополнительных услугах размещена в разделе «Платные услуги». Соискатель, оформивший платную подписку, получает спец. возможности, выделяющие его на фоне конкурентов. Зайдя в личный кабинет, можно подключить:

• Профориентация. Система предлагает оценить таланты, способности пользователя, при необходимости получить консультацию профильного специалиста.
• Готовое резюме. Специалисты по HR составят резюме в соответствии с современными требованиями работодателей.
• Яркое резюме. Профиль будет выделяться в результатах поиска, привлечёт внимание работодателя, получит больше просмотров, откликов.
• Автообновление профиля. Автоматизация процесса обновления резюме, что увеличит число просмотров.
• Хочу у вас работать. Услуга позволяет отправить резюме в компанию, даже когда она не проводит набор сотрудников. Иногда это позволяет получить работу.
• Рассылка в агентства. В системе зарегистрированы не только прямые работодатели, но и рекрутинговые агентства, которые также способствуют трудоустройству.
• Академия. Выбор курсов, специализированных материалов, методичек, сертификатов для создания убедительного профиля.

Мобильная версия

 Доступ к функционалу системы возможен не только с официального сайта, но и при помощи мобильного приложения, которое доступно для IOS, Android, Huawei. Чтобы обеспечить неперегруженный интерфейс, разработчики предлагают два типа программ:

• Для соискателей по ссылкам: IOS, Android, Huawei;
• Для работодателей по ссылкам: IOS, Android, Huawei.

Чтобы скачать приложение, перейдите по ссылке, нажмите кнопку «Установить».

Интерфейс мобильной версии HH.ru адаптирован под смартфоны, планшеты, при этом пользователь получает доступ ко всем опциям, а также возможность получать push-уведомления на экран устройства.

Горячая линия

 Если у пользователя сайта есть вопросы о работе сервиса, он может обратиться в службу поддержки. Существует как общенациональная (8 800 100-64-27), так и региональные горячие телефонные линии (например, для Москвы +7 495 974-64-27 press@hh.ru).

На сайте присутствует специальный раздел «Помощь», перейти в который можно, нажав соответствующую кнопку внизу главной страницы. Здесь можно выбрать удобный вариант обращения:

• Сообщество поддержки.
• Виртуальный консультант.
• Форма обратной связи.

Также можно написать техническую поддержку, Выбрав «Написать письмо». Перед отправкой необходимо выбрать тему вопроса, отдел компании, кому адресуется обращение (техподдержка, работа с соискателями, маркетинг, продажи, контроль качества).

Больше половины соискателей ничего не ищут, а создают резюме и просто ждут, когда их пригласят на собеседование или хотя бы пришлют подходящую вакансию. Когда мы думали, как для них должен выглядеть сайт по поиску работы, то поняли, что им нужна всего одна кнопка.

Делать такую систему мы начали полтора года назад — решили построить на машинном обучении алгоритм, который сам выбирал бы подходящие пользователю вакансии. Но мы очень быстро поняли: вакансии, похожие на резюме, и вакансии, на которые владельцу резюме хочется откликнуться, — далеко не одно и то же.

В этой статье я опишу, как мы сделали умный поиск — со всеми проблемами, тонкостями и компромиссами, на которые пришлось пойти.

Начали с рекомендательной системы

На hh.ru существуют рассылки с подходящими вакансиями. За них мы и взялись в первую очередь: начали с создания рекомендательной системы, которая будет приносить соискателям подходящие вакансии сама.

Чтобы разобраться в вопросе, мы сделали логирование того, какие вакансии показываются пользователям и что пользователи делают с ними дальше. Разработали систему a/b-тестов, инфраструктуру для того, чтобы с помощью машинного обучения прогнозировать вероятность отклика для пары «резюме/вакансия».

В production добавили расчёт статических признаков при индексации и последовательное применение к вакансиям для резюме нескольких фильтрующих моделей с увеличивающейся ресурсоёмкостью, а потом и модели для финального ранжирования.

Система стала приносить нам около 1,2 миллиона дополнительных откликов в месяц, а это примерно 120 тысяч приглашённых на собеседование и 20 тысяч нанятых. Отобранные рекомендательной системой вакансии приходят по почте, показываются в блоке «Рекомендуем лично вам» на главной hh.ru и в подходящих вакансиях для резюме.

Но даже сравнительно небольшое улучшение в поиске выгоднее большого в рекомендательной системе. Поэтому следующим шагом стало применение машинного обучения в поиске.

Поиск по пустому запросу

Мы начали с анализа поисковых запросов. Оказалось, что в 35% запросов пользователи, у которых есть резюме, оставляют поисковую строку пустой. Если считать и анонимные запросы, то количество пустых поисковых запросов достигает 50%.

Для случаев, когда у пользователя есть резюме, мы решили применить рекомендательную систему: заменить ранг по текстовому соответствию на ранг от рекомендательной системы. Это не требовало больших изменений и получилось сделать довольно быстро.

Использование ранга от рекомендательной системы дало несколько тысяч дополнительных откликов в сутки. Но эффект был меньше ожидаемого. Так как пользователи просматривают в среднем только первые полторы страницы выдачи, то в больших городах изменения касались, по сути, только премиальных вакансий. Система показывала вверху подходящие «Премиумы», а потом неподходящие, даже если были более подходящие вакансии типа «Стандарт», «Стандарт+» и бесплатные.

Поэтому мы решили попробовать сделать так, чтобы вакансии разделялись на две группы: сначала шли «Премиумы», «Стандарт+» и «Стандарт», и бесплатные, для которых прогнозируемая вероятность отклика больше определённого значения, а потом в таком же порядке все остальные.

Так как нам обязательно было нужно, чтобы текущие вакансии для наших клиентов-работодателей не стали работать хуже, то мы очень тщательно подошли к этим изменениям, даже эксперимент на 5% подкрепили расчётами и обоснованиями. В результате мы сделали эксперимент и увидели прирост откликов для всех типов вакансий.

Производительность системы

До того, как применять модели, нужно посчитать по резюме и по вакансии признаки, а потом — парные для их сочетания. В рекомендательной системе, нагрузка на которую была не столь высока, статические признаки для вакансий уже считались при их индексации и клались в специальный индекс, а резюме и парные считались в момент обработки запроса.

Так как мы понимали, что при включении поиска по пустому запросу нагрузка на поисковую систему вырастет примерно в 6 раз, нам потребовалось кешировать признаки для резюме. Сначала мы попробовали считать признаки для резюме и класть их в Cassandra. Но добиться нужной производительности от неё не получилось. Поэтому всё решилось таблицей в PostgreSQL.

Что пришлось добавить, чтобы добиться от системы нужной производительности:

1. Пересчёт кеша при изменении признаков. Для пользователей, которые не обновляли резюме и не заходили на сайт больше двух лет, кеш не считается, а рассылка рекомендуемых вакансий идёт по текстовому соответствию. Если вам приходят так себе подходящие вакансии, дело может быть в этом: нужно просто обновить резюме.
2. Мы заметили, что если каждый сервер с базовым поиском будет продолжать заниматься индексацией всех объектов для индексов, которые у него есть (вакансий, резюме, компаний) по отдельности, то заказанных серверов нам не хватит. Поэтому мы переделали систему индексации вакансий и резюме с «каждый базовый сам себе мастер» на «главный мастер — запасной мастер — базовые поиски, забирающие сегменты индексов», где индексацией занимаются только мастера, с оптимизацией и последовательным перекачиванием всей базы каждую ночь (по московскому времени), чтобы уменьшить объём индексов.
3. Сделали failfast — быстрый ответ http 500 на базовых поисках, если при обработке запроса возникла ошибка. С машинным обучением время ответа в некоторых случаях сильно увеличивается, и вместо накаливания таких запросов в очереди базовый поиск выдаёт среднему метапоиску быстрый ответ http 500, после чего средний метапоиск успевает сделать повторный запрос и в большинстве случаев выдать пользователю результаты. После этого мы сделали speculative retry: если от базового поиска нет ответа более чем 2/3 таймаута, то средний метапоиск заранее обращается к другому базовому поиску.

Упрощённо, с точки зрения компонентов и потоков данных между ними, рекомендательно-поисковая система устроена так.

Потоки данных в системе:

• красными стрелками, (1) – (15) — контур ответа на поисковый запрос, запускается автоматически при каждом поисковом запросе;
• синими стрелками, (16) – (24) — контур индексации, запускается автоматически при изменении вакансий, резюме, компаний;
• зелёными стрелками, (25) – (33) — контур машинного обучения, запускается вручную при каждом изменении моделей (изменения в лингвистике, векторизации, признаках, целевых функциях, моделях, просто повторное обучение моделей по более актуальным данным);
• фиолетовыми стрелками (34) – (36) — контур расчёта метрик в A/B-тестах и бизнес-метрик (запускается автоматически, раз в сутки).

В процессе нам потребовалось добавить в кластер около 10 серверов, более мощных, чем те, которые там были до сих пор. Нужно было рационально использовать их мощности. Увеличилась вероятность того, что какой-то из серверов будет недоступен. Поэтому мы переделали балансировку на meta с простого, безусловного round-robin, так, чтобы она учитывала время отклика и количество неответов и отправляла больше запросов на те серверы, где их меньше.

Кроме использования новых серверов, это также дало возможность переживать внезапный выход из строя 20% кластера без видимых для пользователей эффектов.

Упрощённо, с точки зрения слоёв архитектуры и экземпляров компонентов в них, система устроена так:

Описанная выше балансировка работает между средними метапоисками (meta) и базовыми поисками (basesearch).

Одновременно с этим мы, не переставая, дорабатывали рекомендательную систему. Включили признаки по текстовым взаимодействиям, грейдированную целевую функцию, признаки по «сырым» svd-векторам по текстам, метапризнаки по линейной регрессии над tf/idf-векторами. Было и ещё одно улучшение: мы повторили выгрузку, очистку и объединение исходных данных для машинного обучения из логов и базы и сделали так, что её можно было запустить одной командой.

Поиск по непустому запросу: машинное обучение

Почти одновременно мы начали делать поиск по непустому запросу.

Сначала мы попробовали применять к вакансиям со словами из поискового запроса, которые выдаёт Lucene, фильтры и ранжирование от рекомендательной системы. Это не дало статистически значимых улучшений. Поэтому мы сделали специальную выгрузку «запрос — резюме — вакансия — действие» и научили две модели:

1. линейную: используется для того, чтобы быстро и с малой ресурсоёмкостью отделять подходящие вакансии от неподходящих и грубо ранжировать неподходящие;
2. XGBoost: используется, чтобы более точно ранжировать подходящие.

Мы повторно использовали признаки из рекомендательной системы: статические (вычисляемые до выполнения запроса), текстовые, числовые и категориальные, а также динамические, которые считаются при обработке запроса. Добавили к обычным признакам признаки, сравнивающие тексты с учётом текстовых взаимодействий.

Схематически работу машинного обучения можно изобразить так:

При расчёте рекомендованных вакансий и обработке поисковых запросов выполняется только зелёная часть, при изменении моделей (изменениях в лингвистике, векторизации, признаках, целевых функциях, моделях, просто повторном обучении моделей по более актуальным данным) — и зелёная, и синяя.

Так как признаков много и код для их расчёта при обучении моделей и при обработке запросов нужно было добавлять в разные места, это занимало долгое время и приводило к ошибкам. Поэтому мы решили сделать для них framework, feature group. Сделать этот framework удобно получилось не с первого раза, это даже немного увеличило сроки проекта.

Мы сделали измерение качества моделей, выбрав локальные метрики ndcg и map, на все объёмы, @10, @20, с помощью kfold по пользователям и time-based-валидации. И действительно, если без time-based-валидации увеличение сложности моделей (например, количества деревьев) показывало улучшение локальных метрик, то с ним стало видно, что при этом происходит переобучение (overfitting), что позволило подобрать нам разумные гиперпараметры.

Сначала мы попробовали учить линейную модель для прогнозирования вероятности отклика для отдельных сочетаний «запрос — резюме — вакансия», но оказалось, что результат в a/b-тестах лучше, когда линейная модель сравнивает вероятности для двух вакансий. В такой конфигурации некоторые эксперименты уже давали статистически значимые положительные результаты. Но всё равно меньше ожидаемого.

Мы добавили отдельные пороги для подходящих обычных вакансий, подходящих рекламных вакансий ClickMe, для расчёта ранжирования xgboost моделью, а также для количества деревьев из ансамбля, которые нужно считать в production. Мы понимали, что на проверку всех вариантов не хватит времени, поэтому взяли наиболее высокочастотные запросы, их переформулировки, и для соискателей с типичным резюме по соответствующим профессиям проверили качество выдачи с разными настройками, разметив вакансии.

Чтобы разметить, какие вакансии для них хорошо подходят, какие средне, а какие не очень, пришлось довольно глубоко изучить специфику профессий. Времени оставалось совсем мало, поэтому выкатили на большинство пользователей настройки, которые при разметке показали лучше всего, и ещё несколько вариантов на 5%, оставив без машинного обучения только контрольный сплит.

Оказалось, что размечали не зря, вариант, включенный на большинство пользователей, действительно показал себя лучше всего!

Новый интерфейс и реклама

Пользователи обычно не очень хорошо замечают изменения в ранжировании — чтобы сделать заметный запуск, нужно изменить интерфейс. В этих изменениях сильно проявляется отрицательный эффект новизны, улучшения должны быть очень сильными, чтобы его победить. Например, нужно сделать первый экран гораздо более полезным. Мы сделали новый графический дизайн, в котором место сверху по горизонтали и справа по вертикали не занимала реклама.

К рекламе можно относиться по-разному, но она даёт HeadHunter существенную часть прибыли. Чтобы меньше делиться этой прибылью с другими рекламными сетями, HeadHunter сделал свою сеть — ClickMe. Рекламу, которая в ней есть, можно разделить на рекламу вакансий и невакансий. В новом дизайне с помощью тех же технологий и моделей, которые используются в поисковой и рекомендательной системе, мы стали показывать вместо верхнего блока рекламы несколько подходящих рекламируемых вакансий.

Изменения в дизайне мы делали очень небольшими частями, чтобы запускать эксперименты и вовремя понять, если что-то, что мы делаем, вызывает отрицательный эффект.

В заключение

Мы всё ещё измеряем эффект от запуска умного поиска, но видно, что в первую неделю после запуска успешность поисковых сессий соискателей достигла исторического максимума. Это был один из самых быстрых и спокойных проектов по запуску систем такого класса — по крайней мере, в моём опыте работы. Во многом благодаря самой лучшей команде.

К сожалению, нельзя сделать поисковую систему раз и навсегда так, чтобы она отлично искала то, что постоянно меняется, а сама была совершенно неизменной. Поэтому мы продолжаем улучшать поиск на HeadHunter, чтобы пользователям становилось лучше. Кроме того, в HeadHunter есть ещё очень много областей, в которых будет полезно применить ML, поисковые технологии, а также метрики и a/b-тесты.

Если умеете в поисковые технологии, машинное обучение и работать руками — присоединяйтесь. Мы нанимаем, смотрите наши вакансии.