Error loading notebook forbidden яндекс практикум

Всем привет!

Меня зовут Евгений, я являюсь студентом Практикума по профессии «Инженер по тестированию» (тестировщик если просто). Изначально я поступал весной на 36а поток, но из-за определенный проблем был вынужден брать «академы» и видеть абсолютно разные уровни обучения, что предоставляет яндекс, сейчас нахожусь на 40 потоке и очень жалею, что не смог справиться со своими «тараканами» в голове и проблемами, чтобы остаться если не в эталонным (для меня) 36а потоке, то хотя бы в неплохом 38. Речь в моем рассказе пойдет как раз таки про 40 потом, в котором Яндекс уже не смог.

Рано или поздно к нам приходит понимание того, что надо что-то менять в жизни и сидеть на нагретом месте уже не так уютно и это не доставляет никаких эмоций. Плюс многие знакомые, которые уже крутятся в IT или около, советовали попробовать себя в тестировании, что несмотря на перенасыщение рынка специалистами, а особенно выпускниками курсов, работу найти можно, главное понимать, что делать и уметь в софт скилс. Долго я обдумывал это, но после увидел рекламу в почте о курсах яндекса в этом направлении и бесплатную пробную часть, чтобы попробовать себя в самых начальных низах. На самом деле, эта бесплатная часть мне понравилась и я принял решение попробовать, без каких-либо ожиданий о новой работе и, зная себя, о возможном окончании этих курсов.

Начинается все очень умно, вводный вебинар, в котором тебе в очередной раз продают курс, говорят, как все будет круто, какие классные у тебя наставники, куратор, а вот еще и наш выпускник выступит. Сейчас-то я понимаю, насколько тогда, в том потоке все было еще очень как хорошо, в отличие от того, что есть сейчас.

В моей группе наставником была Лена из Лавки, куратором курса был Стас, но после его заменили на Маргариту. Помню, как после первой же недели учебы у меня пропала какая-либо мотивация, поскольку бесплатная и платная часть курса вообще отличались по уровню сразу, но Лена провела ознакомительный вебинар для нашей планеты Марс (весь поток делят на группы — планеты и за каждой планетой закрепляют наставника) и после него я снова вышел супер замотивированым, заряженным каким-то, но тут даже больше настрой самой Лены помог, а не тем, что нам пытались «продавать».

Шло время, были проблемы с работой, проблемы с мотивацией волнообразно то появлялись, то нет, и я после первого проекта сразу ушел на академ, поскольку не смог выполнить задание и получить зачет.

В 38 потоке мне удалось немного больше закрепиться, я сдал первый проект, начал изучать теорию второго, но проект там в миллионы раз сложнее и больше, не понимаю людей, которые успевают сделать его за пару дней. В этот раз с наставником мне также повезло, это была Ульяна, которая на вебинарах без воды объясняла то, что нам надо, за что ей спасибо.

Как и писал ранее, проект оказался непосильным для меня и я попросил еще один академ, меня отправили в поток 40. И тут все пошло не туда. На вебинарах одна вода, полезности в них не так много, пересматривая их ставлю х1.5, чтобы хоть как-то найти нужную информацию, если повезет, что такая вообще будет.

Но самый КАЙФ этого потока это планета Меркурий и ее наставник Дарья. Не могу утверждать, что только моей группе так повезло, но по обсуждению в тг канале потока, который создали сами студенты, таких проблем у других нет.

Объясню для чего нужен наставник. Ты читаешь теорию или делаешь проект и у тебя возникает какой-то вопрос, на который ты уже не можешь найти в гугле или в других каких-то источниках, то ты можешь обратиться к наставнику, который направит тебя на путь поиска ответа. То есть ты не получишь прямой ответ, но он должен тебе подсказать, на что обратить внимание, чтобы попытаться разобраться в своей проблеме. Особенно важно это, когда тебе возвращают твой проект на доработку, и у тебя есть 48 часов на исправление.

Что мы имеем по факту. Дарья за все то время, что я нахожусь в этом потоке была в чате в слаке 2 раза, ответы студенты получают друг от друга, а не от нее. Очень много вопросов в чате висят без ответа, на какие-то можно получить ответ спустя неделю. Кажется, это не то, что ты хочешь видеть от наставника.

Время идет, недовольство в группе возрастает, Дарья появляется через какое-то время и предлагает устроить вебинар, чтоб обсудить все текущие проблемы, дала 2 даты на выбор и снова пропала, за несколько часов до предполагаемого созвона только появилась и сообщила, что все будет. Полагаю, если не я и остальные неравнодушные студенты не начали бы тревожить куратора, то и этого не состоялось бы. Также лично я, да и не только, писал куратору о проблеме, она подтвердила, что в курсе проблемы и передала о ситуации выше, но это не помогло.

Не буду уже цепляться к словам Дарьи на этом вебинаре, когда Дарью просили не пропадать ближайшие дни, так как дедлайн уже на днях, она сказала «тогда на этих выходных будем в турборежиме, договорились ребят» на предложение студента все же помочь перед дедлайном.

Сегодня 4 августа, Дарья объявилась только сегодня после очередной волны недовольства в слаке и тг, никакой помощи на выходных или в последующие дни не было. В чат в слаке уже особо никто ничего не пишет, потому что нет в этом никакого смысла. Ты один со своей проблемой, наставнику не до тебя.

Наставник сделать ничего не может, на очередное мое сообщение с предложением вариантов решения ситуации мне только написала, что снова передала куда-то дальше. Мы снова остаемся со своими проблемами наедине, а яндекс, куратор, наставники с деньгами.

Вывод один. После оплаты вы становитесь неинтересны никому.

PS. Возвращать деньги, переводить в другую группу или как-то еще решать они не хотят и не будут, скорее всего.

Все мы, путешествуя по просторам интернета, натыкаемся на различные ошибки при загрузке сайтов. Одна из них, кстати, достаточно часто встречается – я говорю об ошибке сервера 403 Forbidden Error. Сегодня я рассмотрю причины ее возникновения и способы устранения со стороны владельца сайта и его пользователя.

Что означает ошибка 403 и почему она появляется

Ошибка сервера 403 Forbidden означает ограничение или отсутствие доступа к материалу на странице, которую вы пытаетесь загрузить. Причин ее появления может быть несколько, и вот некоторые из них:

• Формат индексного файла неверен.
• Некорректно выставленные права на папку/файл.
• Файлы были загружены в неправильную папку.

Исправление ошибки сервера 403 Forbidden

Чтобы исправить ошибку сервера 403 Forbidden, обязательно нужен доступ к панели управления вашего хостинга. Все описанные ниже шаги применимы к любой CMS, но примеры будут показаны на основе WordPress.

Проверка индексного файла

Сначала я проверю, правильно ли назван индексный файл. Все символы в его имени должны быть в нижнем регистре. Если хотя бы один символ набран заглавной буквой, возникнет ошибка 403 Forbidden. Но это больше относится к ОС Linux, которой небезразличен регистр.

Еще не стоит забывать, что индексный файл может быть нескольких форматов, в зависимости от конфигураций сайта: index.html, index.htm, или index.php. Кроме того, он должен храниться в папке public_html вашего сайта. Файл может затеряться в другой директории только в том случае, если вы переносили свой сайт.

Любое изменение в папке или файле фиксируется. Чтобы узнать, не стала ли ошибка итогом деятельности злоумышленников, просто проверьте графу «Дата изменения».

Настройка прав доступа

Ошибка 403 Forbidden появляется еще тогда, когда для папки, в которой расположен искомый файл, неправильно установлены права доступа. На все директории должны быть установлены права на владельца. Но есть другие две категории:

• группы пользователей, в числе которых есть и владелец;
• остальные, которые заходят на ваш сайт.

На директории можно устанавливать право на чтение, запись и исполнение.

Так, по умолчанию на все папки должно быть право исполнения для владельца. Изменить их можно через панель управления TimeWeb. Для начала я зайду в раздел «Файловый менеджер», перейду к нужной папке и выделю ее. Далее жму на пункт меню «Файл», «Права доступа».  

Откроется новое окно, где я могу отрегулировать права как для владельца, так и для всех остальных.

Отключение плагинов WordPress

Если даже после всех вышеперечисленных действий ошибка не исчезла, вполне допустимо, что влияние на работу сайта оказано со стороны некоторых плагинов WordPress. Быть может они повреждены или несовместимы с конфигурациями вашего сайта.

Для решения подобной проблемы необходимо просто отключить их. Но сначала надо найти папку с плагинами. Открываю папку своего сайта, перехожу в раздел «wp-content» и нахожу в нем директорию «plugins». Переименовываю папку – выделяю ее, жму на меню «Файл» и выбираю соответствующий пункт. Название можно дать вот такое: «plugins-disable». Данное действие отключит все установленные плагины.

Теперь нужно попробовать вновь загрузить страницу. Если проблема исчезла, значит, какой-то конкретный плагин отвечает за появление ошибки с кодом 403.

Но что делать, если у вас плагин не один, а какой из них влияет на работу сайта – неизвестно? Тогда можно вернуть все как было и провести подобные действия с папками для определенных плагинов. Таким образом, они будут отключаться по отдельности. И при этом каждый раз надо перезагружать страницу и смотреть, как работает сайт. Как только «виновник торжества» найден, следует переустановить его, удалить или найти альтернативу.

Как решить проблему, если вы – пользователь

Выше я рассмотрела способы устранения ошибки 403 Forbidden для владельцев сайта. Теперь же разберу методы исправления в случаях с пользователем.

• Сначала надо убедиться, что проблема заключается именно в вашем устройстве. Внимательно проверьте, правильно ли вы ввели URL сайта. Может, в нем есть лишние символы. Или, наоборот, какие-то символы отсутствуют.
• Попробуйте загрузить страницу с другого устройства. Если на нем все будет нормально, значит, проблема кроется именно в используемом вами девайсе. Если нет – надо перейти к последнему шагу.
• Еще хороший вариант – немного подождать и обновить страницу. Делается это либо кликом по иконке возле адресной строки браузера, либо нажатием на комбинацию Ctrl + F5. Можно и без Ctrl, на ваше усмотрение.
• Если ничего из вышеперечисленного не помогло, надо очистить кэш и cookies. Провести такую процедуру можно через настройки браузера. Для этого необходимо открыть историю просмотров, чтобы через нее перейти к инструменту очистки. Эту же утилиту часто можно найти в настройках, в разделе «Конфиденциальность и безопасность». В новом окне нужно отметить пункты с кэшем и cookies и нажать на кнопку для старта очистки.

• Ошибка 403 Forbidden возникает и тогда, когда пользователь пытается открыть страницу, для доступа к которой сначала надо осуществить вход в систему. Если у вас есть профиль, просто войдите в него и попробуйте вновь загрузить нужную страницу.
• Если вы заходите со смартфона, попробуйте отключить функцию экономии трафика в браузере. Она находится в настройках, в мобильном Google Chrome под нее отведен отдельный раздел. 
• Последний шаг – подождать. Когда ни один способ не помогает, значит, неполадки возникли именно на сайте. Возможно, его владелец уже ищет способы решения проблемы и приступает к их исполнению, но это может занять какое-то время. Пользователям остается только дождаться, когда все работы будут завершены.

Еще одна допустимая причина появления ошибки сервера 403 – доступ к сайту запрещен для определенного региона или страны, в которой вы находитесь. Бывает и такое, что сайт доступен для использования только в одной стране. Если вы используете VPN, попробуйте отключить его и перезагрузите страницу. Вдруг получится все исправить. 

Если ничего из вышеперечисленного не сработало, рекомендуется обратиться к владельцу сайта. Есть вероятность, что никто не знает о возникшей проблеме, и только ваше сообщение может изменить ситуацию. 

Error loading notebook
Bad Request

2014-12-21 04:13:03.203 [NotebookApp] WARNING | Unreadable Notebook: /FunIT experiment.ipynb global name  'NBFormatError' is not defined
WARNING:tornado.access:400 GET /api/notebooks/FunIT%20experiment.ipynb?_=1419153182928 (::1) 3.11ms referer=http://localhost:8888/notebooks/FunIT%20experiment.ipynb

3 ответа

Лучший ответ

ipython --version 
2.3.1

ipython notebook FunIT experiment.ipynb 

pip install virtualenv
mkdir test
cd test
virtualenv venv
source venv/bin/activate

git clone --recursive https://github.com/ipython/ipython.git
cd ipython
pip install -e ".[notebook]" --user

ipython --version
3.0.0-dev

ipython notebook FunIT experiment.ipynb

import pandas as pd
import numpy as np
from pandas.tools.pivot import pivot_table
#from sklearn.metrics import roc_auc_score
import matplotlib.pyplot as plt
%pylab inline
#from sklearn.neighbors.kde import KernelDensity
import seaborn as sns
import scipy.stats as st
sns.set()

pip install jupyter

Jupyter Notebook Error: error loading notebook #10174

Comments

I had an issue opening any of my jupyter notebooks.

An unknown error occurred while loading this notebook. This version can load notebook formats v4 or earlier. See the server log for details.

[E 09:04:29.984 NotebookApp] Unhandled error in API request
Traceback (most recent call last):
File «/opt/packages/anaconda3.4.1.1/lib/python3.5/site-packages/traitlets/traitlets.py», line 501, in get
value = obj._trait_values[self.name]
KeyError: ‘notary’

I have tried the following methods as suggested on similar issues, but none worked.

cd $(jupyter —data-dir) mv nbsignatures.db nbsignatures.db.bak

The text was updated successfully, but these errors were encountered:

Can you check that your notebook and nbformat packages are up to date?

Thanks takluyver. jupyter is version 4.1.0. Not sure how to check nbformat. Sorry, newbie here. A little more context. I’m using the notebook on a company server, I asked around and looks like nobody else had the same issue.

jupyter —version
4.1.0

The easiest way to see the version of all the different bits is to run pip list (or conda list if you installed with conda). In particular, jupyter —version only gives you the version of the jupyter_core package, which may be different from the notebook version you’re using.

This is what I see on the conda tab on the notebook.
nbformat 4.0.1 py35_0
notebook 4.2.1 py35_0

There should be newer versions of both of those if you want to upgrade with conda update notebook nbformat .

My issue was resolved, looks like I accidentally added a c.session value instead of the default value in jupyter_notebook_config.py which was causing the issue. Once I commented out that line the issue is gone. I found this out only when I tried to copy a jupyter notebook file (which couldn’t open but I tried anyway), it gave me an error message indicating some abnormal value of notebooknotary — I should have noticed it’s the same type of error in log file, I just didn’t know where to look for the notebook notary value. Thanks.

I get the same error i.e. An unknown error occurred while loading this notebook. This version can load notebook formats v4 or earlier. See the server log for details.

• I have tried everything that was suggested but still keep getting the same error.

Question: Where I can find this log file?
Thanks

i am getting the same error and i am unable to solve on kubuntu .kindly help.

Same problem here.

I am having the same issue.

Try clearing the hard disk memory! Jupyter creates this error while opening a new or existing notebook, if there is not enough disk space

I had this problem and turns out I just ran out of space. So I deleted a bunch of large files and now I can open all my notebooks again.

I had this issue and it turned out to be the dropbox folder that I was using to save the notebooks. I had forgot that I turned on smart sync and it made the entire folder online only. After changing the smart sync settings to local only, I could open the notebook.

I had this issue and it turned out to be the dropbox folder that I was using to save the notebooks. I had forgot that I turned on smart sync and it made the entire folder online only. After changing the smart sync settings to local only, I could open the notebook.

Just adding comment to that effect : had migrated machine and DB defaulted to smartsync. So i got the dreaded message :

An unknown error occurred while loading this notebook. This version can load notebook formats v4 or earlier. See the server log for details.

OSError: [Errno 5] Input/output error:

Combo of both of those can be caused by files that are not saved locally by Dropbox, hope this gets the answer found on search engine for others.

Источник

Как Яндекс.Практикум бросает своих студентов и не пытается даже помочь

Меня зовут Евгений, я являюсь студентом Практикума по профессии «Инженер по тестированию» (тестировщик если просто). Изначально я поступал весной на 36а поток, но из-за определенный проблем был вынужден брать «академы» и видеть абсолютно разные уровни обучения, что предоставляет яндекс, сейчас нахожусь на 40 потоке и очень жалею, что не смог справиться со своими «тараканами» в голове и проблемами, чтобы остаться если не в эталонным (для меня) 36а потоке, то хотя бы в неплохом 38. Речь в моем рассказе пойдет как раз таки про 40 потом, в котором Яндекс уже не смог.

Рано или поздно к нам приходит понимание того, что надо что-то менять в жизни и сидеть на нагретом месте уже не так уютно и это не доставляет никаких эмоций. Плюс многие знакомые, которые уже крутятся в IT или около, советовали попробовать себя в тестировании, что несмотря на перенасыщение рынка специалистами, а особенно выпускниками курсов, работу найти можно, главное понимать, что делать и уметь в софт скилс. Долго я обдумывал это, но после увидел рекламу в почте о курсах яндекса в этом направлении и бесплатную пробную часть, чтобы попробовать себя в самых начальных низах. На самом деле, эта бесплатная часть мне понравилась и я принял решение попробовать, без каких-либо ожиданий о новой работе и, зная себя, о возможном окончании этих курсов.

Начинается все очень умно, вводный вебинар, в котором тебе в очередной раз продают курс, говорят, как все будет круто, какие классные у тебя наставники, куратор, а вот еще и наш выпускник выступит. Сейчас-то я понимаю, насколько тогда, в том потоке все было еще очень как хорошо, в отличие от того, что есть сейчас.

В моей группе наставником была Лена из Лавки, куратором курса был Стас, но после его заменили на Маргариту. Помню, как после первой же недели учебы у меня пропала какая-либо мотивация, поскольку бесплатная и платная часть курса вообще отличались по уровню сразу, но Лена провела ознакомительный вебинар для нашей планеты Марс (весь поток делят на группы — планеты и за каждой планетой закрепляют наставника) и после него я снова вышел супер замотивированым, заряженным каким-то, но тут даже больше настрой самой Лены помог, а не тем, что нам пытались «продавать».

Шло время, были проблемы с работой, проблемы с мотивацией волнообразно то появлялись, то нет, и я после первого проекта сразу ушел на академ, поскольку не смог выполнить задание и получить зачет.

В 38 потоке мне удалось немного больше закрепиться, я сдал первый проект, начал изучать теорию второго, но проект там в миллионы раз сложнее и больше, не понимаю людей, которые успевают сделать его за пару дней. В этот раз с наставником мне также повезло, это была Ульяна, которая на вебинарах без воды объясняла то, что нам надо, за что ей спасибо.

Как и писал ранее, проект оказался непосильным для меня и я попросил еще один академ, меня отправили в поток 40. И тут все пошло не туда. На вебинарах одна вода, полезности в них не так много, пересматривая их ставлю х1.5, чтобы хоть как-то найти нужную информацию, если повезет, что такая вообще будет.

Но самый КАЙФ этого потока это планета Меркурий и ее наставник Дарья. Не могу утверждать, что только моей группе так повезло, но по обсуждению в тг канале потока, который создали сами студенты, таких проблем у других нет.

Объясню для чего нужен наставник. Ты читаешь теорию или делаешь проект и у тебя возникает какой-то вопрос, на который ты уже не можешь найти в гугле или в других каких-то источниках, то ты можешь обратиться к наставнику, который направит тебя на путь поиска ответа. То есть ты не получишь прямой ответ, но он должен тебе подсказать, на что обратить внимание, чтобы попытаться разобраться в своей проблеме. Особенно важно это, когда тебе возвращают твой проект на доработку, и у тебя есть 48 часов на исправление.

Что мы имеем по факту. Дарья за все то время, что я нахожусь в этом потоке была в чате в слаке 2 раза, ответы студенты получают друг от друга, а не от нее. Очень много вопросов в чате висят без ответа, на какие-то можно получить ответ спустя неделю. Кажется, это не то, что ты хочешь видеть от наставника.

Время идет, недовольство в группе возрастает, Дарья появляется через какое-то время и предлагает устроить вебинар, чтоб обсудить все текущие проблемы, дала 2 даты на выбор и снова пропала, за несколько часов до предполагаемого созвона только появилась и сообщила, что все будет. Полагаю, если не я и остальные неравнодушные студенты не начали бы тревожить куратора, то и этого не состоялось бы. Также лично я, да и не только, писал куратору о проблеме, она подтвердила, что в курсе проблемы и передала о ситуации выше, но это не помогло.

Не буду уже цепляться к словам Дарьи на этом вебинаре, когда Дарью просили не пропадать ближайшие дни, так как дедлайн уже на днях, она сказала «тогда на этих выходных будем в турборежиме, договорились ребят» на предложение студента все же помочь перед дедлайном.

Сегодня 4 августа, Дарья объявилась только сегодня после очередной волны недовольства в слаке и тг, никакой помощи на выходных или в последующие дни не было. В чат в слаке уже особо никто ничего не пишет, потому что нет в этом никакого смысла. Ты один со своей проблемой, наставнику не до тебя.

Наставник сделать ничего не может, на очередное мое сообщение с предложением вариантов решения ситуации мне только написала, что снова передала куда-то дальше. Мы снова остаемся со своими проблемами наедине, а яндекс, куратор, наставники с деньгами.

Вывод один. После оплаты вы становитесь неинтересны никому.

PS. Возвращать деньги, переводить в другую группу или как-то еще решать они не хотят и не будут, скорее всего.

Люди совсем перестали нормально, критично и серьёзно думать.
Какие-то планеты, кейсы, смайлики, коучи, наставники, кураторы.
Господи, идите на хрен, твари липкие.
Научитесь быть серьёзными.
И не нужны будут вам эти практикумы с обитателями планетариума.

Если пришла такая мысль — надо получить академическое образование, а не кормить инфоцыган.

(весь поток делят на группы — планеты и за каждой планетой закрепляют наставника)

Господи, какой же треш.

Я бедный Евгений, у меня дважды «не хватало мотивации» чтобы учиться, и вот, наконец-то, я нашел того, на кого могу спихнуть вину на свои неудачи!

Целых два потока всё было хорошо (кроме меня самого, но это не важно), но на третьем всего один куратор из нескольких поставил крест на всём Яндексе. Ужасающая некомпетентность!

Возьму, пожалуй, академ, и дальше продолжу ничего не делать

Тоже брал академ 2 раза универ и лень и не было времени, честно сложно хочется ничего не делать, но жаловаться на платформу если ты не успел как то не очень, куратор мало что решает ну поболтать, если тебе отвечают по тех вопросам можно работать, нууу типо заплатил пусть делают, не работает с курсами.

Возвращаемся к тебе с обратной связью о проделанной работе после изучения твоего поста и общения с тобой в мессенджере Slack.

Сразу хочется сказать, что в наших правилах признавать свои ошибки, слышать наших студентов и оперативно подключаться к решению непростых ситуаций. В своём ответе мы бы хотели рассказать, как сейчас выглядит решение проблемы, на которую ты обратил наше внимание и через обратную связь своему куратору, и через этот пост.

Мы поговорили со студентами, которые так же, как и ты, были недовольны работой своей текущей наставницы. После этого мы разделили студентов на две группы: на тех, кого по их желанию мы перевели к другим наставникам, и на тех, кто после активного подключения текущей наставницы решили остаться в своей группе и продолжать работу с ней. Как ты уже знаешь, тебе мы предложили опцию перехода к твоей прошлой наставнице, работать с которой, судя по словам в твоём посте, тебе понравилось (по этому вопросу ещё ждём твой ответ в Slack).

После этого мы подвинули даты сдачи проекта, чтобы у студентов было время на доделывание работы с новым наставником так же, как и у студентов, кто всё-таки решил остаться со своей текущей наставницей. Сейчас работа над проектами кипит, и кураторы курсов на связи со своими студентами по любым вопросам.

Также хочется добавить, что мы никогда не обещаем того, что учиться будет легко. Смена профессии – это труд, который требует максимального вовлечения со стороны студента. Мы регулярно получаем от наших студентов вдохновляющие истории, в которых они рассказывают о своём решении изменить свою жизнь, даже когда поздно/страшно. И мы очень благодарны им за смелость и веру в себя.

С нашей стороны мы обязуемся дать студенту всё необходимое, чтобы у него получилось освоить те навыки, за которыми он пришёл учиться в Практикум. Если на каком-то этапе что-то хромает с нашей стороны, мы не сопротивляемся и идём на конструктивный диалог со студентами. Такой же диалог случился и у нас с тобой, за что тебе большое спасибо! Также нам приятно, что ты честно рассказываешь как о плюсах работы сопровождения, так и о минусах. Для нас это ценно и важно, так как помогает оперативно направить фокус внимания на проблему.
Ну и, конечно, мы надеемся, что после такого долгого и упорного пути, о котором ты написал в посте, у тебя всё получится.

Остаёмся на связи,
команда Практикума.

Источник

Как в Яндекс.Практикуме побеждали рассинхрон на фронтенде: акробатический номер с Redux-Saga, postMessage и Jupyter

Меня зовут Артём Несмиянов, я фулстек-разработчик в Яндекс.Практикуме, занимаюсь в основном фронтендом. Мы верим в то, что учиться программированию, дата-аналитике и другим цифровым ремёслам можно и нужно с удовольствием. И начинать учиться, и продолжать. Любой не махнувший на себя рукой разработчик — всегда «продолжающий». Мы тоже. Поэтому рабочие задачи воспринимаем в том числе как формат учёбы. И одна из недавних помогла мне и ребятам лучше понять, в какую сторону развивать наш фронтенд-стек.

Кем и из чего сделан Практикум

Команда разработки у нас предельно компактная. На бэкенде вообще всего два человека, на фронтенде — четыре, считая меня, фулстека. Периодически к нам в усиление присоединяются ребята из Яндекс.Учебника. Работаем мы по Scrum с двухнедельными спринтами.

В основе фронтенда у нас — React.js в связке с Redux/Redux-Saga, для связи с бэкендом используем Express. Backend-часть стека — на Python (точнее, Django), БД — PostgreSQL, для отдельных задач — Redis. С помощью Redux мы храним сторы с информацией, посылаем actions, которые обрабатываются Redux и Redux-Saga. Все сайд-эффекты, такие как запросы к серверу, обращения к Яндекс.Метрике и редиректы, обрабатываются как раз в Redux-Saga. А все модификации данных происходят в редьюсерах (reducers) Redux.

Как не проглядеть бревно в своём iframe

Сейчас на нашей платформе открыто обучение по трём профессиям: фронтенд-разработчик, веб-разработчик, аналитик данных. И мы активно пилим для каждого курса инструменты.

Для полугодового курса «Аналитик данных» мы сделали интерактивный тренажёр, где учим пользователей работать с Jupyter Notebook. Это классная оболочка для интерактивных вычислений, которую справедливо любят дата-сайентисты. Все операции в среде выполняются внутри notebook, она же по-простому — тетрадка (так её и буду называть дальше).

Опыт подсказывает, и мы уверены: важно, чтобы учебные задачи были близки к реальным. В том числе в плане рабочей среды. Поэтому требовалось сделать так, чтобы внутри урока весь код можно было писать, запускать и проверять прямо в тетрадке.

С базовой реализацией трудностей не возникло. Поселили саму тетрадку в отдельном iframe, на бэкенде прописали логику её проверки.

Сама ученическая тетрадка (справа) — это просто iframe, чей URL ведёт на конкретный notebook в JupyterHub.

В первом приближении всё функционировало без сучка, без задоринки. Однако при тестировании вылезли несуразности. Например, ты вбиваешь в тетрадку гарантированно правильный вариант кода, однако после нажатия на кнопку «Проверить задание» сервер отвечает, что ответ якобы неверный. А почему — загадка.

Ну, что происходит, мы сообразили в тот же день, когда нашли баг: обнаружилось, что на сервер улетало не текущее, только что вбитое в форму Jupyter Notebook решение, а предыдущее, уже стёртое. Сама тетрадка не успевала сохраниться, а мы тормошили бэкенд, чтобы он проверил задание в ней. Чего он сделать, разумеется, не мог.

Нам надо было избавиться от рассинхрона между сохранением тетрадки и отправкой запроса к серверу на её проверку. Загвоздка оказалась в том, что требовалось заставить iframe тетрадки общаться с родительским окном, то есть с фронтендом, на котором крутился урок в целом. Само собой, напрямую пробросить какой-то event между ними было нельзя: обитают они на разных доменах.

В поисках решения я узнал, что Jupyter Notebook допускает подключение своих плагинов. Существует юпитеровский объект — тетрадка, — которым можно оперировать. Работа с ним предусматривает события, в том числе сохранение тетрадки, а также вызов соответствующих экшенов. Разобравшись в нутре Jupyter (пришлось: нормальной документации к нему нет), мы с ребятами так и поступили — соорудили собственный плагин к нему и с помощью механизма postMessage добились согласованной работы элементов, из которых собран урок Практикума.

Обходной путь мы продумывали с учётом того, что в наш стек изначально входит уже упомянутая Redux-Saga — упрощённо говоря, middleware над Redux, которая даёт возможность более гибко работать с сайд-эффектами. Например, сохранение тетрадки — это как раз нечто вроде такого сайд-эффекта. Мы что-то отправляем на бэкенд, чего-то ждём, что-то получаем. Вся эта движуха и обрабатывается внутри Redux-Saga: она-то и кидает события фронтенду, диктуя ему, как что отобразить в UI.

Что в итоге? Создаётся postMessage и отправляется в iframe с тетрадкой. Когда iframe видит, что ему пришло нечто извне, он парсит полученную строку. Поняв, что ему нужно сохранить тетрадку, он выполняет это действие и, в свою очередь, шлёт ответный postMessage об исполнении запроса.

Когда мы нажимаем кнопку «Проверить задание», в Redux Store отсылается соответствующее событие: «Так и так, мы пошли проверяться». Redux-Saga видит, что экшен прилетел и сделал postMessage в iframe. Теперь она ждёт, пока iframe даст ответ. Тем временем наш студент видит индикатор загрузки на кнопке «Проверить задание» и понимает, что тренажёр не завис, а «думает». И только когда обратно приходит postMessage о том, что сохранение выполнено, Redux-Saga продолжает работу и посылает запрос к бэкенду. На сервере задание проверяется — правильное решение или нет, если допущены ошибки, то какие, и т. д., — и эта информация аккуратно складируется в Redux Store. А уже оттуда фронтендный скрипт подтягивает её в интерфейс урока.

Вот какая схема вышла в итоге:

(1) Жмём кнопку «Проверить задание» (Check) → (2) Шлём экшен CHECK_NOTEBOOK_REQUEST → (3) Ловим экшен проверки → (2) Шлём экшен SAVE_NOTEBOOK_REQUEST → (3) Ловим экшен и шлём postMessage в iframe с событием save-notebook → (4) Принимаем message → (5) Тетрадка сохраняется → (4) Получаем event от Jupyter API, что тетрадка сохранилась, и шлём postMessage notebook-saved → (1) Принимаем событие → (2) Шлём экшен SAVE_NOTEBOOK_SUCCESS → (3) Ловим экшен и шлём запрос на проверку тетрадки → (6) → (7) Проверяем, что эта тетрадка есть в базе → (8) → (7) Идём за кодом тетрадки → (5) Возвращаем код → (7) Запускаем проверку кода → (9) → (7) Получаем результат проверки → (6) → (3) Шлём экшен CHECK_NOTEBOOK_SUCCESS → (2) Складываем ответ проверки в стор → (1) Отрисовываем результат

Разберёмся, как всё это устроено в разрезе кода.

У нас на фронтенде есть trainer_type_jupyter.jsx — скрипт страницы, где отрисовывается наша тетрадка.

После нажатия кнопки «Проверить задание» происходит вызов метода handleCheckTasks.

Фактически handleCheckTasks служит для вызова Redux-экшена с переданными параметрами.

Это обычный экшен, предназначенный для Redux-Saga и асинхронных методов. Здесь getAsyncActionsFactory генерирует три actions:

Соответственно, getAsyncConstants генерирует три константы вида *_REQUEST, *_SUCCESS и *_ERROR.

Теперь посмотрим, как всё это хозяйство обработает наша Redux-Saga:

Магия? Да ничего экстраординарного. Как видно, createAsyncActionSagaWatcher просто создаёт вотчер, который умеет предобрабатывать попадающие в экшен данные, делать запрос по определённому URL, диспатчить экшен *_REQUEST и по успешному ответу от сервера диспатчить *_SUCCESS и *_ERROR. Кроме того, естественно, на каждый вариант внутри вотчера предусмотрены обработчики.

Вы наверняка заметили, что в предобработчике данных мы вызываем другую Redux-Saga, ждём, пока он завершится с SUCCESS, и только тогда продолжаем работу. И конечно, iframe на сервер отправлять не нужно, поэтому отдаём только id.

Внимательнее посмотрим на функцию saveNotebook:

Мы дошли до самого важного механизма во взаимодействии iframe с фронтендом — postMessage. Приведённый фрагмент кода отправляет экшен с типом save-notebook, который обрабатывается внутри iframe.

Я уже упоминал о том, что нам понадобилось написать плагин к Jupyter Notebook, который подгружался бы внутри тетрадки. Выглядят эти плагины примерно так:

Для создания таких расширений приходится иметь дело с API самого Jupyter Notebook. К сожалению, внятной документации по нему нет. Зато доступны исходники, в них-то я и вникал. Хорошо хоть, что код там читаемый.

Плагин надо научить общаться с родительским окном во фронтенде урока: как-никак рассинхрон между ними — причина возникновения бага с проверкой заданий. Прежде всего подпишемся на все сообщения, которые получаем:

Теперь обеспечим их обработку:

Все события, не подходящие нам по формату, смело игнорируем.

Мы видим, что нам прилетает событие save-notebook, и вызываем экшен сохранения тетрадки. Остаётся только отправить обратно сообщение о том, что тетрадка сохранилась:

Иначе говоря, просто отправляем наверх. Это значит, что тетрадка сохранилась.

Вернёмся к нашему компоненту:

При маунте компонента мы запрашиваем у сервера ссылку на тетрадку и подписываемся на все экшены, которые могут нам прилететь:

Тут-то и вызывается диспатч экшена setNotebookSaved, который и позволит Redux-Saga продолжить работу и сохранить тетрадку.

Глюки выбора

С багом сохранения тетрадки мы совладали. И сразу переключились на новую проблему. Нужно было научиться блокировать задачи (таски), до которых студент ещё не дошёл. Иначе говоря, требовалось синхронизировать навигацию между нашим интерактивным тренажёром и тетрадкой Jupyter Notebook: внутри одного урока у нас была одна сидящая в iframe тетрадка с несколькими тасками, переходы между которыми надо было согласовывать с изменениями интерфейса урока в целом. Например, чтобы по клику на второй таск в интерфейсе урока в тетрадке происходило переключение на ячейку, соответствующую второму таску. И наоборот: если в фрейме Jupyter Notebook ты выбираешь ячейку, привязанную к третьему заданию, то URL в адресной строке браузера должен сразу смениться и, соответственно, в интерфейсе урока должен отобразиться сопроводительный текст с теорией именно по третьему заданию.

Была и задача посложнее. Дело в том, что наша программа обучения рассчитана на последовательное прохождение уроков и заданий. Между тем по умолчанию в юпитеровской тетрадке пользователю ничто не мешает открыть любую ячейку. А в нашем случае каждая ячейка — это отдельное задание. Выходило так, что можно решить первый и третий таск, а второй пропустить. От риска нелинейного прохождения урока нужно было избавиться.

Основой решения послужил всё тот же postMessage. Только нам пришлось дополнительно углубиться в API Jupyter Notebook, конкретнее — в то, что умеет делать сам юпитеровский объект. И придумать механизм проверки того, к какому таску привязана ячейка. В самом общем виде он следующий. В структуре тетрадки ячейки идут последовательно одна за другой. У них могут быть метаданные. В метаданных предусмотрено поле «Теги», и теги — это как раз идентификаторы тасков внутри урока. Кроме того, с помощью тегирования ячеек можно определять, должны ли они пока быть заблокированы у ученика. В итоге в соответствии с нынешней моделью работы тренажёра, ткнув в ячейку, мы запускаем отправку postMessage из iframe в наш фронтенд, который, в свою очередь, ходит в Redux Store и проверяет исходя из свойств таска, доступен ли он нам сейчас. Если недоступен, мы переключаемся на предыдущую активную ячейку.

Так мы добились того, что в тетрадке нельзя выбрать ячейку, которая не должна быть доступна по таймлайну обучения. Правда, это породило пусть некритичный, но баг: ты пытаешься нажать на ячейку с недоступным заданием, и она быстро «моргает»: видно, что она на мгновение активировалась, но тут же была заблокирована. Пока мы эту шероховатость не устранили, проходить уроки она не мешает, но в фоновом режиме мы продолжаем думать, как бы с ней справиться (кстати, есть мысли?).

Чуть-чуть о том, как мы модифицировали для решения задачи свой фронтенд. Снова обратимся к trainer_type_jupyter.jsx — сфокусируемся на app_initialized и select.

С app_initialized всё элементарно: тетрадка загрузилась, и мы хотим что-то предпринять. Например, выбрать текущую ячейку в зависимости от выбранного таска. Плагин описан так, чтобы можно было передать taskId и переключиться на первую ячейку, этому taskId соответствующую.

// custom.js (Jupyter plugin)

Теперь можно переключать ячейки и узнавать от iframe, что ячейка была переключена.

При переключении ячейки мы меняем URL и попадаем в другой таск. Осталось только сделать обратное — при выборе в интерфейсе другого таска переключать ячейку. Легко:

Отдельный котёл для перфекционистов

Круто было бы просто похвастаться тем, какие мы молодцы. Решение в сухом остатке эффективное, хотя выглядит слегка сумбурным: если резюмировать, у нас есть метод, который обрабатывает любое сообщение, приходящее извне (в нашем случае из iframe). Но в построенной нами же самими системе есть штуки, которые лично мне, да и коллегам, не очень нравятся.

• Нет гибкости во взаимодействии элементов: всякий раз, когда мы захотим добавить новую функциональность, нам придётся менять плагин, чтобы он поддерживал как старый, так и новый формат общения. Нет единого изолированного механизма для работы между iframe и нашим фронтенд-компонентом, который отрисовывает Jupyter Notebook в интерфейсе урока и работает с нашими тасками. Глобально — есть желание сделать более гибкую систему, чтобы в дальнейшем было легко добавлять новые экшены, события и обрабатывать их. Причём в случае не только с юпитеровской тетрадкой, но и с любым iframe в тренажёрах. Так что мы смотрим в сторону того, чтобы передавать код плагина через postMessage и ивейлить (eval) его внутри плагина.

• Фрагменты кода, решающие проблемы, разбросаны по всему проекту. Общение с iframe производится как из Redux-Saga, так и из компонента, что уж точно не оптимально.

• Сам iframe с отрисовкой Jupyter Notebook у нас сидит на другом сервисе. Редактировать его слегка проблематично, тем более с соблюдением принципа обратной совместимости. Например, если мы хотим изменить какую-то логику на фронтенде и в самой тетрадке, нам приходится выполнять двойную работу.

• Многое хотелось бы реализовывать проще. Взять хотя бы React. У него уйма lifecycle-методов, и каждый из них нужно обрабатывать. Вдобавок меня смущает привязка к самому React. В идеале хотелось бы уметь работать с нашими iframe независимо от того, какой у тебя фронтенд-фреймворк. Вообще, пересечение выбранных нами технологий накладывает ограничения: та же Redux-Saga ждёт от нас именно Redux-экшенов, а не postMessage.

Так что на достигнутом мы точно не будем останавливаться. Дилемма хрестоматийная: можно уйти в сторону красоты, но пожертвовать оптимальностью performance, или наоборот. Наилучшего решения мы пока не нашли.

Источник