Mad ошибка прогноза

В этой статье я поделюсь методикой измерения точности прогноза продаж, которая применяется во многих западных компаниях и позволяет достаточно объективно оценить качество прогнозирования. В частности, данные показатели используются компанией Reckitt Benckiser, в которой я имел честь работать почти 6 лет.

Очевидно, что повышение точности прогнозирования и уменьшение ошибки прогноза улучшают многие бизнес-показатели цепи поставок, начиная от сервиса клиентов и уровня запасов, заканчивая более стабильной работой производства и более предсказуемой закупочной деятельностью.  Это особенно актуально в условиях кризиса, когда эффективность становится, пожалуй, основным конкурентным преимуществом.

Именно поэтому описанные ниже показатели можно использовать как KPI функции Demand Planning  так и KPI сотрудников, которые отвечают за подготовку прогноза продаж.

Так что же такое MAD, Bias и MAPE?

Bias (англ. – смещение) демонстрирует на сколько и в какую сторону прогноз продаж отклоняется от фактической потребности. Этот индикатор показывает, был ли прогноз оптимистичным или пессимистичным. То есть, отрицательное значение Bias говорит о том, что прогноз был завышен (реальная потребность оказалась ниже), и, наоборот, положительное значение о том, что прогноз был занижен. Цифровое значение показателя определяет величину отклонения (смещения).

MAD (Mean Absolute Deviation) – среднее абсолютное отклонение

MAD = ∑ |Et| / n, где:

|Et| — ошибка прогноза продаж за определенный период времени t

n – количество периодов оценки

Это показатель можно также выразить в процентах:

MAPE (Mean Absolute Percentage Error)

MARE = ∑ |Et| / At /n * 100%    , где:

|Et| — ошибка прогноза продаж за период времени t

n – количество периодов оценки

At – фактическая потребность за период времени t

Пример расчета MAD:

MAD = 65/5 = 13

Пример расчета MAD, BIAS и MAPE.

Эти показатели можно использовать также и по группе SKU, чтобы оценить точность прогноза продаж группы за период времени. В таком случае, мы берем один период времени, например, месяц и считаем MAD и BIAS для каждого SKU:

Еще одним наглядным показателем для измерения точности прогноза является непосредственно Forecast Accuracy, который показывает, насколько, собственно, прогноз оказался точным:

FA = (1 – |E|/A)*100%

Показатели точности измерения прогноза продаж MAD, BIAS, MAPE и FA необходимо измерять на регулярной основе и рассматривать в рамках S&OP (Sales and Operations) процесса.

Измерение и обсуждение описанных выше показателей позволяет значительно улучшить уровень коммуникации между продажами и производством.  Рекомендую всем, кто этого ещё не сделал, брать на вооружение.

Тарас Пархомчук.

Рост точности прогноза — это точка роста оборотных средств при неизменном объеме. Чем меньше ошибка прогноза, тем меньше денег необходимо на обслуживание модели прогноза. 

Дополнительные оборотные средства за счет повышения точности прогноза  мы получим, если будем использовать модель прогнозирования, которая дает наименьшую среднюю абсолютную ошибку прогноза.

В данной статье мы рассмотрим:

• Как рассчитать среднюю абсолютную ошибку прогноза и выбрать модель, которая дает наименьшую ошибку;
• Сравним модели и оценим, сколько оборотных средств мы можем сохранить за год, если будем использовать модель, которая дает минимальную ошибку прогноза.

По ходу статьи мы разберем

• Что такое ошибка прогноза;
• Как рассчитывается среднее абсолютное отклонение;

и рассчитаем:

• Прогноз с помощью модели «Скользящей средней к 4-м месяцам с аддитивной сезонностью»;
• Прогноз с помощью модели «Логарифмический тренд с сезонностью»;
• Ошибку прогноза для каждой модели;
• Среднее абсолютное отклонение и для каждой модели.

А также сравним модели, опираясь на среднее абсолютное отклонение и оценим экономию оборотных средств за счет использования более точной модели прогнозирования.

Скачайте файл с примером 

Что такое ошибка прогноза?

Ошибкой прогноза продаж является разность между фактическими продажами и прогнозом продаж. 

Чем меньше ошибка прогноза, тем более точные решения мы приминаем в закупках, производстве, планировании … а следовательно более эффективно распределяем оборотные средства и повышаем оборачиваемость товаров. 

Существует несколько методов оценки ошибок. Большинство этих методов состоит в усреднении некоторых функций от разностей между действительными значениями и их прогнозами.

Ошибку прогноза  (et) для каждого момента времени во временном ряду мы можем вычистить по формуле:

et = Yt  — Y^t  ,

где

• Yt — действительное значение временного ряда в момент t — в наших примерах объем продаж,
•  Y^t — прогноз значения Yt — в наших примерах прогноз объема продаж.

Ошибка MAD — среднее абсолютное отклонение

Среднее абсолютное отклонение (MAD) измеряет точность прогноза, усредняя величины ошибок прогноза (абсолютные значения каждой ошибки). Чаще всего MAD используют, когда ошибку прогноза необходимо измерить в тех же единицах, что и исходные значения временного ряда.

Формула вычисления ошибки: 

• Yt — действительное значение временного ряда в момент t,
• Y^t — прогноз значения Yt,
• n — номера периодов

Среднее абсолютное отклонение — средняя ошибка (разность между фактом продаж и прогнозом продаж) по модулю.

Рассчитаем прогноз и оценим следующие модели:

1. Скользящей средней к 4-м месяцам с аддитивной сезонностью;
2. Логарифмический тренд с сезонностью.

Скачайте файл с примером 

Для оценки ошибки модели «Скользящей средней к 4-м месяцам с аддитивной сезонностью» рассчитаем:

1. Скользящую среднюю к 4-м месяцам;
2. Разность между значениями ряда и средними значениями к 4-м месяцам (пункт 1);
3. Усредним разность ряда и средней для каждого месяца получим сезонность в абсолютной величание — аддитивную сезонность;
4. Продлим значения ряда с помощью скользящей средней к 4-м месяцам и скорректируем её аддитивной сезонностью;
5. Модель прогноза для каждого момента времени t;
6. Ошибку прогноза;
7. Среднее абсолютное отклонение.

1. Скользящую среднюю к 4-м месяцам для каждого момента времени во временном ряду начиная с 5-го периода:

2. Разность между значениями ряда и средними значениями к 4-м месяцам для каждого момента времени t (пункт 1):

3. Усредним разность ряда и средней для каждого месяца получим сезонность в абсолютной величание — аддитивную сезонность.

Для этого вначале выделим номера месяцев с помощью функции Excel =месяц(дата). Для этого проверяем являются ли наши даты «январь 2010 г.», датой, если нет, то переводим в дату и используя функцию Excel =месяц(дата), получаем номера месяцев:

Получаем ряд с пронумерованными месяцами:

Далее усредняем отклонения ряда от средней для каждого месяца, получаем 12 значений аддитивной сезонности.

Для этого используем формулы Excel:

СУММЕСЛИ($D$7:$AY$7 (диапазон с номерами месяцев);D7 (номер месяца, для которого мы рассчитываем сезонность);$D$6:$AY$6 (разность между рядом и средней))

СЧЁТЕСЛИ($D$7:$AY$7(диапазон с номерами месяцев);D7(номер месяца, для которого мы рассчитываем сезонность))

Обязательно фиксируем ссылки на диапазоны с «Номерами месяцев» и «разность между рядом и средней». Подробнее об этом в статье » Как зафиксировать ссылку в Excel»

Подробнее о формулах Excel СУММЕСЛИ и СЧЁТЕСЛИ читайте с статье «Формулы Excel «СУММЕСЛИ» и «СЧЕТЕСЛИ» при расчете сезонности»

Протянули формулу на 12 месяцев, получили аддитивную сезонность для каждого месяца:

4. Продлим значения ряда с помощью скользящей средней к 4-м месяцам и скорректируем её аддитивной сезонностью. 

Скорректируем скользящую рассчитанной аддитивной сезонностью.

Для этого к прогнозному среднему прибавим аддитивную сезонность. Сезонность для каждого месяца подтянем с помощью функции Excel ГПР.

Подробнее об этом читайте с статье «ГПР в Excel на примере скользящей средней».

Прогноз = средние продажи за последние 4 месяца + сезонность:

=СРЗНАЧ(AV4:AY4(средние продажи за 4 последних месяца))+ГПР(AZ3 (искомый номер месяца);$D$8:$O$9 (зафиксированная ссылка на таблицу с сезонностью);2 (номер строки);0)

5. Рассчитаем модель прогноза для каждого момента времени t.

К скользящей средней прибавим аддитивную сезонность начиная с 5 периода:

6. Рассчитаем значение ошибки для каждого месяца.

Для этого из объема продаж вычтем значение прогнозной модели:

7. Определим среднее абсолютное отклонение.

Для каждого момента времени t рассчитаем ошибку по модулю с помощью формулы Excel =ABS(H11 (ссылка на ошибку)):

Среднее абсолютное отклонение равно средней ошибке по модулю:

Среднее абсолютное отклонение для модели скользящей средней к 4-м месяцам с аддитивной сезонностью у нас равно 55 475

Теперь рассчитаем прогноз с помощью «Логарифмического тренда с сезонностью».

1. Выделим логарифмический тренд;
2. Рассчитаем сезонность;
3. Рассчитаем значение модели;
4. Рассчитаем ошибку прогноза и Среднее абсолютное отклонение.

Скачайте файл с примером 

1. Выделим логарифмический тренд.

О всех возможных способах выделения логарифмического тренда в Excel вы можете узнать в нашей статье «5 способов расчета логарифмического тренда в Excel. + О логарифмическом тренде и его применении».

Рассчитаем значения тренда с помощью функции =ПРЕДСКАЗ(LN(D2(номер периода));$D$4:$AY$4 (зафиксированная ссылка на диапазон с объемами продаж);LN($D$2:$AY$2 (зафиксированная ссылка на диапазон с номерами периодов)))

2. Рассчитываем отклонения объемов продаж от тренда (объем продаж делим на значения тренда):

3. Определяем сезонность с помощью формул Excel =СУММЕСЛИ() и =СЧЁТЕСЛИ()

Подробнее о формулах Excel СУММЕСЛИ и СЧЁТЕСЛИ читайте с статье «Формулы Excel «СУММЕСЛИ» и «СЧЕТЕСЛИ» при расчете сезонности»:

Т.к. полученная сезонность в среднем равна 1, то нормирующий коэффициент вводить не нужно, и среднее отклонение у нас будет равно сезонности по месяцам.

4. Определим значения модели прогноза для каждого момента времени t, для этого значения тренда умножим на сезонность. Сезонность подтянем с помощью функции ГПР (см. статью «Функция ГПР в Excel»):

5. Определим ошибку прогноза для каждого момента времени t. Для этого из объема продаж вычтем значение модели прогноза для каждого момента времени t:

6. Рассчитаем ошибку по модулю с помощью функции =ABS(D21″ссылка на ошибку»):

7. Получим среднее абсолютное отклонение по модулю — среднее значение ошибки по модулю:

Среднее абсолютное отклонение для модели «Логарифмического тренда с сезонностью» у нас равно 70 412

Оценим эффективность использования в рамках года одной модели относительно другой.

Среднее абсолютное отклонение для модели

• «Логарифмического тренда с сезонностью» = 70 412 руб.
• «Скользящей средней к 4-м месяцам с аддитивной сезонностью» = 55 475 руб.

Итак модель скользящей средней делает более точный прогноз по сравнение с логарифмическим трендом для этого ряда в месяц на 14 937 руб. = 70 412 руб. — 55 475 руб.

В результате для нас это означает экономию оборотных средств на 14 937 руб. в месяц на обслуживание модели и 179 242 руб. в год, т.е. 14 937 руб. в месяц = 14 937 руб. * 12 месяцев =179 242 руб.

Т.е. в год мы получаем дополнительные оборотные средства в размере 179 242 руб.

Вот так вот за счет оценки точности прогноза и использования модели, которая дает меньшую ошибку прогноза, вы получаете дополнительные оборотные средства —  179 242 руб. в год.

Скачайте файл с примером 

Коллеги, эти 2 модели я выбрал наугад, давайте теперь оценим модель, которую автоматически подберет Forecast4AC PRO. И оценим, какой эффект в год нам это даст.

В настройках программы во вкладке «Доп. возможности» ставим галочку «MAD — Среднее абсолютное отклонение» и отключаем модели экспоненциального сглаживания (т.к. они дают ошибку для данного ряда больше чем скользящая средняя и трендовые модели):

Сохраняем и рассчитываем прогноз с помощью Forecast4AC PRO с автоматическим выбором модели.

Автоматически программа выбрала модель Средняя за 2 предыдущих периода + Сезонность относительно средней в абсолютной величине (т.е. аддитивная сезонность). Среднее абсолютное отклонение для этой модели у нас получилось равным 39 882 руб.

Оцените точность моделей прогнозирования, которые вы используете сейчас, рассчитайте проноз с помощью Forecast4AC PRO и оцените сумму оборотных средств, которую вы можете сэкономить за счет использования нашей программы.

Точных вам прогнозов!

Статья полезная? Поделитесь с друзьями

Для анализа результатов расчета прогноза, в продолжение ряда вы можете рассчитать следующие ошибки:

• MAPE – средняя абсолютная ошибка в % . Ошибка оценивает на сколько велики ошибки в сравнении со значением ряда и с ошибками в соседних рядах.
  Подробнее читайте в статье на нашем сайте: http://4analytics.ru/metodi-analiza/mape-%E2%80%93-srednyaya-absolyutnaya-oshibka-praktika-primeneniya.html
• MRPE – средняя относительная ошибка в %, оценивает на сколько велика дельта между фактом и прогнозом. Чем ближе к 100%, тем больше ошибка, чем ближе к нулю, тем ошибка меньше.
• MSE – средняя квадратическая ошибка, подчеркивает большие ошибки за счет возведения каждой ошибки в квадрат.
  Подробнее читайте в статье на нашем сайте:
  http://4analytics.ru/metodi-analiza/mse-%E2%80%93-srednekvadraticheskaya-oshibka-v-excel.html
• MPE – средняя процентная ошибка – показывает завышен или занижен прогноз относительно факта. Если ошибка меньше нулю, то прогноз последовательно завышен, если ошибка больше нуля, то прогноз последовательно занижен.
  Подробнее читайте в статье на нашем сайте:
  http://4analytics.ru/metodi-analiza/mpe-%E2%80%93-srednyaya-procentnaya-oshibka-v-excel.html
• MAD – среднее абсолютное отклонение. Используется, когда важно измерить ошибку в тех же единицах, что и исходный ряд.
  Подробнее читайте в статье на нашем сайте:
  http://4analytics.ru/planirovanie-i-prognozirovanie-praktika/dopolnitelnie-oborotnie-sredstva-za-schet-povisheniya-tochnosti-prognoza.html
• A MAPE – ошибка, которая показывает отклонение средних значений ряда к средним значениям модели прогноза. Имеет значение при неравномерном перераспределении значений ряда по периодам.
• S MAPE – ошибка, которая показывает отклонение суммы значения ряда к сумме значений модели прогноза. Имеет значение при неравномерном перераспределении значений ряда по периодам.

А также 2 показателя «Точность прогноза»:

• Точность прогноза = 1 – МАРЕ
• Точность прогноза 2 = 1 – MRPE

Для расчета ошибок одновременно с прогнозом, нажимаем кнопку «Расчет ошибок» в меню «FORECAST»

В открывшемся окне выбираем нужные для расчета ошибки:

Теперь при расчете прогноза, в продолжение ряда, программа автоматически сделает расчет отмеченных Вами ошибок:

Ошибка прогнозирования: виды, формулы, примеры

Ошибка прогнозирования — это такая величина, которая показывает, как сильно прогнозное значение отклонилось от фактического. Она используется для расчета точности прогнозирования, что в свою очередь помогает нам оценивать как точно и корректно мы сформировали прогноз. В данной статье я расскажу про основные процентные «ошибки прогнозирования» с кратким описанием и формулой для расчета. А в конце статьи я приведу общий пример расчётов в Excel. Напомню, что в своих расчетах я в основном использую ошибку WAPE или MAD-Mean Ratio, о которой подробно я рассказал в статье про точность прогнозирования, здесь она также будет упомянута.

В каждой формуле буквой Ф обозначено фактическое значение, а буквой П — прогнозное. Каждая ошибка прогнозирования (кроме последней!), может использоваться для нахождения общей точности прогнозирования некоторого списка позиций, по типу того, что изображен ниже (либо для любого другого подобной детализации):

Алгоритм для нахождения любой из ошибок прогнозирования для такого списка примерно одинаковый: сначала находим ошибку прогнозирования по одной позиции, а затем рассчитываем общую. Итак, основные ошибки прогнозирования!

MPE — Mean Percent Error

MPE — средняя процентная ошибка прогнозирования. Основная проблема данной ошибки заключается в том, что в нестабильном числовом ряду с большими выбросами любое незначительное колебание факта или прогноза может значительно поменять показатель ошибки и, как следствие, точности прогнозирования. Помимо этого, ошибка является несимметричной: одинаковые отклонения в плюс и в минус по-разному влияют на показатель ошибки.

1. Для каждой позиции рассчитывается ошибка прогноза (из факта вычитается прогноз) — Error
2. Для каждой позиции рассчитывается процентная ошибка прогноза (ошибка прогноза делится на фактический показатель) — Percent Error
3. Находится среднее арифметическое всех процентных ошибок прогноза (процентные ошибки суммируются и делятся на количество) — Mean Percent Error

MAPE — Mean Absolute Percent Error

MAPE — средняя абсолютная процентная ошибка прогнозирования. Основная проблема данной ошибки такая же, как и у MPE — нестабильность.

1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта по модулю) — Absolute Error
2. Для каждой позиции рассчитывается абсолютная процентная ошибка прогноза (абсолютная ошибка прогноза делится на фактический показатель) — Absolute Percent Error
3. Находится среднее арифметическое всех абсолютных процентных ошибок прогноза (абсолютные процентные ошибки суммируются и делятся на количество) — Mean Absolute Percent Error

Вместо среднего арифметического всех абсолютных процентных ошибок прогноза можно использовать медиану числового ряда (MdAPE — Median Absolute Percent Error), она наиболее устойчива к выбросам.

WMAPE / MAD-Mean Ratio / WAPE — Weighted Absolute Percent Error

WAPE — взвешенная абсолютная процентная ошибка прогнозирования. Одна из «лучших ошибок» для расчета точности прогнозирования. Часто называется как MAD-Mean Ratio, то есть отношение MAD (Mean Absolute Deviation — среднее абсолютное отклонение/ошибка) к Mean (среднее арифметическое). После упрощения дроби получается искомая формула WAPE, которая очень проста в понимании:

1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта, по модулю) — Absolute Error
2. Находится сумма всех фактов по всем позициям (общий фактический объем)
3. Сумма всех абсолютных ошибок делится на сумму всех фактов — WAPE

Данная ошибка прогнозирования является симметричной и наименее чувствительна к искажениям числового ряда.

Рекомендуется к использованию при расчете точности прогнозирования. Более подробно читать здесь.

RMSE (as %) / nRMSE — Root Mean Square Error

RMSE — среднеквадратичная ошибка прогнозирования. Примерно такая же проблема, как и в MPE и MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

1. Для каждой позиции рассчитывается квадрат отклонений (разница между фактом и прогнозом, возведенная в квадрат) — Square Error
2. Затем рассчитывается среднее арифметическое (сумма квадратов отклонений, деленное на количество) — MSE — Mean Square Error
3. Извлекаем корень из полученного результат — RMSE
4. Для перевода в процентную или в «нормализованную» среднеквадратичную ошибку необходимо:
   1. Разделить на разницу между максимальным и минимальным значением показателей
   2. Разделить на разницу между третьим и первым квартилем значений показателей
   3. Разделить на среднее арифметическое значений показателей (наиболее часто встречающийся вариант)

MASE — Mean Absolute Scaled Error

MASE — средняя абсолютная масштабированная ошибка прогнозирования. Согласно Википедии, является очень хорошим вариантом для расчета точности, так как сама ошибка не зависит от масштабов данных и является симметричной: то есть положительные и отрицательные отклонения от факта рассматриваются в равной степени.

Важно! Если предыдущие ошибки прогнозирования мы могли использовать для нахождения точности прогнозирования некого списка номенклатур, где каждой из которых соответствует фактическое и прогнозное значение (как было в примере в начале статьи), то данная ошибка для этого не предназначена: MASE используется для расчета точности прогнозирования одной единственной позиции, основываясь на предыдущих показателях факта и прогноза, и чем больше этих показателей, тем более точно мы сможем рассчитать показатель точности. Вероятно, из-за этого ошибка не получила широкого распространения.

Здесь данная формула представлена исключительно для ознакомления и не рекомендуется к использованию.

Суть формулы заключается в нахождении среднего арифметического всех масштабированных ошибок, что при упрощении даст нам следующую конечную формулу:

Также, хочу отметить, что существует ошибка RMMSE (Root Mean Square Scaled Error — Среднеквадратичная масштабированная ошибка), которая примерно похожа на MASE, с теми же преимуществами и недостатками.

Это основные ошибки прогнозирования, которые могут использоваться для расчета точности прогнозирования. Но не все! Их очень много и, возможно, чуть позже я добавлю еще немного информации о некоторых из них. А примеры расчетов уже описанных ошибок прогнозирования будут выложены через некоторое время, пока что я подготавливаю пример, ожидайте.

Источник

sklearn.metrics .mean_absolute_percentage_error¶

Mean absolute percentage error (MAPE) regression loss.

Note here that the output is not a percentage in the range [0, 100] and a value of 100 does not mean 100% but 1e2. Furthermore, the output can be arbitrarily high when y_true is small (which is specific to the metric) or when abs(y_true — y_pred) is large (which is common for most regression metrics). Read more in the User Guide .

New in version 0.24.

Ground truth (correct) target values.

y_pred array-like of shape (n_samples,) or (n_samples, n_outputs)

Estimated target values.

sample_weight array-like of shape (n_samples,), default=None

Defines aggregating of multiple output values. Array-like value defines weights used to average errors. If input is list then the shape must be (n_outputs,).

Returns a full set of errors in case of multioutput input.

Errors of all outputs are averaged with uniform weight.

Returns : loss float or ndarray of floats

If multioutput is ‘raw_values’, then mean absolute percentage error is returned for each output separately. If multioutput is ‘uniform_average’ or an ndarray of weights, then the weighted average of all output errors is returned.

MAPE output is non-negative floating point. The best value is 0.0. But note that bad predictions can lead to arbitrarily large MAPE values, especially if some y_true values are very close to zero. Note that we return a large value instead of inf when y_true is zero.

Источник

MAPE – Mean Absolute Percentage Error in Python

Hello, readers! In our series of Error Metrics, we have understood and implemented Root Mean Square Error.

Today, we will be focusing on another important error metric in model building — Mean Absolute Percentage Error (MAPE) in Python.

What is MAPE?

Mean Absolute Percentage Error (MAPE) is a statistical measure to define the accuracy of a machine learning algorithm on a particular dataset.

MAPE can be considered as a loss function to define the error termed by the model evaluation. Using MAPE, we can estimate the accuracy in terms of the differences in the actual v/s estimated values.

Let us have a look at the below interpretation of Mean Absolute Percentage Error–

As seen above, in MAPE, we initially calculate the absolute difference between the Actual Value (A) and the Estimated/Forecast value (F). Further, we apply the mean function on the result to get the MAPE value.

MAPE can also be expressed in terms of percentage. Lower the MAPE, better fit is the model.

Mean Absolute Percentage Error with NumPy module

Let us now implement MAPE using Python NumPy module.

At first, we have imported the dataset into the environment. You can find the dataset here.

Further, we have split the dataset into training and testing datasets using the Python train_test_split() function.

Then, we have defined a function to implement MAPE as follows–

• Calculate the difference between the actual and the predicted values.
• Then, use numpy.abs() function to find the absolute value of the above differences.
• Finally, apply numpy.mean() function to get the MAPE.

Example:

Now, we have implemented a Linear Regression to check the error rate of the model using MAPE.

Here, we have made use of LinearRegression() function to apply linear regression on the dataset. Further, we have used the predict() function to predict the values for the testing dataset.

At last, we have called the MAPE() function created above to estimate the error value in the predictions as shown below:

Output:

Mean Absolute Percentage Error with Python scikit learn library

In this example, we have implemented the concept of MAPE using Python sklearn library.

Python sklearn library offers us with mean_absolute_error() function to calculate the MAPE value as shown below–

Example:

Output:

Conclusion

By this, we have come to the end of this topic. Feel free to comment below, in case you come across any question.

For more such posts related to Python, Stay tuned here and till then, Happy Learning!! 🙂

Источник

Методы оценки качества прогноза

Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R 2 ) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )

В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.

• R 2
• MSE
• MAPE
• MAD
• Bias

Попробую объяснить, что я имел в виду.

Остатки

Суровые MSE и R 2

Когда нам требуется подогнать кривую под наши данные, то точность этой подгонки будет оцениваться программой по среднеквадратической ошибке (mean squared error, MSE). Рассчитывается по незамысловатой формуле

где n-количество наблюдений.

Соотвественно, программа, рассчитывая кривую подгонки, стремится минимизировать этот коэффициент. Квадраты остатков в числителе взяты именно по той причине, чтобы плюсы и минусы не взаимоуничтожились. Физического смысла MSE не имеет, но чем ближе к нулю, тем модель лучше.

Вторая абстрактная величина это R 2 — коэффициент детерминации. Характеризует степень сходства исходных данных и предсказанных. В отличии от MSE не зависит от единиц измерения данных, поэтому поддается сравнению. Рассчитывается коэффициент по следующей формуле:

где Var(Y) — дисперсия исходных данных.

Безусловно коэффициент детерминации — важный критерий выбора модели. И если модель плохо коррелирует с исходными данными, она вряд ли будет иметь высокую предсказательную силу.

MAPE и MAD для сравнения моделей

Статистические методы оценки моделей вроде MSE и R 2 , к сожалению, трудно интерпретировать, поэтому светлые головы придумали облегченные, но удобные для сравнения коэффициенты.

Среднее абсолютное отклонение (mean absolute deviation, MAD) определяется как частное от суммы остатков по модулю к числу наблюдений. То есть, средний остаток по модулю. Удобно? Вроде да, а вроде и не очень. В моем примере MAD=43. Выраженный в абсолютных единицах MAD показывает насколько единиц в среднем будет ошибаться прогноз.

MAPE призван придать модели еще более наглядный смысл. Расшифровывается выражение как средняя абсолютная ошибка в процентах (mean percentage absolute error, MAPE).

где Y — значение исходного ряда.

Выражается MAPE в процентах, и в моем случае означает, что в модель может ошибаться в среднем на 16%. Что, согласитесь, вполне допустимо.

Наконец, последняя абсолютно синтетическая величина — это Bias, или просто смещение. Дело в том, что в реальном мире отклонения в одну сторону зачастую гораздо болезненнее, чем в другую. К примеру, при условно неограниченных складских помещениях, важнее учитывать скачки реального спроса вверх от спрогнозированных значений. Поэтому случаи, где остатки положительные относятся к общему числу наблюдений. В моем случае 44% спрогнозированных значений оказались ниже исходных. И можно пожертвовать другими критериями оценки, чтобы минимизировать этот Bias.

Можете попробовать это сами в Excel и Numbers

Интересно узнать — какие методы оценки качества прогнозирования вы используете в своей работе?

Источник

Среднее абсолютное отклонение или Среднее абсолютное отклонение (MAD ) набора данных — это среднее из абсолютных отклонений от центральной точки. Это сводная статистика статистической дисперсии или изменчивости. В общем виде центральной точкой может быть среднее, медиана, мода или результат любой другой меры центральной тенденции или любой случайной точки данных, относящейся к данному набору данных. Абсолютные значения различий между точками данных и их центральная тенденция суммируются и делятся на количество точек данных.

Содержание

• 1 Меры дисперсии
• 2 Среднее абсолютное отклонение около центральной точки
  • 2.1 Среднее абсолютное отклонение около среднего
  • 2.2 Среднее абсолютное отклонение около медианы
• 3 Среднее абсолютное отклонение около центральная точка
  • 3.1 Среднее абсолютное отклонение около среднего
  • 3.2 Среднее абсолютное отклонение около медианы
• 4 Максимальное абсолютное отклонение
• 5 Минимизация
• 6 Оценка
• 7 См. также
• 8 Ссылки
• 9 Внешние ссылки

Меры дисперсии

Некоторые меры статистической дисперсии определены в терминах абсолютного отклонения. Термин «среднее абсолютное отклонение» не однозначно определяет меру статистической дисперсии, так как есть несколько показателей, которые можно использовать для измерения абсолютных отклонений, и есть несколько показателей центральной тенденции это тоже можно использовать. Таким образом, для однозначной идентификации абсолютного отклонения необходимо указать как меру отклонения, так и меру центральной тенденции. К сожалению, в статистической литературе еще не приняты стандартные обозначения, так как среднее абсолютное отклонение около среднего и среднее абсолютное отклонение около медианы были обозначены инициалами «MAD». «в литературе, что может привести к путанице, поскольку в целом они могут иметь значения, значительно отличающиеся друг от друга.

Среднее абсолютное отклонение вокруг центральной точки

Среднее абсолютное отклонение набора {x 1, x 2,…, x n } равно

1 n ∑ i = 1 n | х i — m (X) |. { displaystyle { frac {1} {n}} sum _ {i = 1} ^ {n} | x_ {i} -m (X) |.}

Выбор меры центральной тенденции, m (X) { displaystyle m (X)}, оказывает заметное влияние на значение среднего отклонения. Например, для набора данных {2, 2, 3, 4, 14}:

Мера центральной тенденции m (X) { displaystyle m (X)}	Среднее абсолютное отклонение
Среднее = 5	| 2 — 5 | + | 2 — 5 | + | 3 — 5 | + | 4 — 5 | + | 14 — 5 | 5 = 3,6 { displaystyle { frac {| 2-5 | + | 2-5 | + | 3-5 | + | 4-5 | + | 14-5 |} {5}} = 3,6}
Медиана = 3	| 2 — 3 | + | 2 — 3 | + | 3 — 3 | + | 4 — 3 | + | 14 — 3 | 5 = 2,8 { displaystyle { frac {| 2-3 | + | 2-3 | + | 3-3 | + | 4-3 | + | 14-3 |} {5}} = 2,8}
Mode = 2	| 2 — 2 | + | 2 — 2 | + | 3 — 2 | + | 4 — 2 | + | 14 — 2 | 5 = 3,0 { displaystyle { frac {| 2-2 | + | 2-2 | + | 3-2 | + | 4-2 | + | 14-2 |} {5}} = 3,0}

Среднее абсолютное отклонение от медианы меньше или равно среднему абсолютному отклонению от среднего. Фактически, среднее абсолютное отклонение от медианы всегда меньше или равно среднему абсолютному отклонению от любого другого фиксированного числа.

Среднее абсолютное отклонение от среднего меньше или равно стандартному отклонению ; один из способов доказательства этого основан на неравенстве Дженсена.

Доказательство

неравенство Дженсена: φ (E [Y]) ≤ E [φ (Y)] { displaystyle varphi left ( mathbb {E} [Y] right) leq mathbb {E} left [ varphi (Y) right]}, где φ — выпуклая функция, это означает, что для Y = | X — μ | { displaystyle Y = vert X- mu vert}, что: E (| X — μ |) 2 ≤ E (| X — μ | 2) { displaystyle mathbb { E} left (| X- mu right |) ^ {2} leq mathbb {E} left (| X- mu | ^ {2} right)} E (| X — μ |) 2 ≤ Var ⁡ (X) { displaystyle mathbb {E} left (| X- mu right |) ^ {2} leq operatorname {Var} (X)} Поскольку оба стороны положительны, а квадратный корень — это монотонно возрастающая функция в положительной области: E (| X — μ |) ≤ Var ⁡ (X) { displaystyle mathbb {E} left (| X- mu right |) leq { sqrt { operatorname {Var} (X)}}} Для общего случая этого утверждения см. Hölder’s неравенство.

Для нормального распределения отношение среднего абсолютного отклонения к стандартному отклонению составляет 2 / π = 0,79788456… { displaystyle { sqrt {2 / pi}} = 0,79788456 ldots}. Таким образом, если X — нормально распределенная случайная величина с ожидаемым значением 0, тогда см. Geary (1935):

w = E | X | Е (Х 2) = 2 π. { displaystyle w = { frac {E | X |} { sqrt {E (X ^ {2})}}} = { sqrt { frac {2} { pi}}}.}

Другими словами, для нормального распределения среднее абсолютное отклонение составляет примерно 0,8 стандартного отклонения. Однако измерения внутри выборки предоставляют значения отношения среднего среднего отклонения / стандартного отклонения для данной гауссовой выборки n со следующими границами: wn ∈ [0, 1] { displaystyle w_ {n} in [0, 1]}, со смещением для малых n.

Среднее абсолютное отклонение от среднего

Среднее абсолютное отклонение (MAD), также называемое «средним отклонением» или иногда «средним абсолютным отклонением», представляет собой среднее значение абсолютных отклонений данных от среднего значения данных: среднее (абсолютное) расстояние от среднего. «Среднее абсолютное отклонение» может относиться либо к этому использованию, либо к общей форме по отношению к указанной центральной точке (см. Выше).

MAD было предложено использовать вместо стандартного отклонения, поскольку оно лучше соответствует реальной жизни. Поскольку MAD является более простой мерой изменчивости, чем стандартное отклонение, он может быть полезен в школьном обучении.

Точность прогноза этого метода очень тесно связана со среднеквадратичной ошибкой (MSE), который представляет собой просто среднеквадратичную ошибку прогнозов. Хотя эти методы очень тесно связаны, MAD используется чаще, потому что его проще вычислить (избегая возведения в квадрат) и легче понять.

Среднее абсолютное отклонение около медианы

Среднее абсолютное отклонение от медианы (медиана MAD) позволяет напрямую измерить масштаб случайной переменной вокруг медианы

D med = E | X — медиана | { displaystyle D _ { text {med}} = E | X — { text {median}} |}

Это оценка максимального правдоподобия параметра масштаба b { displaystyle b}из распределения Лапласа. Для нормального распределения имеем D med = σ 2 / π { displaystyle D _ { text {med}} = sigma { sqrt {2 / pi}}}. Поскольку медиана минимизирует среднее абсолютное расстояние, мы имеем D med ≤ D mean { displaystyle D _ { text {med}} leq D _ { text {mean}}}. Используя общую дисперсионную функцию, Хабиб (2011) определил MAD относительно медианы как

D med = E | X — медиана | Знак равно 2 Cov ⁡ (X, IO) { displaystyle D _ { text {med}} = E | X — { text {median}} | = 2 operatorname {Cov} (X, I_ {O})}

, где индикаторной функцией является

IO: = {1, если x>медиана, 0 в противном случае. { displaystyle mathbf {I} _ {O}: = { begin {cases} 1 { text {if}} x>{ text {median}}, \ 0 { text {else}}. end {case}}}

Это представление позволяет получить медианные коэффициенты корреляции MAD.

Среднее абсолютное отклонение вокруг центральной точки

Среднее абсолютное отклонение вокруг среднего

В принципе, среднее значение может быть принято как центральная точка для среднего абсолютного отклонения, но чаще вместо него берется медианное значение.

Медианное абсолютное отклонение от медианы

Среднее абсолютное отклонение (также MAD) — это медиана абсолютного отклонения от медианы. Это надежная оценка дисперсии.

Для примера {2, 2, 3, 4, 14}: 3 — это медиана, поэтому абсолютные отклонения от медианы равны {1, 1, 0, 1, 11} (re упорядочены как {0, 1, 1, 1, 11}) со средним значением 1, в данном случае на него не влияет значение выброса 14, поэтому среднее абсолютное отклонение (также называемое MAD) составляет 1.

Максимальное абсолютное отклонение

Максимальное абсолютное отклонение вокруг произвольной точки — это максимум абсолютных отклонений образца от этой точки. Хотя это и не является строго мерой центральной тенденции, максимальное абсолютное отклонение можно найти, используя формулу для среднего абсолютного отклонения, как указано выше с m (X) = max (X) { displaystyle m (X) = max ( X)}, где max (X) { displaystyle max (X)}— это максимум выборки.

Минимизация

Меры статистической дисперсии, полученные из абсолютного отклонения, характеризуют различные меры центральной тенденции как минимизирующие дисперсию: медиана — это мера центральной тенденции, наиболее связанной с абсолютным отклонением. Некоторые параметры местоположения можно сравнить следующим образом:

• L norm статистика: среднее минимизирует среднеквадратичную ошибку
• L norm статистика: медиана минимизирует среднее абсолютное отклонение,
• L статистика norm : средний диапазон минимизирует максимальное абсолютное отклонение
• усеченное L norm статистика: например, midhinge ( среднее значение первого и третьего квартилей ), который минимизирует среднее абсолютное отклонение всего распределения, а также минимизирует максимальное абсолютное отклонение распределения после отсечения верхних и нижних 25%.

Оценка

Среднее абсолютное отклонение выборки — это смещенная оценка среднего абсолютного отклонения совокупности. Для того чтобы абсолютное отклонение было объективной оценкой, ожидаемое значение (среднее) всех абсолютных отклонений выборки должно равняться абсолютному отклонению генеральной совокупности. Однако это не так. Для населения 1,2,3 и абсолютное отклонение совокупности относительно медианы, и абсолютное отклонение совокупности относительно среднего значения составляют 2/3. Среднее значение всех абсолютных отклонений выборки относительно среднего размера 3, которое можно извлечь из генеральной совокупности, составляет 44/81, в то время как среднее всех абсолютных отклонений выборки относительно медианы составляет 4/9. Следовательно, абсолютное отклонение является смещенной оценкой.

Однако этот аргумент основан на понятии беспристрастности к среднему. Каждый показатель местоположения имеет свою собственную форму беспристрастности (см. Запись о смещенной оценке ). Соответствующая форма беспристрастности здесь — медианная непредвзятость.

См. Также

• Отклонение (статистика)
• Средняя абсолютная ошибка
• Ошибки и невязки в статистике
• Наименьшие абсолютные отклонения
• Функция потерь
• Средняя абсолютная ошибка в процентах
• Средняя разница
• Среднеквадратичная ошибка
• Среднее абсолютное отклонение
• Квадратные отклонения

Ссылки

Внешние ссылки

• Преимущества среднего абсолютного отклонения