Two Types of Experimental Error
No matter how careful you are, there is always error in a measurement. Error is not a «mistake»—it’s part of the measuring process. In science, measurement error is called experimental error or observational error.
There are two broad classes of observational errors: random error and systematic error. Random error varies unpredictably from one measurement to another, while systematic error has the same value or proportion for every measurement. Random errors are unavoidable, but cluster around the true value. Systematic error can often be avoided by calibrating equipment, but if left uncorrected, can lead to measurements far from the true value.
Key Takeaways
- Random error causes one measurement to differ slightly from the next. It comes from unpredictable changes during an experiment.
- Systematic error always affects measurements the same amount or by the same proportion, provided that a reading is taken the same way each time. It is predictable.
- Random errors cannot be eliminated from an experiment, but most systematic errors can be reduced.
Random Error Example and Causes
If you take multiple measurements, the values cluster around the true value. Thus, random error primarily affects precision. Typically, random error affects the last significant digit of a measurement.
The main reasons for random error are limitations of instruments, environmental factors, and slight variations in procedure. For example:
- When weighing yourself on a scale, you position yourself slightly differently each time.
- When taking a volume reading in a flask, you may read the value from a different angle each time.
- Measuring the mass of a sample on an analytical balance may produce different values as air currents affect the balance or as water enters and leaves the specimen.
- Measuring your height is affected by minor posture changes.
- Measuring wind velocity depends on the height and time at which a measurement is taken. Multiple readings must be taken and averaged because gusts and changes in direction affect the value.
- Readings must be estimated when they fall between marks on a scale or when the thickness of a measurement marking is taken into account.
Because random error always occurs and cannot be predicted, it’s important to take multiple data points and average them to get a sense of the amount of variation and estimate the true value.
Systematic Error Example and Causes
Systematic error is predictable and either constant or else proportional to the measurement. Systematic errors primarily influence a measurement’s accuracy.
Typical causes of systematic error include observational error, imperfect instrument calibration, and environmental interference. For example:
- Forgetting to tare or zero a balance produces mass measurements that are always «off» by the same amount. An error caused by not setting an instrument to zero prior to its use is called an offset error.
- Not reading the meniscus at eye level for a volume measurement will always result in an inaccurate reading. The value will be consistently low or high, depending on whether the reading is taken from above or below the mark.
- Measuring length with a metal ruler will give a different result at a cold temperature than at a hot temperature, due to thermal expansion of the material.
- An improperly calibrated thermometer may give accurate readings within a certain temperature range, but become inaccurate at higher or lower temperatures.
- Measured distance is different using a new cloth measuring tape versus an older, stretched one. Proportional errors of this type are called scale factor errors.
- Drift occurs when successive readings become consistently lower or higher over time. Electronic equipment tends to be susceptible to drift. Many other instruments are affected by (usually positive) drift, as the device warms up.
Once its cause is identified, systematic error may be reduced to an extent. Systematic error can be minimized by routinely calibrating equipment, using controls in experiments, warming up instruments prior to taking readings, and comparing values against standards.
While random errors can be minimized by increasing sample size and averaging data, it’s harder to compensate for systematic error. The best way to avoid systematic error is to be familiar with the limitations of instruments and experienced with their correct use.
Key Takeaways: Random Error vs. Systematic Error
- The two main types of measurement error are random error and systematic error.
- Random error causes one measurement to differ slightly from the next. It comes from unpredictable changes during an experiment.
- Systematic error always affects measurements the same amount or by the same proportion, provided that a reading is taken the same way each time. It is predictable.
- Random errors cannot be eliminated from an experiment, but most systematic errors may be reduced.
Sources
- Bland, J. Martin, and Douglas G. Altman (1996). «Statistics Notes: Measurement Error.» BMJ 313.7059: 744.
- Cochran, W. G. (1968). «Errors of Measurement in Statistics». Technometrics. Taylor & Francis, Ltd. on behalf of American Statistical Association and American Society for Quality. 10: 637–666. doi:10.2307/1267450
- Dodge, Y. (2003). The Oxford Dictionary of Statistical Terms. OUP. ISBN 0-19-920613-9.
- Taylor, J. R. (1999). An Introduction to Error Analysis: The Study of Uncertainties in Physical Measurements. University Science Books. p. 94. ISBN 0-935702-75-X.
Two Types of Experimental Error
No matter how careful you are, there is always error in a measurement. Error is not a «mistake»—it’s part of the measuring process. In science, measurement error is called experimental error or observational error.
There are two broad classes of observational errors: random error and systematic error. Random error varies unpredictably from one measurement to another, while systematic error has the same value or proportion for every measurement. Random errors are unavoidable, but cluster around the true value. Systematic error can often be avoided by calibrating equipment, but if left uncorrected, can lead to measurements far from the true value.
Key Takeaways
- Random error causes one measurement to differ slightly from the next. It comes from unpredictable changes during an experiment.
- Systematic error always affects measurements the same amount or by the same proportion, provided that a reading is taken the same way each time. It is predictable.
- Random errors cannot be eliminated from an experiment, but most systematic errors can be reduced.
Random Error Example and Causes
If you take multiple measurements, the values cluster around the true value. Thus, random error primarily affects precision. Typically, random error affects the last significant digit of a measurement.
The main reasons for random error are limitations of instruments, environmental factors, and slight variations in procedure. For example:
- When weighing yourself on a scale, you position yourself slightly differently each time.
- When taking a volume reading in a flask, you may read the value from a different angle each time.
- Measuring the mass of a sample on an analytical balance may produce different values as air currents affect the balance or as water enters and leaves the specimen.
- Measuring your height is affected by minor posture changes.
- Measuring wind velocity depends on the height and time at which a measurement is taken. Multiple readings must be taken and averaged because gusts and changes in direction affect the value.
- Readings must be estimated when they fall between marks on a scale or when the thickness of a measurement marking is taken into account.
Because random error always occurs and cannot be predicted, it’s important to take multiple data points and average them to get a sense of the amount of variation and estimate the true value.
Systematic Error Example and Causes
Systematic error is predictable and either constant or else proportional to the measurement. Systematic errors primarily influence a measurement’s accuracy.
Typical causes of systematic error include observational error, imperfect instrument calibration, and environmental interference. For example:
- Forgetting to tare or zero a balance produces mass measurements that are always «off» by the same amount. An error caused by not setting an instrument to zero prior to its use is called an offset error.
- Not reading the meniscus at eye level for a volume measurement will always result in an inaccurate reading. The value will be consistently low or high, depending on whether the reading is taken from above or below the mark.
- Measuring length with a metal ruler will give a different result at a cold temperature than at a hot temperature, due to thermal expansion of the material.
- An improperly calibrated thermometer may give accurate readings within a certain temperature range, but become inaccurate at higher or lower temperatures.
- Measured distance is different using a new cloth measuring tape versus an older, stretched one. Proportional errors of this type are called scale factor errors.
- Drift occurs when successive readings become consistently lower or higher over time. Electronic equipment tends to be susceptible to drift. Many other instruments are affected by (usually positive) drift, as the device warms up.
Once its cause is identified, systematic error may be reduced to an extent. Systematic error can be minimized by routinely calibrating equipment, using controls in experiments, warming up instruments prior to taking readings, and comparing values against standards.
While random errors can be minimized by increasing sample size and averaging data, it’s harder to compensate for systematic error. The best way to avoid systematic error is to be familiar with the limitations of instruments and experienced with their correct use.
Key Takeaways: Random Error vs. Systematic Error
- The two main types of measurement error are random error and systematic error.
- Random error causes one measurement to differ slightly from the next. It comes from unpredictable changes during an experiment.
- Systematic error always affects measurements the same amount or by the same proportion, provided that a reading is taken the same way each time. It is predictable.
- Random errors cannot be eliminated from an experiment, but most systematic errors may be reduced.
Sources
- Bland, J. Martin, and Douglas G. Altman (1996). «Statistics Notes: Measurement Error.» BMJ 313.7059: 744.
- Cochran, W. G. (1968). «Errors of Measurement in Statistics». Technometrics. Taylor & Francis, Ltd. on behalf of American Statistical Association and American Society for Quality. 10: 637–666. doi:10.2307/1267450
- Dodge, Y. (2003). The Oxford Dictionary of Statistical Terms. OUP. ISBN 0-19-920613-9.
- Taylor, J. R. (1999). An Introduction to Error Analysis: The Study of Uncertainties in Physical Measurements. University Science Books. p. 94. ISBN 0-935702-75-X.
Ошибки измерения
Погрешность измерения можно отнести к одной из двух категорий: неправильность в действиях и ошибка измерения.
Неправильность в действиях возникает из-за промаха оператора, действия которого не согласуются с правильной процедурой измерения; примерами таких промахов являются считывание показаний по неправильной шкале,
неправильная настройка, перегрузка и т. д. Их можно
полностью избежать, выполняя измерения аккуратно.
Ошибки измерения, в свою очередь, могут быть двух типов:
систематические ошибки и случайные ошибки. На практике ошибки обоих типов присутствуют одновременно.
Систематические ошибки
Когда мы несколько раз измеряем какую-то определенную физическую величину с помощью одной и той же измерительной системы, поддерживая условия измерения неизменными, мы сталкиваемся с наличием ошибок,
значение которых раз от раза остается одинаковым. Эти ошибки называются систематическими.
Примерами таких ошибок служат ошибки вследствие нагружающего действия или рассогласования, вызываемых влиянием измерительной системы на объект испытаний.
Другой пример — это ошибки, обусловленные неточным знанием передаточных характеристик системы; это — системные ошибки.
Источники систематических ошибок
Возникновение систематических ошибок можно проследить, тщательно анализируя весь измерительный тракт от измеряемого объекта да наблюдателя через измерительную систему.
Другой путь выявления таких систематических ошибок состоит в проведении измерения по совершенно другому принципу и с помощью другой аппаратуры (метод повторений).
Случайные ошибки
Случайными являются такие ошибки, которые меняются непредсказуемо от одного измерения к другому при определении одной и той же физической величины с помощью одной и той же аппаратуры при неизменных условиях.
Обычно они бывают обусловлены большим числом факторов, которые влияют на результат измерения независимо.
Мы не можем скорректировать случайные ошибки, так как нам неизвестны их причины и следствием их являются случайные (непредсказуемые) колебания результата измерения.
Примеры случайных ошибок
Примерами случайных ошибок служат ошибки наблюдателя при считывании показаний прибора с аналоговой шкалой (такого, как термометр), ошибки регулировки или выравнивания при установке нуля или при настройке измерительного прибора (например, при балансировке моста), а также ошибки округления.
Все, о чем мы можем говорить, имея дело со случайными ошибками, это вероятность того, что ошибка будет той или иной величины.
Теория вероятностей и статистика дают нам возможность делать определенные утверждения при наличии случайных ошибок.
Источники ошибок
Рассмотрим источники возможных ошибок на основе структурной схемы измерения
Рис. Взаимодействия измерительной системы с исследуемым объектом, окружающей средой и наблюдателем.
•ошибка обратного влияния. Необходимо согласовать
входной каскад измерительной системы (заштрихованный);
•ошибка взаимодействия между выходом измерительной системы и наблюдателем;
•окружающая среда существенно влияет на результат
работы измерительной системы, это взаимодействие с окружающей средой нежелательно, оно вызывает возмущения и помехи. Об этом источнике ошибок
измерения говорят как о возмущающем или «мешающем» воздействии;
•источником ошибок измерения являются
(несовершенные) характеристики самой измерительной системы. Если характеристики системы не соответствуют требованиям данного измерения, то они приводят к тому, что измерения оказываются неправильными.
Обратное влияние на измеряемый объект: согласование
В зависимости от ситуации различают три типа такого согласования:
•Анэнергетическое согласование;
•Энергетическое согласование;
•Согласование по шуму.
Анэнергетическое согласование
Целью анэнергетического согласования является сведение к минимуму передачи энергии или мощности между объектом измерения и измерительной системой. В результате согласования в процессе измерения никакая (сколько-нибудь ощутимая) энергия не передается на измеряемый объект и не потребляется от него.
Пример анэнергетического согласования
Рис. иллюстрирует принцип анэнергетического согласования при измерении V-величины V0. Результат действия измерительной системы пропорционален значению Vi, которое равно
Отсюда следует, что для точного измерения V-величины необходимо, чтобы входное сопротивление измерительной системы было много больше, чем внутреннее сопротивление объекта измерений.
- 2023
ÐÑÐµÐ¼Ñ Ð¸ СÑекло Так вÑпала ÐаÑÑа HD VKlipe Net
Оглавление:
- Ключевые вынос
- Случайный пример ошибки и причины
- Пример и причины систематической ошибки
- Ключевые выводы: случайная ошибка против систематической ошибки
- источники
Независимо от того, насколько вы осторожны, всегда есть ошибка в измерении. Ошибка не является «ошибкой» — это часть процесса измерения. В науке ошибка измерения называется экспериментальной ошибкой или наблюдательной ошибкой.
Существует два широких класса ошибок наблюдений: случайная ошибка а также систематическая ошибка, Случайная ошибка изменяется непредсказуемо от одного измерения к другому, в то время как систематическая ошибка имеет одинаковое значение или пропорцию для каждого измерения.
Ключевые вынос
- Случайная ошибка приводит к тому, что одно измерение немного отличается от следующего. Это происходит из-за непредсказуемых изменений во время эксперимента.
- Систематическая ошибка всегда влияет на результаты измерений в одинаковом или одинаковом соотношении, при условии, что показания проводятся каждый раз одинаково. Это предсказуемо.
- Случайные ошибки не могут быть устранены из эксперимента, но большинство систематических ошибок могут быть уменьшены.
Случайный пример ошибки и причины
Если вы делаете несколько измерений, значения группируются вокруг истинного значения. Таким образом, случайная ошибка в первую очередь влияет на точность. Как правило, случайная ошибка влияет на последнюю значащую цифру измерения.
Основными причинами случайной ошибки являются ограничения инструментов, факторы окружающей среды и небольшие изменения в процедуре. Например:
- При взвешивании на весах вы позиционируете себя немного по-разному каждый раз.
- При измерении объема в колбе вы можете каждый раз читать значение под другим углом.
- Измерение массы образца на аналитических весах может привести к различным значениям, когда воздушные потоки влияют на весы или когда вода входит в образец и покидает его.
- Измерение вашего роста зависит от незначительных изменений осанки.
- Измерение скорости ветра зависит от высоты и времени измерения. Многократные чтения должны быть взяты и усреднены, потому что порывы и изменения в направлении влияют на значение.
- Показания должны оцениваться, когда они находятся между отметками на шкале или когда учитывается толщина измерительной отметки.
Поскольку случайная ошибка всегда возникает и не может быть предсказана, важно взять несколько точек данных и усреднить их, чтобы получить представление о величине отклонения и оценить истинное значение.
Пример и причины систематической ошибки
Систематическая ошибка предсказуема и либо постоянна, либо пропорциональна измерению. Систематические ошибки в первую очередь влияют на точность измерения.
Типичные причины систематической ошибки включают в себя ошибку наблюдений, несовершенную калибровку прибора и помехи окружающей среды. Например:
- Если забыть о тарировании или обнулении баланса, получаются измерения массы, которые всегда «выключаются» на одну и ту же величину. Ошибка, вызванная не установкой прибора на ноль до его использования, называется ошибка смещения.
- Не считывание мениска на уровне глаз для измерения объема всегда приводит к неточным показаниям. Значение будет постоянно низким или высоким, в зависимости от того, взяты ли показания сверху или ниже отметки.
- Измерение длины с помощью металлической линейки даст другой результат при холодной температуре, чем при высокой температуре, из-за теплового расширения материала.
- Неправильно откалиброванный термометр может дать точные показания в определенном температурном диапазоне, но стать неточным при более высоких или более низких температурах.
- Измеренное расстояние отличается при использовании новой измерительной ленты от старой натянутой ленты. Пропорциональные ошибки этого типа называются ошибки масштабного коэффициента.
- дрейф происходит, когда последовательные чтения становятся последовательно ниже или выше со временем. Электронное оборудование имеет тенденцию быть склонным к дрейфу. Многие другие инструменты подвержены (как правило, положительному) дрейфу, поскольку устройство нагревается.
Как только его причина установлена, систематическая ошибка может быть уменьшена до некоторой степени. Систематическая ошибка может быть сведена к минимуму путем регулярной калибровки оборудования, использования контрольных элементов в экспериментах, прогрева приборов до снятия показаний и сравнения значений со стандартами.
В то время как случайные ошибки могут быть минимизированы путем увеличения размера выборки и усреднения данных, сложнее компенсировать систематическую ошибку. Лучший способ избежать систематической ошибки — это знать ограничения инструментов и иметь опыт их правильного использования.
Ключевые выводы: случайная ошибка против систематической ошибки
- Двумя основными типами ошибок измерения являются случайная ошибка и систематическая ошибка.
- Случайная ошибка приводит к тому, что одно измерение немного отличается от следующего. Это происходит из-за непредсказуемых изменений во время эксперимента.
- Систематическая ошибка всегда влияет на результаты измерений в одинаковом или одинаковом соотношении, при условии, что показания проводятся каждый раз одинаково. Это предсказуемо.
- Случайные ошибки не могут быть устранены из эксперимента, но большинство систематических ошибок могут быть уменьшены.
источники
- Блэнд, Дж. Мартин и Дуглас Г. Альтман (1996). «Статистические заметки: ошибка измерения». BMJ 313.7059: 744.
- Cochran, W.G. (1968). «Ошибки измерения в статистике». Technometrics, Taylor & Francis, Ltd. от имени Американской статистической ассоциации и Американского общества качества. 10: 637–666. DOI: 10,2307 / 1267450
- Додж Ю. (2003). Оксфордский словарь статистических терминов, ОУП. ISBN 0-19-920613-9.
- Тейлор, Дж. Р. (1999). Введение в анализ ошибок: изучение неопределенностей в физических измерениях, Университетская Наука Книги. п. 94. ISBN 0-935702-75-X.
Независимо от того, насколько вы осторожны, всегда есть ошибка в измерении. Ошибка не является «ошибкой» — это часть процесса измерения. В науке ошибка измерения называется экспериментальной ошибкой или наблюдательной ошибкой.
Существует два широких класса ошибок наблюдений: случайная ошибка а также систематическая ошибка, Случайная ошибка изменяется непредсказуемо от одного измерения к другому, в то время как систематическая ошибка имеет одинаковое значение или пропорцию для каждого измерения.
Ключевые вынос
- Случайная ошибка приводит к тому, что одно измерение немного отличается от следующего. Это происходит из-за непредсказуемых изменений во время эксперимента.
- Систематическая ошибка всегда влияет на результаты измерений в одинаковом или одинаковом соотношении, при условии, что показания проводятся каждый раз одинаково. Это предсказуемо.
- Случайные ошибки не могут быть устранены из эксперимента, но большинство систематических ошибок могут быть уменьшены.
Случайный пример ошибки и причины
Если вы делаете несколько измерений, значения группируются вокруг истинного значения. Таким образом, случайная ошибка в первую очередь влияет на точность. Как правило, случайная ошибка влияет на последнюю значащую цифру измерения.
Основными причинами случайной ошибки являются ограничения инструментов, факторы окружающей среды и небольшие изменения в процедуре. Например:
- При взвешивании на весах вы позиционируете себя немного по-разному каждый раз.
- При измерении объема в колбе вы можете каждый раз читать значение под другим углом.
- Измерение массы образца на аналитических весах может привести к различным значениям, когда воздушные потоки влияют на весы или когда вода входит в образец и покидает его.
- Измерение вашего роста зависит от незначительных изменений осанки.
- Измерение скорости ветра зависит от высоты и времени измерения. Многократные чтения должны быть взяты и усреднены, потому что порывы и изменения в направлении влияют на значение.
- Показания должны оцениваться, когда они находятся между отметками на шкале или когда учитывается толщина измерительной отметки.
Поскольку случайная ошибка всегда возникает и не может быть предсказана, важно взять несколько точек данных и усреднить их, чтобы получить представление о величине отклонения и оценить истинное значение.
Пример и причины систематической ошибки
Систематическая ошибка предсказуема и либо постоянна, либо пропорциональна измерению. Систематические ошибки в первую очередь влияют на точность измерения.
Типичные причины систематической ошибки включают в себя ошибку наблюдений, несовершенную калибровку прибора и помехи окружающей среды. Например:
- Если забыть о тарировании или обнулении баланса, получаются измерения массы, которые всегда «выключаются» на одну и ту же величину. Ошибка, вызванная не установкой прибора на ноль до его использования, называется ошибка смещения.
- Не считывание мениска на уровне глаз для измерения объема всегда приводит к неточным показаниям. Значение будет постоянно низким или высоким, в зависимости от того, взяты ли показания сверху или ниже отметки.
- Измерение длины с помощью металлической линейки даст другой результат при холодной температуре, чем при высокой температуре, из-за теплового расширения материала.
- Неправильно откалиброванный термометр может дать точные показания в определенном температурном диапазоне, но стать неточным при более высоких или более низких температурах.
- Измеренное расстояние отличается при использовании новой измерительной ленты от старой натянутой ленты. Пропорциональные ошибки этого типа называются ошибки масштабного коэффициента.
- дрейф происходит, когда последовательные чтения становятся последовательно ниже или выше со временем. Электронное оборудование имеет тенденцию быть склонным к дрейфу. Многие другие инструменты подвержены (как правило, положительному) дрейфу, поскольку устройство нагревается.
Как только его причина установлена, систематическая ошибка может быть уменьшена до некоторой степени. Систематическая ошибка может быть сведена к минимуму путем регулярной калибровки оборудования, использования контрольных элементов в экспериментах, прогрева приборов до снятия показаний и сравнения значений со стандартами.
В то время как случайные ошибки могут быть минимизированы путем увеличения размера выборки и усреднения данных, сложнее компенсировать систематическую ошибку. Лучший способ избежать систематической ошибки — это знать ограничения инструментов и иметь опыт их правильного использования.
Ключевые выводы: случайная ошибка против систематической ошибки
- Двумя основными типами ошибок измерения являются случайная ошибка и систематическая ошибка.
- Случайная ошибка приводит к тому, что одно измерение немного отличается от следующего. Это происходит из-за непредсказуемых изменений во время эксперимента.
- Систематическая ошибка всегда влияет на результаты измерений в одинаковом или одинаковом соотношении, при условии, что показания проводятся каждый раз одинаково. Это предсказуемо.
- Случайные ошибки не могут быть устранены из эксперимента, но большинство систематических ошибок могут быть уменьшены.
источники
- Блэнд, Дж. Мартин и Дуглас Г. Альтман (1996). «Статистические заметки: ошибка измерения». BMJ 313.7059: 744.
- Cochran, W.G. (1968). «Ошибки измерения в статистике». Technometrics, Taylor & Francis, Ltd. от имени Американской статистической ассоциации и Американского общества качества. 10: 637–666. DOI: 10,2307 / 1267450
- Додж Ю. (2003). Оксфордский словарь статистических терминов, ОУП. ISBN 0-19-920613-9.
- Тейлор, Дж. Р. (1999). Введение в анализ ошибок: изучение неопределенностей в физических измерениях, Университетская Наука Книги. п. 94. ISBN 0-935702-75-X.
Перевод книги Эндрю Ына «Страсть к машинному обучению» Главы 20 — 22 +16
Машинное обучение
Рекомендация: подборка платных и бесплатных курсов Smm — https://katalog-kursov.ru/
предыдущие главы
Предположим, ваша тренировочная, валидационная и тестовая выборки имеют одно и то же распределение. Тогда нужно брать больше данных для обучения, это только улучшит качество работы алгоритма, всегда ли это верно?
Несмотря на то, что получение большего количества данных не может повредить работе, к сожалению, новые данные не всегда помогают настолько, насколько можно ожидать. В некоторых случаях работа по получению дополнительных данных может оказаться пустой тратой усилий. Как принять решение — в каких случаях добавлять данные, а когда не стоит об этом беспокоиться.
В машинном обучении присутствуют два главных источника ошибок: систематические и случайные (Variance) (дисперсионные). Понимание того, что они из себя представляют поможет вам решить — нужно ли добавлять еще данные, так же поможет выбрать тактику по улучшению качества работы классификатора.
замечание переводчика Variance переводится, как дисперсия или отклонение. Но я буду использовать не «дисперсию» или «дисперсионную ошибку», а более свойственное русскоязычной технической литературе определение «случайной ошибки». К тому же дисперсия в теории вероятностей и статистике имеет очень конкретный математический смысл и формальное выражение, которое еще дальше от значения, вкладываемого в это понятие автором.
Предположим, вы надеетесь построить кошачий распознователь, имеющий 5% ошибок. На текущий момент ошибка вашего классификатора на тренировочной выборке 15%, на валидационной выборке 16%. В таком случае добавление тренировочных данных вряд ли поможет существенно увеличить качество. Вы должны сконцентрироваться на других изменениях системы. В действительности, добавление большего количества примеров в вашу тренировочную выборку только усложнит для вашего алгоритма получение хорошего результата на этой выборке (почему так получается будет объяснено в следующих главах).
Если доля ваших ошибок на тренировочной выборке составляет 15% (что соответствует точности 85%), но вашей целью является доля ошибок в 5% (95% точность), тогда прежде всего нужно улучшить качество работы вашего алгоритма на тренировочной выборке. Качество работы алгоритма на валидационной / тестовой выборках обычно хуже, чем качество его работы на выборке для обучения (на тренировочной выборке). Нужно понимать, что те подходы, которые привели вас к точности, не превышающей 85% на примерах, с которыми ваш алгоритм знаком, не позволят получить точность в 95% на примерах, которые этот алгоритм даже не видел.
Предположим, как указано выше, доля ошибок вашего алгоритма составляет 16% (точность составляет 84%) на валидационной выборке. Мы должны разбить ошибку в 16% на два компонента:
- Первый, доля ошибок алгоритма на тренировочной выборке. В данном примере это 15%. Мы неофициально называть его систематической ошибкой.
- Второй, насколько хуже алгоритм работает на валидационной (или тестовой) выборке, чем на тренировочной. В нашем примере, на 1% хуже на валидационной выборке, чем на тренировочной. Будем так же неофициально считать его случайной ошибкой алгоритма.
замечание автора В статистике присутствует более точное определение для систематической и случайной ошибок, но нас это не должно тревожить. Грубо говоря, будем считать, что систематическая ошибка — это ошибка вашего алгоритма на вашей тренировочной выборке, когда вы имеете очень большую тренировочную выборку. Случайная ошибка — это насколько хуже алгоритм работает на тестовой выборке по сравнению с тренировочной при тех же настройках параметров. Если использовать среднеквадратичную ошибку, то можно записать формулы, определяющие эти две величины и доказать, что общая ошибка равна сумме случайных и систематических погрешностей. Но для наших целей улучшения алгоритмов в задачах машинного обучения, достаточно неформального определения случайной и систематической ошибок.
Некоторые изменения при обучении алгоритма влияют на первый компонент ошибки — на систематическую ошибку ( bias ) и улучшают выполнение алгоритма на тренировочной выборке. Некоторые изменения влияют на второй компонент — на случайную ошибку ( variance ) и помогают лучше обобщить работу алгоритма на валидационную и тестовую выборки.
замечание автора: Так же есть некоторые подходы, которые одновременно уменьшают систематическую и случайные ошибки, внося существенные изменения в архитектуру системы. Но их, как правило, сложнее найти и реализовать
Для выбора наиболее эффективных изменений, которые нужно внести в систему, крайне полезно понимать, как каждый из этих двух компонентов ошибки влияет на общую ошибку системы.
Развитие интуиции в понимании, какой вклад в ошибку вносит Систематическая ошибка, а какой Случайная, поможет вам эффективно выбирать пути улучшения вашего алгоритма.
21 Примеры Случайных и Систематических ошибок
Рассмотрим нашу задачу по классификации кошек. Идеальный классификатор (например, человек) может достичь превосходного качества выполнения этой задачи.
Предположим, что качество работы нашего алгоритма следующее:
- Ошибка на тренировочной выборке = 1%
- Ошибка на валидационной выборке = 11%
Какая проблема у этого классификатора? Применив определения из предыдущей главы, мы оценим систематическую оценку в 1% и случайную в 10% (=11% — 1%). Таким образом, у нашего алгоритма большая случайная ошибка. Классификатор имеет очень низкую ошибку на тренировочной выборке, но не может обобщить результаты обучения на валидационную выборку. Другими словами, мы имеем дело с переобучением (overfitting).
Теперь рассмотрим такую ситуацию:
- Ошибка на тренировочной выборке = 15%
- Ошибка на валидационной выборке = 16%
Тогда мы оценим систематическую ошибку в 15% и случайную в 1%. Этот классификатор плохо обучился на тренировочной выборке, при этом его ошибка на валидационной выборке чуть больше, чем на тренировочной. Таким образом этот классификатор имеет большую систематическую ошибку, но маленькую случайную. Можно сделать вывод, что этот алгоритм недообучился (underfitting).
Еще рассмотрим такое распределение ошибок:
- Ошибка на тренировочной выборке = 15%
- Ошибка на валидационной выборке = 30%
В этом случае систематическая ошибка 15% и случайная тоже 15%. У данного классификатора высокие и систематическая и случайные ошибки: он плохо работает на тренировочной выборке, имея высокую систематическую ошибку, и его качество на валидационной выборке намного хуже, чем на тренировочной, т.е. случайная ошибка тоже большая. Данный случай трудно описать в терминах переобучения/недообучения, этот классификатор одновременно и переобучился и недообучился.
И наконец рассмотрим такую ситуацию:
- Ошибка на тренировочной выборке = 0.5%
- Ошибка на валидационной выборке = 1%
Это отлично работающий классификатор, у него низкие и случайная и систематическая ошибки. Поздравим инженеров с достижением прекрасного результата!
22 Сравнение с оптимальной долей ошибок
В нашем примере по распознаванию кошек, идеальной долей ошибок является уровень, доступный «оптимальному» классификатору и этот уровень близок к 0%. Человек, рассматривающий картинку почти всегда способен распознать, присутствует ли на картинке кошка или нет и мы можем надеяться, что рано или поздно машина будет делать это так же хорошо.
Но есть и более сложные задачи. Например, представьте, что вы разрабатываете систему распознавания речи, и обнаружили, что 14% аудио записей имеют столько фонового шума или настолько неразборчивую речь, что даже человек не может разобрать, что там было сказано. В этом случае даже самая «оптимальная» система распознавания речи может иметь ошибку в районе 14%.
Допустим в приведенной задаче по распознаванию речи наш алгоритм достиг следующих результатов:
- Ошибка на тренировочной выборке = 15%
- Ошибка на валидационной выборке = 30%
Качество работы классификатора на тренировочной выборке уже близко к оптимальному, имеющему долю ошибок в 14%. Таким образом, в данном случае у нас не так много возможностей для уменьшения систематической ошибки (улучшения работы алгоритма на тренировочной выборке). Однако, не получается обобщить работу этого алгоритма на валидационную выборку, поэтому есть большое поле для деятельности по уменьшению случайной ошибки.
Этот случай похож на третий пример из предыдущей главы, в которой ошибка на тренировочной выборке так же равна 15% и ошибка на валидационной выборке 30%. Если оптимальная доля ошибки находится около 0%, тогда ошибка на тренировочной выборке в 15% дает большое пространство для работ по улучшению алгоритма. При таком предположении, усилия, направленные на уменьшение систематической ошибки в работе алгоритма могут быть весьма плодотворны. Но если оптимальная доля ошибок классификации не может быть ниже 14%, то аналогичная доля ошибок алгоритма на тренировочной выборке (т. е. в районе 14-15%) говорит о том, что возможности по уменьшению систематической ошибки практически исчерпаны.
Для задач, в которых оптимальная доля ошибок классификации существенно отличается от нуля, можно предложить более подробную структуризацию ошибок. Продолжим рассматривать приведенный выше пример с распознаванием речи, общая ошибка в 30% на валидационной выборке может быть разложена на следующие составные части (таким же образом можно анализировать ошибки на тестовой выборке):
- Оптимальная систематическая ошибка (unavoidable bias): 14%. Представим, мы решили, что даже возможно наилучшая система распознавания речи в мире, будет иметь долю ошибки в 14%. Мы будем говорить об этом, как о «неустранимой» (unavoidable) части систематической ошибки обучающегося алгоритма.
- Устранимая систематическая ошибка (Avoidable bias): 1%. Эта величина рассчитывается как разница между долей ошибки на тренировочной выборке и оптимальной долей ошибки.
замечание автора: Если данная величина получилась отрицательной, таким образом, ваш алгоритм на тренировочной выборке показывает меньшую ошибку, чем «оптимальная». Это означает, что вы переобучились на тренировочной выборке, ваш алгоритм запомнил примеры (и их классы) тренировочной выборки. В этом случае вы должны сосредоточиться на методах уменьшения случайной ошибки, а не на дальнейшем уменьшении систематической ошибки.
- Случайная ошибка (Variance): 15%. Разница между ошибками на тренировочной выборке и на валидационной выборке
Соотнеся это с нашими прежними определениями, систематическая ошибка и устранимая систематическая ошибка связаны следующим образом:
Систематическая ошибка = Оптимальная систематическая ошибка ( «unavoidable bias» ) + устранимая систематическая ошибка ( «avoidable bias» )
замечание автора: Эти определения выбраны для лучшего объяснения, как можно улучшить качество работы обучающегося алгоритма. Эти определения отличаются от формальных определений систематической и случайной ошибок, принятых в статистике. Технически то, что я определяю, как «Систематическая ошибка» следовало бы назвать «ошибкой, которая заложена в структуре данных, (ее нельзя выявить и устранить)» и «Устранимая систематическая ошибка» нужно определить, как «систематическую ошибку обучающегося алгоритма, которая превышает оптимальную систематическую ошибку».
Устранимая систематическая ошибка (avoidable bias) показывает, насколько хуже качество вашего алгоритма на тренировочной выборке, чем качество «оптимального классификатора».замечание автора
Основная идея случайной ошибки (variance) остается прежней. В теории мы всегда можем уменьшить случайную ошибку практически до нуля, тренируясь на достаточно большой тренировочной выборке. Таким образом любая случайная ошибка является «устранимой» (avoidable) при наличие достаточно большой выборки, поэтому не может быть такого понятия, как «неустранимая случайная ошибка» (unavoidable variance).
Рассмотрим еще один пример, в котором оптимальная ошибка составляет 14% и мы имеем:
- Ошибка на тренировочной выборке = 15%
- Ошибка на валидационной выборке = 16%
В предыдущей главе классификатор с такими показателями мы оценивали, как классификатор с высокой систематической ошибкой, в текущих условиях мы скажем, что «устранимая систематическая ошибка» (avoidable bias) составляет 1%, и случайная ошибка составляет порядка 1%. Таким образом, алгоритм уже работает достаточно хорошо и почти нет резервов для улучшения качества его работы. Качество работы данного алгоритма всего на 2% ниже оптимального.
Из этих примеров понятно, что знание величины неустранимой ошибки полезно для принятия решения о дальнейших действиях. В статистике оптимальную долю ошибки называют так же ошибкой Байеса ( Bayes error rate ).
Как узнать размер оптимальной доли ошибки? Для задач, с которыми хорошо справляется человек, таких как распознавание изображений или расшифровка аудио клипов, можно попросить асессоров разметить данные, а потом измерить точность человеческой разметки на тренировочной выборке. Это даст оценку оптимальной доли ошибок. Если вы работаете над проблемой, с которой сложно справиться даже человеку (например, предсказать, какой фильм рекомендовать или какую рекламу показать пользователю), в этом случае довольно тяжело оценить оптимальную долю ошибок.
В разделе «Сравнение с человеческим уровнем качества» (Comparing to Human-Level Performance, главы с 33 по 35), я буду более подробно обсуждать процесс сравнения качества работы обучающегося алгоритма с уровнем качества, которого может достигнуть человек.
В последних главах, вы узнали, как оценивать устранимые / неустранимые систематическую и случайную ошибки, анализируя долю ошибок классификатора на тренировочной и валидационной выборках. В следующей главе будет рассмотрено, как вы можете использовать выводы из такого анализа для принятия решения о том, сконцентрироваться на методах, уменьшающих систематическую ошибку или на методах, которые уменьшают случайную ошибку. Подходы к борьбе с систематической ошибкой сильно отличаются от подходов к уменьшению случайной ошибки, поэтому техники, которые вы должны применять в вашем проекте для улучшения качества, сильно зависят от того, что является проблемой на настоящий момент — высокая систематическая или высокая случайная ошибка.
Читайте дальше!
Продолжение следует…