Теория полной вероятности. Формула полной вероятности. Формула Байеса

Начнем с примера. В урне, стоящей перед вами, с равной вероятностью могут быть (1) два белых шара, (2) один белый и один черный, (3) два черных. Вы тащите шар, и он оказывается белым. Как теперь вы оцените вероятность этих трех вариантов (гипотез)? Очевидно, что вероятность гипотезы (3) с двумя черными шарами = 0. А вот как подсчитать вероятности двух оставшихся гипотез!? Это позволяет сделать формула Байеса, которая в нашем случае имеет вид (номер формулы соответствует номеру проверяемой гипотезы):

Скачать заметку в формате или

х – случайная величина (гипотеза), принимающая значения: х 1 – два белых, х 2 – один белый, один черный; х 3 – два черных; у – случайная величина (событие), принимающая значения: у 1 – вытащен белый шар и у 2 – вытащен чёрный шар; Р(х 1) – вероятность первой гипотезы до вытаскивания шара (априорная вероятность или вероятность до опыта) = 1/3; Р(х 2) – вероятность второй гипотезы до вытаскивания шара = 1/3; Р(х 3) – вероятность третьей гипотезы до вытаскивания шара = 1/3; Р(у 1 |х 1) – условная вероятность вытащить белый шар, в случае, если верна первая гипотеза (шары белые) = 1; Р(у 1 |х 2) – вероятность вытащить белый шар, в случае, если верна вторая гипотеза (один шар белый, второй – черный) = ½; Р(у 1 |х 3) – вероятность вытащить белый шар, в случае, если верна третья гипотеза (оба черных) = 0; Р(у 1) – вероятность вытащить белый шар = ½; Р(у 2) – вероятность вытащить черный шар = ½; и, наконец, то, что мы ищем – Р(х 1 |у 1) – вероятность того, что верна первая гипотеза (оба шара белых), при условии, что мы вытащили белый шар (апостериорная вероятность или вероятность после опыта); Р(х 2 |у 1) – вероятность того, что верна вторая гипотеза (один шар белый, второй – черный), при условии, что мы вытащили белый шар.

Вероятность того, что верна первая гипотеза (два белых), при условии, что мы вытащили белый шар :

Вероятность того, что верна вторая гипотеза (один белый, второй – черный), при условии, что мы вытащили белый шар :

Вероятность того, что верна третья гипотеза (два черных), при условии, что мы вытащили белый шар :

Что делает формула Байеса? Она дает возможность на основании априорных вероятностей гипотез – Р(х 1), Р(х 2) , Р(х 3) – и вероятностей наступления событий – Р(у 1), Р(у 2) – подсчитать апостериорные вероятности гипотез, например, вероятность первой гипотезы, при условии, что вытащили белый шар – Р(х 1 |у 1) .

Вернемся еще раз к формуле (1). Первоначальная вероятность первой гипотезы была Р(х 1) = 1/3. С вероятностью Р(у 1) = 1/2 мы могли вытащить белый шар, и с вероятностью Р(у 2) = 1/2 – черный. Мы вытащили белый. Вероятность вытащить белый при условии, что верна первая гипотеза Р(у 1 |х 1) = 1. Формула Байеса говорит, что так как вытащили белый, то вероятность первой гипотезы возросла до 2/3, вероятность второй гипотезы по-прежнему равна 1/3, а вероятность третьей гипотезы обратилась в ноль.

Легко проверить, что вытащи мы черный шар, апостериорные вероятности изменились бы симметрично: Р(х 1 |у 2) = 0, Р(х 2 |у 2) = 1/3, Р(х 3 |у 2) = 2/3.

Вот что писал Пьер Симон Лаплас о формуле Байеса в работе , вышедшей в 1814 г.:

Это основной принцип той отрасли анализа случайностей, которая занимается переходами от событий к причинам.

Почему формула Байеса так сложна для понимания!? На мой взгляд, потому, что наш обычный подход – это рассуждения от причин к следствиям. Например, если в урне 36 шаров из которых 6 черных, а остальные белые. Какова вероятность вытащить белый шар? Формула Байеса позволяет идти от событий к причинам (гипотезам). Если у нас было три гипотезы, и произошло событие, то как именно это событие (а не альтернативное) повлияло на первоначальные вероятности гипотез? Как изменились эти вероятности?

Я считаю, что формула Байеса не просто о вероятностях. Она изменяет парадигму восприятия. Каков ход мыслей при использовании детерминистской парадигмы? Если произошло событие, какова его причина? Если произошло ДТП, чрезвычайное происшествие, военный конфликт. Кто или что явилось их виной? Как думает байесовский наблюдатель? Какова структура реальности, приведшая в данном случае к такому-то проявлению… Байесовец понимает, что в ином случае результат мог быть иным…

Немного иначе разместим символы в формулах (1) и (2):

Давайте еще раз проговорим, что же мы видим. С равной исходной (априорной) вероятностью могла быть истинной одна из трех гипотез. С равной вероятностью мы могли вытащить белый или черный шар. Мы вытащили белый. В свете этой новой дополнительной информации следует пересмотреть нашу оценку гипотез. Формула Байеса позволяет это сделать численно. Априорная вероятность первой гипотезы (формула 7) была Р(х 1) , вытащили белый шар, апостериорная вероятность первой гипотезы стала Р(х 1 |у 1). Эти вероятности отличаются на коэффициент .

Событие у 1 называется свидетельством, в большей или меньшей степени подтверждающим или опровергающим гипотезу х 1 . Указанный коэффициент иногда называют мощностью свидетельства. Чем мощнее свидетельство (чем больше коэффициент отличается от единицы), тем больше факт наблюдения у 1 изменяет априорную вероятность, тем больше апостериорная вероятность отличается от априорной. Если свидетельство слабое (коэффициент ~ 1), апостериорная вероятность почти равна априорной.

Свидетельство у 1 в = 2 раза изменило априорную вероятность гипотезы х 1 (формула 4). В то же время свидетельство у 1 не изменило вероятность гипотезы х 2 , так как его мощность = 1 (формула 5).

В общем случае формула Байеса имеет следующий вид:

х – случайная величина (набор взаимоисключающих гипотез), принимающая значения: х 1 , х 2 , … , х n . у – случайная величина (набор взаимоисключающих событий), принимающая значения: у 1 , у 2 , … , у n . Формула Байеса позволяет найти апостериорную вероятность гипотезы х i при наступлении события y j . В числителе – произведение априорной вероятности гипотезы х i – Р(х i ) на вероятность наступления события y j , если верна гипотеза х i – Р(y j |х i ). В знаменателе – сумма произведений того же, что и в числителе, но для всех гипотез. Если вычислить знаменатель, то получим суммарную вероятность наступления события у j (если верна любая из гипотез) – Р(y j ) (как в формулах 1–3).

Еще раз о свидетельстве. Событие y j дает дополнительную информацию, что позволяет пересмотреть априорную вероятность гипотезы х i . Мощность свидетельства – – содержит в числителе вероятность наступления события y j , если верна гипотеза х i . В знаменателе – суммарная вероятность наступления события у j (или вероятность наступления события у j усредненная по всем гипотезам). у j выше для гипотезы x i , чем в среднем для всех гипотез, то свидетельство играет на руку гипотезе x i , увеличивая ее апостериорную вероятность Р(y j |х i ). Если вероятность наступления события у j ниже для гипотезы x i , чем в среднем для всех гипотез, то свидетельство понижает, апостериорную вероятность Р(y j |х i ) для гипотезы x i . Если вероятность наступления события у j для гипотезы x i такая же, как в среднем для всех гипотез, то свидетельство не изменяет апостериорную вероятность Р(y j |х i ) для гипотезы x i .

Предлагаю вашему вниманию несколько примеров, которые, надеюсь, закрепят ваше понимание формулы Байеса.

Задача 2. Два стрелка независимо друг от друга стреляют по одной и той же мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка равна 0,8, для второго - 0,4. После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что эта пробоина принадлежит первому стрелку. .

Задача 3. Объект, за которым ведется наблюдение, может быть в одном из двух состояний: Н 1 = {функционирует} и Н 2 = {не функционирует}. Априорные вероятности этих состояний Р(Н 1) = 0,7, Р(Н 2) = 0,3. Имеется два источника информации, которые приносят разноречивые сведения о состоянии объекта; первый источник сообщает, что объект не функционирует, второй - что функционирует. Известно, что первый источник дает правильные сведения с вероятностью 0,9, а с вероятностью 0,1 - ошибочные. Второй источник менее надежен: он дает правильные сведения с вероятностью 0,7, а с вероятностью 0,3 - ошибочные. Найдите апостериорные вероятности гипотез. .

Задачи 1–3 взяты из учебника Е.С.Вентцель, Л.А.Овчаров. Теория вероятностей и ее инженерные приложения, раздел 2.6 Теорема гипотез (формула Байеса).

Задача 4 взята из книги , раздел 4.3 Теорема Байеса.

Пусть известны их вероятности и соответствующие условные вероятности . Тогда вероятность наступления события равна:

Эта формула получила название формулы полной вероятности . В учебниках она формулируется теоремой, доказательство которой элементарно: согласно алгебре событий , (произошло событие и или произошло событие и после него наступило событие или произошло событие и после него наступило событие или …. или произошло событие и после него наступило событие ) . Поскольку гипотезы несовместны, а событие – зависимо, то по теореме сложения вероятностей несовместных событий (первый шаг) и теореме умножения вероятностей зависимых событий (второй шаг) :

Наверное, многие предчувствуют содержание первого примера =)

Куда ни плюнь – везде урна:

Задача 1

Имеются три одинаковые урны. В первой урне находятся 4 белых и 7 черных шаров, во второй – только белые и в третьей – только черные шары. Наудачу выбирается одна урна и из неё наугад извлекается шар. Какова вероятность того, что этот шар чёрный?

Решение : рассмотрим событие – из наугад выбранной урны будет извлечён чёрный шар. Данное событие может произойти в результате осуществления одной из следующих гипотез:
– будет выбрана 1-я урна;
– будет выбрана 2-я урна;
– будет выбрана 3-я урна.

Так как урна выбирается наугад, то выбор любой из трёх урн равновозможен , следовательно:

Обратите внимание, что перечисленные гипотезы образуют полную группу событий , то есть по условию чёрный шар может появиться только из этих урн, а например, не прилететь с бильярдного стола. Проведём простую промежуточную проверку:
, ОК, едем дальше:

В первой урне 4 белых + 7 черных = 11 шаров, по классическому определению :
– вероятность извлечения чёрного шара при условии , что будет выбрана 1-я урна.

Во второй урне только белые шары, поэтому в случае её выбора появления чёрного шара становится невозможным : .

И, наконец, в третьей урне одни чёрные шары, а значит, соответствующая условная вероятность извлечения чёрного шара составит (событие достоверно) .

– вероятность того, что из наугад выбранной урны будет извлечен чёрный шар.

Ответ :

Разобранный пример снова наводит на мысль о том, как важно ВНИКАТЬ В УСЛОВИЕ. Возьмём те же задачи с урнами и шарами – при их внешней схожести способы решения могут быть совершенно разными: где-то требуется применить только классическое определение вероятности , где-то события независимы , где-то зависимы , а где-то речь о гипотезах. При этом не существует чёткого формального критерия для выбора пути решения – над ним почти всегда нужно думать. Как повысить свою квалификацию? Решаем, решаем и ещё раз решаем!

Задача 2

В тире имеются 5 различных по точности боя винтовок. Вероятности попадания в мишень для данного стрелка соответственно равны 0,5; 0,55; 0,7; 0,75 и 0,4. Чему равна вероятность попадания в мишень, если стрелок делает один выстрел из случайно выбранной винтовки?

Краткое решение и ответ в конце урока.

В большинстве тематических задач гипотезы, конечно же, не равновероятны:

Задача 3

В пирамиде 5 винтовок, три из которых снабжены оптическим прицелом. Вероятность того, что стрелок поразит мишень при выстреле из винтовки с оптическим прицелом, равна 0,95; для винтовки без оптического прицела эта вероятность равна 0,7. Найти вероятность того, что мишень будет поражена, если стрелок производит один выстрел из наудачу взятой винтовки.

Решение : в этой задаче количество винтовок точно такое же, как и в предыдущей, но вот гипотезы всего две:
– стрелок выберет винтовку с оптическим прицелом;
– стрелок выберет винтовку без оптического прицела.
По классическому определению вероятности : .
Контроль:

Рассмотрим событие: – стрелок поразит мишень из наугад взятой винтовки.
По условию: .

По формуле полной вероятности:

Ответ : 0,85

На практике вполне допустим укороченный способ оформления задачи, который вам тоже хорошо знаком:

Решение : по классическому определению: – вероятности выбора винтовки с оптическим и без оптического прицела соответственно.

По условию, – вероятности попадания в мишень из соответствующих типов винтовок.

По формуле полной вероятности:
– вероятность того, что стрелок поразит мишень из наугад выбранной винтовки.

Ответ : 0,85

Следующая задача для самостоятельного решения:

Задача 4

Двигатель работает в трёх режимах: нормальном, форсированном и на холостом ходу. В режиме холостого хода вероятность его выхода из строя равна 0,05, при нормальном режиме работы – 0,1, а при форсированном – 0,7. 70% времени двигатель работает в нормальном режиме, а 20% – в форсированном. Какова вероятность выхода из строя двигателя во время работы?

На всякий случай напомню – чтобы получить значения вероятностей проценты нужно разделить на 100. Будьте очень внимательны! По моим наблюдениям, условия задач на формулу полной вероятности частенько пытаются подзапутать; и я специально подобрал такой пример. Скажу по секрету – сам чуть не запутался =)

Решение в конце урока (оформлено коротким способом)

Задачи на формулы Байеса

Материал тесно связан с содержанием предыдущего параграфа. Пусть событие наступило в результате осуществления одной из гипотез . Как определить вероятность того, что имела место та или иная гипотеза?

При условии , что событие уже произошло , вероятности гипотез переоцениваются по формулам, которые получили фамилию английского священника Томаса Байеса:

– вероятность того, что имела место гипотеза ;
– вероятность того, что имела место гипотеза ;
…
– вероятность того, что имела место гипотеза .

На первый взгляд кажется полной нелепицей – зачем пересчитывать вероятности гипотез, если они и так известны? Но на самом деле разница есть:

– это априорные (оцененные до испытания) вероятности.

– это апостериорные (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » – с учётом того факта, что событие достоверно произошло .

Рассмотрим это различие на конкретном примере:

Задача 5

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии составляет 20%, а во второй – 10%. Наудачу взятое со склада изделие оказалось стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Первая часть решения состоит в использовании формулы полной вероятности. Иными словами, вычисления проводятся в предположении, что испытание ещё не произведено и событие «изделие оказалось стандартным» пока не наступило.

Рассмотрим две гипотезы:
– наудачу взятое изделие будет из 1-й партии;
– наудачу взятое изделие будет из 2-й партии.

Всего: 4000 + 6000 = 10000 изделий на складе. По классическому определению :
.

Контроль:

Рассмотрим зависимое событие: – наудачу взятое со склада изделие будет стандартным.

В первой партии 100% – 20% = 80% стандартных изделий, поэтому: при условии , что оно принадлежит 1-й партии.

Аналогично, во второй партии 100% – 10% = 90% стандартных изделий и – вероятность того, что наудачу взятое на складе изделие будет стандартным при условии , что оно принадлежит 2-й партии.

По формуле полной вероятности:
– вероятность того, что наудачу взятое на складе изделие будет стандартным.

Часть вторая. Пусть наудачу взятое со склада изделие оказалось стандартным. Эта фраза прямо прописана в условии, и она констатирует тот факт, что событие произошло .

По формулам Байеса:

а) – вероятность того, что выбранное стандартное изделие принадлежит 1-й партии;

б) – вероятность того, что выбранное стандартное изделие принадлежит 2-й партии.

После переоценки гипотезы , разумеется, по-прежнему образуют полную группу :
(проверка;-))

Ответ :

Понять смысл переоценки гипотез нам поможет Иван Васильевич, которой снова сменил профессию и стал директором завода. Он знает, что сегодня 1-й цех отгрузил на склад 4000, а 2-й цех – 6000 изделий, и приходит удостовериться в этом. Предположим, вся продукция однотипна и находится в одном контейнере. Естественно, Иван Васильевич предварительно подсчитал, что изделие, которое он сейчас извлечёт для проверки, с вероятностью будет выпущено 1-м цехом и с вероятностью – вторым. Но после того как выбранное изделие оказывается стандартным, он восклицает: «Какой же классный болт! – его скорее выпустил 2-й цех». Таким образом, вероятность второй гипотезы переоценивается в лучшую сторону , а вероятность первой гипотезы занижается: . И эта переоценка небезосновательна – ведь 2-й цех произвёл не только больше изделий, но и работает в 2 раза лучше!

Вы скажете, чистый субъективизм? Отчасти – да, более того, сам Байес интерпретировал апостериорные вероятности как уровень доверия . Однако не всё так просто – в байесовском подходе есть и объективное зерно. Ведь вероятности того, что изделие будет стандартным (0,8 и 0,9 для 1-го и 2-го цехов соответственно) это предварительные (априорные) и средние оценки. Но, выражаясь философски – всё течёт, всё меняется, и вероятности в том числе. Вполне возможно, что на момент исследования более успешный 2-й цех повысил процент выпуска стандартных изделий (и/или 1-й цех снизил) , и если проверить бОльшее количество либо все 10 тысяч изделий на складе, то переоцененные значения окажутся гораздо ближе к истине.

Кстати, если Иван Васильевич извлечёт нестандартную деталь, то наоборот – он будет больше «подозревать» 1-й цех и меньше – второй. Предлагаю убедиться в этом самостоятельно:

Задача 6

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии 20%, во второй – 10%. Наудачу взятое со склада изделие оказалось не стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Условие отличатся двумя буквами, которые я выделил жирным шрифтом. Задачу можно решить с «чистого листа», или воспользоваться результатами предыдущих вычислений. В образце я провёл полное решение, но чтобы не возникло формальной накладки с Задачей №5, событие «наудачу взятое со склада изделие будет нестандартным» обозначено через .

Байесовская схема переоценки вероятностей встречается повсеместно, причём её активно эксплуатируют и различного рода мошенники. Рассмотрим ставшее нарицательным АО на три буквы, которое привлекает вклады населения, якобы куда-то их инвестирует, исправно выплачивает дивиденды и т.д. Что происходит? Проходит день за днём, месяц за месяцем и всё новые и новые факты, донесённые путём рекламы и «сарафанным радио», только повышают уровень доверия к финансовой пирамиде (апостериорная байесовская переоценка в связи с произошедшими событиями!) . То есть, в глазах вкладчиков происходит постоянное увеличение вероятности того, что «это серьёзная контора» ; при этом вероятность противоположной гипотезы («это очередные кидалы») , само собой, уменьшается и уменьшается. Дальнейшее, думаю, понятно. Примечательно, что заработанная репутация даёт организаторам время успешно скрыться от Ивана Васильевича, который остался не только без партии болтов, но и без штанов.

К не менее любопытным примерам мы вернёмся чуть позже, а пока на очереди, пожалуй, самый распространенный случай с тремя гипотезами:

Задача 7

Электролампы изготавливаются на трех заводах. 1-й завод производит 30% общего количества ламп, 2-й – 55%, а 3-й – остальную часть. Продукция 1-го завода содержит 1% бракованных ламп, 2-го – 1,5%, 3-го – 2%. В магазин поступает продукция всех трех заводов. Купленная лампа оказалась с браком. Какова вероятность того, что она произведена 2-м заводом?

Заметьте, что в задачах на формулы Байеса в условии обязательно фигурирует некое произошедшее событие, в данном случае – покупка лампы.

Событий прибавилось, и решение удобнее оформить в «быстром» стиле.

Алгоритм точно такой же: на первом шаге находим вероятность того, что купленная лампа вообще окажется бракованной.

Пользуясь исходными данными, переводим проценты в вероятности:
– вероятности того, что лампа произведена 1-м, 2-м и 3-м заводами соответственно.
Контроль:

Аналогично: – вероятности изготовления бракованной лампы для соответствующих заводов.

По формуле полной вероятности:

– вероятность того, что купленная лампа окажется с браком.

Шаг второй. Пусть купленная лампа оказалась бракованной (событие произошло)

По формуле Байеса:
– вероятность того, что купленная бракованная лампа изготовлена вторым заводом

Ответ :

Почему изначальная вероятность 2-й гипотезы после переоценки увеличилась ? Ведь второй завод производит средние по качеству лампы (первый – лучше, третий – хуже). Так почему же возросла апостериорная вероятность, что бракованная лампа именно со 2-го завода? Это объясняется уже не «репутацией», а размером. Так как завод №2 выпустил самое большое количество ламп, то на него (по меньшей мере, субъективно) и пеняют: «скорее всего, эта бракованная лампа именно оттуда» .

Интересно заметить, что вероятности 1-й и 3-й гипотез, переоценились в ожидаемых направлениях и сравнялись:

Контроль: , что и требовалось проверить.

К слову, о заниженных и завышенных оценках:

Задача 8

В студенческой группе 3 человека имеют высокий уровень подготовки, 19 человек – средний и 3 – низкий. Вероятности успешной сдачи экзамена для данных студентов соответственно равны: 0,95; 0,7 и 0,4. Известно, что некоторый студент сдал экзамен. Какова вероятность того, что:

а) он был подготовлен очень хорошо;
б) был подготовлен средне;
в) был подготовлен плохо.

Проведите вычисления и проанализируйте результаты переоценки гипотез.

Задача приближена к реальности и особенно правдоподобна для группы студентов-заочников, где преподаватель практически не знает способностей того или иного студента. При этом результат может послужить причиной довольно-таки неожиданных последствий (особенно это касается экзаменов в 1-м семестре) . Если плохо подготовленному студенту посчастливилось с билетом, то преподаватель с большой вероятностью сочтёт его хорошо успевающим или даже сильным студентом, что принесёт неплохие дивиденды в будущем (естественно, нужно «поднимать планку» и поддерживать свой имидж) . Если же студент 7 дней и 7 ночей учил, зубрил, повторял, но ему просто не повезло, то дальнейшие события могут развиваться в самом скверном ключе – с многочисленными пересдачами и балансировкой на грани вылета.

Что и говорить, репутация – это важнейший капитал, не случайно многие корпорации носят имена-фамилии своих отцов-основателей, которые руководили делом 100-200 лет назад и прославились своей безупречной репутацией.

Да, байесовский подход в известной степени субъективен, но… так устроена жизнь!

Закрепим материал заключительным индустриальным примером, в котором я расскажу о до сих пор не встречавшихся технических тонкостях решения:

Задача 9

Три цеха завода производят однотипные детали, которые поступают на сборку в общий контейнер. Известно, что первый цех производит в 2 раза больше деталей, чем второй цех, и в 4 раза больше третьего цеха. В первом цехе брак составляет 12%, во втором – 8%, в третьем – 4%. Для контроля из контейнера берется одна деталь. Какова вероятность того, что она окажется бракованной? Какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех?

Таки Иван Васильевич снова на коне =) Должен же быть у фильма счастливый конец =)

Решение : в отличие от Задач №№5-8 здесь в явном виде задан вопрос, который разрешается с помощью формулы полной вероятности. Но с другой стороны, условие немного «зашифровано», и разгадать этот ребус нам поможет школьный навык составлять простейшие уравнения. За «икс» удобно принять наименьшее значение:

Пусть – доля деталей, выпускаемая третьим цехом.

По условию, первый цех производит в 4 раза больше третьего цеха, поэтому доля 1-го цеха составляет .

Кроме того, первый цех производит изделий в 2 раза больше, чем второй цех, а значит, доля последнего: .

Составим и решим уравнение:

Таким образом: – вероятности того, что извлечённая из контейнера деталь выпущена 1-м, 2-м и 3-м цехами соответственно.

Контроль: . Кроме того, будет не лишним ещё раз посмотреть на фразу «Известно, что первый цех производит изделий в 2 раза больше второго цеха и в 4 раза больше третьего цеха» и убедиться, что полученные значения вероятностей действительно соответствуют этому условию.

За «икс» изначально можно было принять долю 1-го либо долю 2-го цеха – вероятности выйдут такими же. Но, так или иначе, самый трудный участок пройден, и решение входит в накатанную колею:

Из условия находим:
– вероятности изготовления бракованной детали для соответствующих цехов.

По формуле полной вероятности:
– вероятность того, что наугад извлеченная из контейнера деталь окажется нестандартной.

Вопрос второй: какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех? Данный вопрос предполагает, что деталь уже извлечена, и она оказалось бракованной. Переоцениваем гипотезу по формуле Байеса:
– искомая вероятность. Совершенно ожидаемо – ведь третий цех производит не только самую малую долю деталей, но и лидирует по качеству!

В данном случае пришлось упрощать четырёхэтажную дробь , что в задачах на формулы Байеса приходится делать довольно часто. Но для данного урока я как-то так случайно подобрал примеры, в которых многие вычисления можно провести без обыкновенных дробей.

Коль скоро в условии нет пунктов «а» и «бэ», то ответ лучше снабдить текстовыми комментариями:

Ответ : – вероятность того, что извлечённая из контейнера деталь окажется бракованной; – вероятность того, что извлечённую бракованную деталь выпустил 3-й цех.

Как видите, задачи на формулу полной вероятности и формулы Байеса достаточно простЫ, и, наверное, по этой причине в них так часто пытаются затруднить условие, о чём я уже упоминал в начале статьи.

Дополнительные примеры есть в файле с готовыми решениями на Ф.П.В. и формулы Байеса , кроме того, наверное, найдутся желающие более глубоко ознакомиться с данной темой в других источниках. А тема действительно очень интересная – чего только стОит один парадокс Байеса , который обосновывает тот житейский совет, что если у человека диагностирована редкая болезнь, то ему имеет смысл провести повторное и даже два повторных независимых обследования. Казалось бы, это делают исключительно от отчаяния… – а вот и нет! Но не будем о грустном.

– вероятность того, что произвольно выбранный студент сдаст экзамен.
Пусть студент сдал экзамен. По формулам Байеса:
а) – вероятность того, что студент, сдавший экзамен, был подготовлен очень хорошо. Объективная исходная вероятность оказывается завышенной, поскольку почти всегда некоторым «середнячкам» везёт с вопросами и они отвечают очень сильно, что вызывает ошибочное впечатление безупречной подготовки.
б) – вероятность того, что студент, сдавший экзамен, был подготовлен средне. Исходная вероятность оказывается чуть завышенной, т.к. студентов со средним уровнем подготовки обычно большинство, кроме того, сюда преподаватель отнесёт неудачно ответивших «отличников», а изредка и плохо успевающего студента, которому крупно повезло с билетом.
в) – вероятность того, что студент, сдавший экзамен, был подготовлен плохо. Исходная вероятность переоценилась в худшую сторону. Неудивительно.
Проверка:
Ответ :

Формула Байеса

Теорема Байеса - одна из основных теорем элементарной теории вероятностей , которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно более точно пересчитывать вероятность, беря в учёт как ранее известную информацию, так и данные новых наблюдений.

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами , так как они - предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще ), а условную - с учетом факта произошедшего события - апостериорной (насколько вероятна причина оказалась с учетом данных о событии ).

Следствие

Важным следствием формулы Байеса является формула полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них! ).

- вероятность наступления события B , зависящего от ряда гипотез A i , если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы

Если событие зависит только от причин A i , то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

По формуле Байеса

Переносом P (B ) вправо получаем искомое выражение.

Метод фильтрации спама

Метод, основанный на теореме Байеса, нашел успешное применение в фильтрации спама .

Описание

При обучении фильтра для каждого встреченного в письмах слова высчитывается и сохраняется его «вес» - вероятность того, что письмо с этим словом - спам (в простейшем случае - по классическому определению вероятности: «появлений в спаме / появлений всего» ).

При проверке вновь пришедшего письма вычисляется вероятность того, что оно - спам, по указанной выше формуле для множества гипотез. В данном случае «гипотезы» - это слова, и для каждого слова «достоверность гипотезы» - % этого слова в письме, а «зависимость события от гипотезы» P (B | A i ) - вычисленнный ранее «вес» слова. То есть «вес» письма в данном случае - не что иное, как усредненный «вес» всех его слов.

Отнесение письма к «спаму» или «не-спаму» производится по тому, превышает ли его «вес» некую планку, заданную пользователем (обычно берут 60-80 %). После принятия решения по письму в базе данных обновляются «веса» для вошедших в него слов.

Характеристика

Данный метод прост (алгоритмы элементарны), удобен (позволяет обходиться без «черных списков» и подобных искусственных приемов), эффективен (после обучения на достаточно большой выборке отсекает до 95-97 % спама, и в случае любых ошибок его можно дообучать). В общем, есть все показания для его повсеместного использования, что и имеет место на практике - на его основе построены практически все современные спам-фильтры.

Впрочем, у метода есть и принципиальный недостаток: он базируется на предположении , что одни слова чаще встречаются в спаме, а другие - в обычных письмах , и неэффективен, если данное предположение неверно. Впрочем, как показывает практика, такой спам даже человек не в состоянии определить «на глаз» - только прочтя письмо и поняв его смысл.

Еще один, не принципиальный, недостаток, связанный с реализацией - метод работает только с текстом. Зная об этом ограничении, спамеры стали вкладывать рекламную информацию в картинку, текст же в письме либо отсутствует, либо не несет смысла. Против этого приходится пользоваться либо средствами распознавания текста («дорогая» процедура, применяется только при крайней необходимости), либо старыми методами фильтрации - «черные списки» и регулярные выражения (так как такие письма часто имеют стереотипную форму).

См. также

Примечания

Ссылки

Литература

Берд Киви. Теорема преподобного Байеса . // Журнал «Компьютерра», 24 августа 2001 г.
Paul Graham. A plan for spam (англ.). // Персональный сайт Paul Graham.

Wikimedia Foundation . 2010 .

Смотреть что такое "Формула Байеса" в других словарях:

Формула, имеющая вид: где a1, А2,..., Ап несовместимые события, Общая схема применения Ф. в. г.: если событие В может происходить в разл. условиях, относительно которых сделано п гипотез А1, А2, ..., Аn с известными до опыта вероятностями P(A1),… … Геологическая энциклопедия

Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа попарно… … Википедия

- (или формула Байеса) одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны … Википедия

Теорема Байеса одна из основных теорем элементарной теории вероятностей, которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно… … Википедия

Байес, Томас Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения … Википедия

Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения: Лондон … Википедия

Байесовский вывод один из методов статистического вывода, в котором для уточнения вероятностных оценок на истинность гипотез при поступлении свидетельств используется формула Байеса. Использование байесовского обновления особенно важно в… … Википедия

Для улучшения этой статьи желательно?: Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное. Проставив сноски, внести более точные указания на источники. Пере … Википедия

Будут ли заключенные друг друга предавать, следуя своим эгоистическим интересам, или будут молчать, тем самым минимизируя общий срок? Дилемма заключённого (англ. Prisoner s dilemma, реже употребляется название «дилемма … Википедия

Книги

Теория вероятностей и математическая статистика в задачах: Более 360 задач и упражнений , Борзых Д.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…

События образуют полную группу , если хотя бы одно из них обязательно произойдет в результате эксперимента и попарно несовместны.

Предположим, что событие A может наступить только вместе с одним из нескольких попарно несовместных событий , образующих полную группу. Будем называть события (i = 1, 2,…, n ) гипотезами доопыта (априори). Вероятность появления события А определяется по формуле полной вероятности :

Пример 16. Имеются три урны. В первой урне находятся 5 белых и 3 черных шара, во второй – 4 белых и 4 черных шара, а в третьей – 8 белых шаров. Наугад выбирается одна из урн (это может означать, например, что осуществляется выбор из вспомогательной урны, где находятся три шара с номерами 1, 2 и 3). Из этой урны наудачу извлекается шар. Какова вероятность того, что он окажется черным?

Решение. Событие A – извлечен черный шар. Если было бы известно, из какой урны извлекается шар, то искомую вероятность можно было бы вычислить по классическому определению вероятности. Введем предположения (гипотезы) относительно того, какая урна выбрана для извлечения шара.

Шар может быть извлечен или из первой урны (гипотеза ), или из второй (гипотеза ), или из третьей (гипотеза ). Так как имеются одинаковые шансы выбрать любую из урн, то .

Отсюда следует, что

Пример 17. Электролампы изготавливаются на трех заводах. Первый завод производит 30 % общего количества электроламп, второй – 25 %,
а третий – остальную часть. Продукция первого завода содержит 1% бракованных электроламп, второго – 1,5 %, третьего – 2 %. В магазин поступает продукция всех трех заводов. Какова вероятность того, что купленная в магазине лампа оказалась бракованной?

Решение. Предположения необходимо ввести относительно того, на каком заводе была изготовлена электролампа. Зная это, мы сможем найти вероятность того, что она бракованная. Введем обозначения для событий: A – купленная электролампа оказалась бракованной, – лампа изготовлена первым заводом, – лампа изготовлена вторым заводом,
– лампа изготовлена третьим заводом.

Искомую вероятность находим по формуле полной вероятности:

Формула Байеса. Пусть – полная группа попарно несовместных событий (гипотезы). А – случайное событие. Тогда,

Последнюю формулу, позволяющей переоценить вероятности гипотез после того, как становится известным результат испытания, в итоге которого появилось событие А, называют формулой Байеса .

Пример 18. В специализированную больницу поступают в среднем 50 % больных с заболеванием К , 30 % – c заболеванием L , 20 % –
с заболеванием M . Вероятность полного излечения болезни K равна 0,7 для болезней L и M эти вероятности соответственно равны 0,8 и 0,9. Больной, поступивший в больницу, был выписан здоровым. Найдите вероятность того, что этот больной страдал заболеванием K .

Решение. Введем гипотезы: – больной страдал заболеванием К L , – больной страдал заболеванием M .

Тогда по условию задачи имеем . Введем событие А – больной, поступивший в больницу, был выписан здоровым. По условию

По формуле полной вероятности получаем:

По формуле Байеса .

Пример 19. Пусть в урне пять шаров и все предположения о количестве белых шаров равновозможные. Из урны наудачу взят шар, он оказался белым. Какое предположение о начальном составе урны наиболее вероятно?

Решение. Пусть – гипотеза, состоящая в том, что в урне белых шаров , т. е. возможно сделать шесть предположений. Тогда по условию задачи имеем .

Введем событие А – наудачу взятый шар белый. Вычислим . Так как , то по формуле Байеса имеем:

Таким образом, наиболее вероятной является гипотеза , т. к. .

Пример 20. Два из трех независимо работающих элемента вычислительного устройства отказали. Найдите вероятность того, что отказали первый и второй элементы, если вероятности отказа первого, второго и третьего элементов соответственно равны 0,2; 0,4 и 0,3.

Решение. Обозначим через А событие – отказали два элемента. Можно сделать следующие гипотезы:

– отказали первый и второй элементы, а третий элемент исправен. Поскольку элементы работают независимо, применима теорема умножения:

Формула Байеса :

Вероятности P(H i) гипотез H i называют априорными вероятностями - вероятности до проведения опытов.
Вероятности P(A/H i) называют апостериорными вероятностями – вероятности гипотез H i , уточненных в результате опыта.

Пример №1 . Прибор может собираться из высококачественных деталей и из деталей обычного качества. Около 40% приборов собираются из высококачественных деталей. Если прибор собран из высококачественных деталей, его надежность (вероятность безотказной работы) за время t равна 0,95; если из деталей обычного качества - его надежность равна 0,7. Прибор испытывался в течение времени t и работал безотказно. Найдите вероятность того, что он собран из высококачественных деталей.
Решение. Возможны две гипотезы: H 1 - прибор собран из высококачественных деталей; H 2 - прибор собран из деталей обычного качества. Вероятности этих гипотез до опыта: P(H 1) = 0,4, P(H 2) = 0,6. В результате опыта наблюдалось событие A - прибор безотказно работал время t. Условные вероятности этого события при гипотезах H 1 и H 2 равны: P(A|H 1) = 0,95; P(A|H 2) = 0,7. По формуле (12) находим вероятность гипотезы H 1 после опыта:

Пример №2 . Два стрелка независимо один от другого стреляют по одной мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка 0,8, для второго 0,4. После стрельбы в мишени обнаружена одна пробоина. Предполагая, что два стрелка не могут попасть в одну и ту же точку, найдите вероятность того, что в мишень попал первый стрелок.
Решение. Пусть событие A - после стрельбы в мишени обнаружена одна пробоина. До начала стрельбы возможны гипотезы:
H 1 - ни первый, ни второй стрелок не попадет, вероятность этой гипотезы: P(H 1) = 0,2 · 0,6 = 0,12.
H 2 - оба стрелка попадут, P(H 2) = 0,8 · 0,4 = 0,32.
H 3 - первый стрелок попадет, а второй не попадет, P(H 3) = 0,8 · 0,6 = 0,48.
H 4 - первый стрелок не попадет, а второй попадет, P (H 4) = 0,2 · 0,4 = 0,08.
Условные вероятности события A при этих гипотезах равны:

После опыта гипотезы H 1 и H 2 становятся невозможными, а вероятности гипотез H 3 и H 4
будут равны:

Итак, вероятнее всего, что мишень поражена первым стрелком.

Пример №3 . В монтажном цехе к устройству присоединяется электродвигатель. Электродвигатели поставляются тремя заводами-изготовителями. На складе имеются электродвигатели названных заводов соответственно в количестве 19,6 и 11 шт., которые могут безотказно работать до конца гарантийного срока соответственно с вероятностями 0,85, 0,76 и 0,71. Рабочий берет случайно один двигатель и монтирует его к устройству. Найдите вероятность того, что смонтированный и работающий безотказно до конца гарантийного срока электродвигатель поставлен соответственно первым, вторым или третьим заводом-изготовителем.
Решение. Первым испытанием является выбор электродвигателя, вторым - работа электродвигателя во время гарантийного срока. Рассмотрим следующие события:
A - электродвигатель работает безотказно до конца гарантийного срока;
H 1 - монтер возьмет двигатель из продукции первого завода;
H 2 - монтер возьмет двигатель из продукции второго завода;
H 3 - монтер возьмет двигатель из продукции третьего завода.
Вероятность события A вычисляем по формуле полной вероятности:

Условные вероятности заданы в условии задачи:

Найдем вероятности

По формулам Бейеса (12) вычисляем условные вероятности гипотез H i:

Пример №4 . Вероятности того, что во время работы системы, которая состоит из трех элементов, откажут элементы с номерами 1, 2 и 3, относятся как 3: 2: 5. Вероятности выявления отказов этих элементов равны соответственно 0,95; 0,9 и 0,6.

б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?

Решение.
Пусть А - событие отказа. Введем систему гипотез H1 - отказ первого элемента, H2 - отказ второго элемента, H3 - отказ третьего элемента.
Находим вероятности гипотез:
P(H1) = 3/(3+2+5) = 0.3
P(H2) = 2/(3+2+5) = 0.2
P(H3) = 5/(3+2+5) = 0.5

Согласно условию задачи условные вероятности события А равны:
P(A|H1) = 0.95, P(A|H2) = 0.9, P(A|H3) = 0.6

а) Найдите вероятность обнаружения отказа в работе системы.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0.3*0.95 + 0.2*0.9 + 0.5*0.6 = 0.765

б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?
P1 = P(H1)*P(A|H1)/ P(A) = 0.3*0.95 / 0.765 = 0.373
P2 = P(H2)*P(A|H2)/ P(A) = 0.2*0.9 / 0.765 = 0.235
P3 = P(H3)*P(A|H3)/ P(A) = 0.5*0.6 / 0.765 = 0.392

Максимальная вероятность у третьего элемента.