лекция_6

G-критерий)

Критерий
предназначен для срав­нения состояния
некоторого свойства у членов двух зави­симыхвыборок на основе измерений, сделанных
по шка­ле не ниже ранговой.

Имеется
две серии наблюдений над случайными
переменными Xи У, полученные при рассмотрении
двух зависимых выборок. На их основе
составлено N пар
вида (хi, уi), где хi, уi— результаты двукратного
измерения одного и того же свойства у
одного и того же объекта.

В
педагогических исследованиях объектами
изуче­ния могут служить учащиеся, учителя,
администрация школ. При этом хi, уi могут быть, например, балловы­ми
оценками, выставленными учителем за
двукратное выполнение одной и той же или
различных работ одной и той же группой
учащихся до и после применения некоторого
педагогическою средства.

Элементы
каждой пары хi, уiсравниваются между собой по
величине, и паре присваивается знак « »,
ес­ли хi < уi , знак «—», если хi > уi  и «0»,
если хi = уi.

Нулевая
гипотеза
формулируются следующим обра­зом: в
состоянии изучаемого свойства нет значимых
различий при первичном и вторичном
измерениях. Альтернативная гипотеза:
законы распределения величин X и У различны, т. е. состояния
изучаемого свойства существенно раз­личны
в одной и той же совокупности при первичном
и вторичном измерениях этого свойства.

Ста­тистика
критерия (Т)
определяется следую­щим образом:

допустим,
что из N пар (х, у,) нашлось
несколько пар, в которых значения хi и
уiравны.

Такие пары обозначаются
знаком «0» и при подсчете значения ве­личины
Т не учитываются.
Предположим, что за вы­четом из числа N числа пар, обозначенных знаком «0»,
осталось всего nпар.

Среди оставшихся n пар подсчита­ем число пар,
обозначенных знаком «-», т.е, пары, в которых xi<yi. Значение величины Т
и равно чис­лу пар со знаком минус.

Нулевая гипотеза
принимается на уровне
значимости 0,05, если наблю­даемое значение T<n-ta, где значение n-taопределя­ется
из статистических таблиц для критерия
знаков Приложения 2.

Пример
4.
Учащиеся выполняли контрольную ра­боту,
направленную на проверку усвоения
некоторого понятия. Пятнадцати учащимся
затем предложили электронное пособие,
составленное с целью фор­мирования данного
понятия у учащихся с низким уров­нем
обучаемости.

Результаты
двукратного выполнения ра­боты
представляют измерения по шкале по­рядка (пятибалльная
шкала). В этих условиях возмож­но
применение знакового критерия для
выявления тенденции изменения состояния
знаний учащихся после изучения пособия, так
как выполняются все допуще­ния этого
критерия.

Результаты
двукратного выполнения работы (в бал­лах) 15
учащимися запишем в форме таблицы (см. табл.
1).

Таблица
4.

Проверяется
гипотеза H0:
состояние знаний учащих­ся не повысилось
после изучения пособия. Альтернативная
гипотеза: состояние
знаний учащихся повысилось после изучения
пособия.

Подсчитаем
значение статистики критерия Т равное
числу положительных разностей отметок, по­лученных
учащимися. Согласно данным табл. 4 Т=10, n=12.

Для
определения критических значений
статистики критерия n—ta используем табл.
Приложения 2. Для уровня значимости а = 0,05
при n=12
значение n—ta=9. Следовательно выполняется
неравенство Т> n—ta (10>9).

Поэтому в
соответствии с правилом принятия решения
нулевая гипотеза от­клоняется на уровне
значимости 0,05 и принимает­ся
альтернативная гипотеза, что позволяет
сделать вывод об улучшении знаний учащихся
после самостоя­тельного изучения пособия.

Пример
5.
Предполагается, что изучение курса
математики способствует формированию у
учащихся одного из приемов логического
мышления (например, приема обобщения) даже в
том случае, если его фор­мирование не
проводится целенаправленно. Для проверки
этого предположения был проведен следующий
эксперимент.

Учащимся
VII класса было предложено 5 задач,
решение которых основано на использовании
данного приема мышления. Считалось, что
учащийся владеет этим приемом, если он дает
верный ответ на 3 и более задачи.

Была
разработана следующая шкала измерений:
верно решена 1 или 2 задачи —
оценка «0»; верно решено 3 задачи —
оценка «1»; верно решено 4 зада­чи— оценка «2»;
верно решено 5 задач — оценка «3».

Работа
проводилась дважды: в конце сентября и
конце мая следующего года. Ее писали 35 одних
и тех же учащихся, отобранных методом
случайного отбора из 7 разных школ.
Результаты двукратного выполнения работы
запишем в форме таблицы (см. табл. 5).

В
соответствии с целями эксперимента
формулируем нулевую гипотезу следующим
образом: Н0—
изучение математики не способствует
формированию изучаемого приема мышления.
Тогда альтернативная гипотеза бу­дет иметь
вид:

Таблица 5.

Согласно
данным табл. 5, значение статистики Т=15 —
число разностей со зна­ком « ». Из 35 пар 12
имеют знак «0»; значит, n = 35-12
= 23.

По
таблице Приложения 2 для n=23 и уровня значимости 0,025
находим критическое значение стати­стики
критерия, равное 16. Следовательно, верно
неравенство Т<n—ta (15<16).

Поэтому
в соответ­ствии с правилом принятия
решений приходится сделать вывод о том, что
полученные ре­зультаты не дают достаточных
оснований для отклоне­ния нулевой гипотезы,
т. е. мы не располагаем достаточными
основаниями для отклонения утверждения о
том, что изучение математики само по себе не
способ­ствует овладению выделенным
приемом мышления.

T-критерий)

Критерий позволяет найти
вероятность того, что оба средних значения
в выборке относятся к одной и той же
совокупности. Данный критерий наиболее
часто используется для проверки гипотезы: «Средние
двух выборок относятся к одной и той же
совокупности».

При использовании критерия
можно выделить два случая. В первом случае
его применяют для проверки гипотезы о
равенстве генеральных средних двух неза­висимых,
несвязанных выборок (так называемый двухвыборочныйt-критерий).

Во втором случае, когда
одна и та же группа объектов порождает
числовой матери­ал для проверки гипотез о
средних, используется так называемый парный
t-критерий. Выборки при этом называют зависимыми,
связанными.

Байесовская статистика

В байесовской статистике, нецентральное t-распределение встречается как маргинальное распределение коэффициента m{displaystyle m} нормального распределения N(m,σ2){displaystyle {mathcal {N}}(m,sigma ^{2})}.

Зависимость неизвестной дисперсии выражается через:

p(μ∣D,I)=∫p(μ,σ2∣D,I)dσ2=∫p(μ∣D,σ2,I)p(σ2∣D,I)dσ2{displaystyle {begin{aligned}p(mu mid D,I)=&int p(mu ,sigma ^{2}mid D,I);dsigma ^{2}=int p(mu mid D,sigma ^{2},I);p(sigma ^{2}mid D,I);dsigma ^{2}end{aligned}}}

где D{displaystyle D} – это данные {x_i}, а I{displaystyle I} представляет собой любую другую информацию, которая могла быть использована для создания модели.

Когда данные неинформативны из теорема Байеса следует

p(μ∣D,σ2,I)∼N(x¯,σ2n){displaystyle {begin{aligned}p(mu mid D,sigma ^{2},I)sim &N({bar {x}},{frac {sigma ^{2}}{n}})end{aligned}}}

p(σ2∣D,I)∼Scale-inv-χ2⁡(n,s2){displaystyle {begin{aligned}p(sigma ^{2}mid D,I)sim &operatorname {Scale-inv-chi ^{2}} (n,s^{2})end{aligned}}}

нормальное распределение и масштабированное обратное хи-квадрат распределение, где

s2=∑(xi−x¯)2n−1{displaystyle s^{2}=sum {frac {(x_{i}-{bar {x}})^{2}}{n-1}}}.

Маргинализованный интеграл в таком случае имеет вид

p(μ|D,I)∝∫0∞1σ2exp⁡(−12σ2n(μ−x¯)2)⋅σ−n−2exp⁡(−ns2/2σ2)dσ2∝∫0∞σ−n−3exp⁡(−12σ2(n(μ−x¯)2 ns2))dσ2{displaystyle {begin{aligned}p(mu |D,I)&propto int _{0}^{infty }{frac {1}{sqrt {sigma ^{2}}}}exp left(-{frac {1}{2sigma ^{2}}}n(mu -{bar {x}})^{2}right);cdot ;sigma ^{-n-2}exp(-ns^{2}/2sigma ^{2});dsigma ^{2}\&propto int _{0}^{infty }sigma ^{-n-3}exp left(-{frac {1}{2sigma ^{2}}}left(n(mu -{bar {x}})^{2} ns^{2}right)right);dsigma ^{2}end{aligned}}}

после замены z=A/2σ2{displaystyle z=A/2sigma ^{2}}, где A=n(μ−x¯)2 ns2{displaystyle A=n(mu -{bar {x}})^{2} ns^{2}},
получим dz=−A2σ4dσ2{displaystyle dz=-{frac {A}{2sigma ^{4}}}dsigma ^{2}}и оценку p(μ|D,I)∝A−n 12∫0∞z(n−1)/2exp⁡(−z)dz{displaystyle p(mu |D,I)propto ;A^{-{frac {n 1}{2}}}int _{0}^{infty }z^{(n-1)/2}exp(-z),dz}∫0∞z(n−1)/2exp⁡(−z)dz{displaystyle int _{0}^{infty }z^{(n-1)/2}exp(-z),dz} теперь стандартный Гамма интеграл, который оценивается константой
p(μ∣D,I)∝A−n 12∝(1 n(μ−x¯)2ns2)−n 12{displaystyle {begin{aligned}p(mu mid D,I)propto &;A^{-{frac {n 1}{2}}}propto &left(1 {frac {n(mu -{bar {x}})^{2}}{ns^{2}}}right)^{-{frac {n 1}{2}}}end{aligned}}}

это нестандартизированное t-распределение. 

С помощью замены t=μ−x¯s/n{displaystyle t={frac {mu -{bar {x}}}{s/{sqrt {n}}}}} получаем стандартизированное t-распределение. 
Дифференцирование выше было представлено для случая неинформативной априорной вероятности для μ{displaystyle scriptstyle {mu }} и σ2{displaystyle scriptstyle {sigma ^{2}}}; но очевидно, что любая априорная вероятность, ведет к смешению нормального распределения и масштабированного обратного хи-квадрат распределение, что нецентральному t-распределению с масштабированием и смещением на P(μ|D,I){displaystyle scriptstyle {P(mu |D,I)}}, параметр масштабирования S2n{displaystyle scriptstyle {frac {S^{2}}{n}}} будет в находиться под влиянием априорной информации и данных, а не только данных, как в примере выше.

В байесовской статистике

Распределение Стьюдента, особенно нецентральное, часто возникает в байесовской статистике как результат связи с нормальным распределением.

Действительно, если нам неизвестна дисперсия нормально распределенной случайной величины, но известно сопряженное априорное распределение, можно будет подобрать такое гамма-распредение, что полученные в результате величины будут обладать распределением Стьюдента.

Эквивалентные конструкции с теми же результатами включают сопряжённое масштабированное обратное хи-квадратное распределение. Если некорректное априорное распределение, пропорциональное σ2{displaystyle sigma ^{2}}, расположено над дисперсией, то также возникает распределение Стьюдента. Это происходит независимо от того, известно ли среднее нормально распределенной величины, распределённое с сопряжённым априорным распределением, или нет.

Выборка по методу монте карло

Есть разные подходы к получению случайных величин из распределения Стьюдента. Всё зависит от того, требуются независимые выборки, или они могут быть построены путём применения обратной функции распределения над выборкой с однородным распределением.

В случае с независимой выборкой легко применить расширение метода Бокса-Мюллера в его полярной (тригонометрической) форме^[19]. Преимущество этого метода в том, что он одинаково относится ко всем положительным степеням свободы n{displaystyle n}, в то время как многие другие методы не будут работать, если n{displaystyle n} близка к нулю.^[19]

Выборочная дисперсия

Распределение Стьюдента возникает в связи с распределением выборочной дисперсии.
Пусть X1,…,Xn{displaystyle X_{1},ldots ,X_{n}} независимые случайные величины, такие что Xi∼N(μ,σ2),i=1,…,n{displaystyle X_{i}sim mathrm {N} (mu ,sigma ^{2}),;i=1,ldots ,n}. Обозначим X¯{displaystyle {bar {X}}}выборочное среднее этой выборки, а S2{displaystyle S^{2}} её выборочную дисперсию. Тогда

Дискретное распределение стьюдента

Дискретное распределение Стьюдента имеет следующую функцию распределения с r пропорциональным:[15]

∏j=1k1(r j a)2 b2r=…,−1,0,1,….{displaystyle prod _{j=1}^{k}{frac {1}{(r j a)^{2} b^{2}}}quad quad r=ldots ,-1,0,1,ldots .}

Где a, b, и k – параметры. Такое распределение возникает при работе с системами из дискретных распределений, таких как распределение Пирсона.[16]

История и этимология

В статистике t-распределение было впервые получено как апостериорное распределение в 1876 году Фридрихом Гельмертом[1][2][3] и Якобом Люротом[en][4][5][6].

В англоязычной литературе распределение берёт название из статьи Уильяма Госсета в журнале Пирсона «Биометрика», опубликованной под псевдонимом «Стьюдент»[7][8].

Госсет работал в пивоварне Гиннесс в Дублине, Ирландия, и применял свои знания в области статистики как при варке пива, так и на полях — для выведения самого урожайного сорта ячменя. Исследования были обращены к нуждам пивоваренной компании и проводились на малом количестве наблюдений, что послужило толчком для развития методов, работающих на малых выборках.

Госсету пришлось скрывать свою личность при публикации из-за того, что ранее другой исследователь, работавший на Гиннесс, опубликовал в своих материалах сведения, составлявшие коммерческую тайну компании, после чего Гиннесс запретил своим работникам публикацию любых материалов, независимо от содержавшейся в них информации.

Статья Госсета описывает распределение как «Частотное распределениестандартных отклонений выборок, извлечённых из генеральной совокупности». Оно стало известным благодаря работе Роналда Фишера, который называл распределение «распределением Стьюдента», а величину — буквой t[9].

Литература

Как только страница обновилась в Википедии она обновляется в Вики 2.Обычно почти сразу, изредка в течении часа.

Некоторые другие свойства распределения стьюдента

Пусть, A(t|n){displaystyle A(t|n)} – интеграл функции плотности вероятности Стьюдента, 
F(t){displaystyle F(t)} – вероятность того, что значение t, меньше, чем значение, рассчитанное по данным наблюдений. 
Функция A(t|n){displaystyle A(t|n)} может быть использована для тестировании того, является ли разница между средними значениями двух наборов данных взятых из одной совокупности, статистически значимой, это достигается путём вычисления соответствующего значения t и вероятности его возникновения. 
Это используется например, в T-критерии Стьюдента. Для t-распределения с n{displaystyle n} степенями свободы, A(t|n){displaystyle A(t|n)} – вероятность того, что t будет меньше наблюдаемого значения, если два средних значения были одинаковыми. Его можно легко вычислить из кумулятивной функции распределения Fn(t){displaystyle F_{n}(t)} распределения Стьюдента: 

A(t|n)=Fn(t)−Fn(−t)=1−Inn t2(n2,12),{displaystyle A(t|n)=F_{n}(t)-F_{n}(-t)=1-I_{frac {n}{n t^{2}}}left({frac {n}{2}},{frac {1}{2}}right),}

где Ix – регуляризированная неполная бета функция (a, b). 

При статистической проверки гипотез эта функция используется для построения р-значения.

Нестандартизированное распределение стьюдента

Распределение Стьюдента можно обобщить до семейства функций с тремя параметрами, включающими коэффициент сдвигаμ{displaystyle mu } и коэффициент масштабаσ{displaystyle sigma }, через отношение

X=μ σT{displaystyle X=mu sigma T}

или

T=X−μσ{displaystyle T={frac {X-mu }{sigma }}},

где x−μσ{displaystyle {frac {x-mu }{sigma }}} классическое распределение Стьюдента с n{displaystyle n} степенями свободы.

Плотность нестандартизированного распределение Стьюдента, определяется следующим выражением[13]

p(x∣n,μ,σ)=Γ(n 12)Γ(n2)πnσ(1 1n(x−μσ)2)−n 12{displaystyle p(xmid n,mu ,sigma )={frac {Gamma ({frac {n 1}{2}})}{Gamma ({frac {n}{2}}){sqrt {pi n}}sigma }}left(1 {frac {1}{n}}left({frac {x-mu }{sigma }}right)^{2}right)^{-{frac {n 1}{2}}}}

Где, σ{displaystyle sigma } не соответствует стандартному нормальному распределению и задает масштаб
В байесовском выводе предельное распределение неизвестного среднего значения μ{displaystyle mu } выше чем σ{displaystyle sigma }, и соответствует s/n{displaystyle scriptstyle {s/{sqrt {n}}}}, где

s2=∑(xi−x¯)2n−1.{displaystyle s^{2}=sum {frac {(x_{i}-{bar {x}})^{2}}{n-1}}.}

Эквивалентно, распределение можно записать с помощью квадрат коэффициента масштабирования σ2{displaystyle sigma ^{2}}:

p(x∣n,μ,σ2)=Γ(n 12)Γ(n2)πnσ2(1 1n(x−μ)2σ2)−n 12{displaystyle p(xmid n,mu ,sigma ^{2})={frac {Gamma ({frac {n 1}{2}})}{Gamma ({frac {n}{2}}){sqrt {pi nsigma ^{2}}}}}left(1 {frac {1}{n}}{frac {(x-mu )^{2}}{sigma ^{2}}}right)^{-{frac {n 1}{2}}}}.

Свойства[13]:

E⁡(X)=μ{displaystyle operatorname {E} (X)=mu } для n>1{displaystyle n>1},
var(X)=σ2nn−2{displaystyle {text{var}}(X)=sigma ^{2}{frac {n}{n-2}}} для n>2{displaystyle n>2}mode(X)=μ.{displaystyle {text{mode}}(X)=mu .}Такое распределение является результатом комбинации распределения Гаусса (нормального распределения) со средним значением μ{displaystyle mu } и неизвестной дисперсией, с обратным гамма-распределением, с дисперсией, имеющей параметры a=n/2{displaystyle a=n/2} и b=nσ2/2{displaystyle b=nsigma ^{2}/2}. Другими словами, предполагается, что случайная величина X обладает нормальным распределением с неизвестной дисперсией, распределенной как обратная гамма, а затем дисперсия исключается. Такое свойство полезно из-за того, что обратное гамма-распределение – это сопряженное априорное распределение дисперсии распределения Гаусса, именно поэтому нестандартизированное распределение Стьюдента естественным образом возникает во многих байесовских задачах. 
Эквивалентно, это распределение является результатом комбинации распределения Гаусса с масштабированным обратным хи-квадрат распределением с параметрами n{displaystyle n} and σ2{displaystyle sigma ^{2}}. Масштабированное обратное хи-квадрат распределение – точно то же самое распределение, что и обратное гамма-распределение, но с другой параметризацией, а именно n=2a,σ2=b/a{displaystyle n=2a,sigma ^{2}=b/a}.
Альтернативная параметризация на основании обратного параметра масштабирования λ^[14] (аналогично тому, как мера точности обратна дисперсии), определенная отношением λ=1σ2{displaystyle lambda ={frac {1}{sigma ^{2}}}},

тогда плотность определяется как

p(x|n,μ,λ)=Γ(n 12)Γ(n2)(λπn)12(1 λ(x−μ)2n)−n 12.{displaystyle p(x|n,mu ,lambda )={frac {Gamma ({frac {n 1}{2}})}{Gamma ({frac {n}{2}})}}left({frac {lambda }{pi n}}right)^{frac {1}{2}}left(1 {frac {lambda (x-mu )^{2}}{n}}right)^{-{frac {n 1}{2}}}.}

Свойства:

E⁡(X)=μ{displaystyle operatorname {E} (X)=mu } для n>1{displaystyle n>1},
var(X)=1λnn−2{displaystyle {text{var}}(X)={frac {1}{lambda }}{frac {n}{n-2}}} для n>2{displaystyle n>2}mode(X)=μ.{displaystyle {text{mode}}(X)=mu .}Это распределение является результатом комбинации распределения Гаусса со средним μ{displaystyle mu } и неизвестной мерой точности (обратной дисперсии), с гамма-распределением с параметрами a=n/2{displaystyle a=n/2} and b=n/(2λ){displaystyle b=n/(2lambda )}. Другими словами, предполагается, что случайная величина X обладает нормальным распределением с неизвестной гамма-распределённой мерой точности.

Нецентральное распределение стьюдента

Нецентральное распределение Стьюдента, это один способов обобщения стандартного распределения Стьюдента, включающий дополнительный коэффициент сдвига (параметр нецентральности) μ{displaystyle mu }.
(Z μ)nV.{displaystyle (Z mu ){sqrt {frac {n}{V}}}.}

В нецентральное распределение Стьюдента медиана не совпадает с модой, т.е. оно не симметрично (в отличие от нестандартизированного).

Это распределение важно для изучения статистической мощности t-критерия Стьюдента.

Обобщение

Обобщением распределения Стьюдента является обобщённое гиперболическое распределение.

Обобщение распределения гаусса

Мы можем получить выборку с t-распределением, взяв отношение величин из нормального распределения и квадратный корень из распределения хи-квадрат.

где X0,X1,…,Xn{displaystyle X_{0},X_{1},ldots ,X_{n}} — независимые стандартные нормальные случайные величины, такие что Xi∼N(0,1),i=0,…,n{displaystyle X_{i}sim {mathcal {N}}(0,1),;i=0,ldots ,n}

Определение

Пусть Y0,Y1,…,Yn{displaystyle Y_{0},Y_{1},ldots ,Y_{n}} — независимыестандартные нормальныеслучайные величины, такие что Yi∼N(0,1),i=0,…,n{displaystyle Y_{i}sim {mathcal {N}}(0,1),;i=0,ldots ,n}. Тогда распределение случайной величины t{displaystyle t}, где

Плотность распределения стьюдента через решение дифференциального уравнения

Плотность распределения Стьюдента можно получить, решив следующее дифференциальное уравнение:

Построение доверительного интервала

Распределение Стьюдента может быть использовано для оценки того, насколько вероятно, что истинное среднее находится в каком-либо заданном диапазоне.

Предположим, что число A выбрано так, что

Pr(−A<T<A)=0.9{displaystyle Pr(-A<T<A)=0.9}.

Тогда T имеет t-распределение с n–1 степенями свободы. В силу симметрии распределения, это равноценно утверждению, что А удовлетворяет

Pr(T<A)=0.95,{displaystyle Pr(T<A)=0.95,} или A=t(0.05,n−1){displaystyle A=t_{(0.05,n-1)}}, тогда

Построение интервала-предиктора

Распределение Стьюдента может быть использовано для получения интервала-предиктора для ненаблюдаемой выборки из нормального распределения с неизвестным средним и дисперсией.

Пример проверки гипотезы о математическом ожидании с помощью t- критерия стьюдента в ms excel

В Excel есть несколько функций, связанных с t-распределением. Рассмотрим их.

СТЬЮДЕНТ.РАСП – «классическое» левостороннее t-распределение Стьюдента. На вход подается значение t-критерия, количество степеней свободы и опция (0 или 1), определяющая, что нужно рассчитать: плотность или значение функции. На выходе получаем, соответственно, плотность или вероятность того, что случайная величина окажется меньше указанного в аргументе t-критерия, т.е. левосторонний p-value.

СТЬЮДЕНТ.РАСП.2Х – двухсторонне распределение. В качестве аргумента подается абсолютное значение (по модулю) t-критерия и количество степеней свободы. На выходе получаем вероятность получить такое или еще больше значение t-критерия (по модулю), т.е. фактический уровень значимости (p-value).

СТЬЮДЕНТ.РАСП.ПХ – правостороннее t-распределение. Так, 1-СТЬЮДЕНТ.РАСП(2;5;1) = СТЬЮДЕНТ.РАСП.ПХ(2;5) = 0,05097. Если t-критерий положительный, то полученная вероятность – это p-value.

СТЬЮДЕНТ.ОБР – используется для расчета левостороннего обратного значения t-распределения. В качестве аргумента подается вероятность и количество степеней свободы. На выходе получаем соответствующее этой вероятности значение t-критерия. Отсчет вероятности идет слева. Поэтому для левого хвоста нужен сам уровень значимости α, а для правого 1 — α.

СТЬЮДЕНТ.ОБР.2Х – обратное значение для двухстороннего распределения Стьюдента, т.е. значение t-критерия (по модулю). Также на вход подается уровень значимости α. Только на этот раз отсчет ведется с двух сторон одновременно, поэтому вероятность распределяется на два хвоста. Так, СТЬЮДЕНТ.ОБР(1-0,025;5) = СТЬЮДЕНТ.ОБР.2Х(0,05;5) = 2,57058

СТЬЮДЕНТ.ТЕСТ – функция для проверки гипотезы о равенстве математических ожиданий в двух выборках. Заменяет кучу расчетов, т.к. достаточно указать лишь два диапазона с данными и еще пару параметров. На выходе получим p-value.

ДОВЕРИТ.СТЬЮДЕНТ – расчет доверительного интервала средней с учетом t-распределения.

Рассмотрим такой учебный пример. На предприятии фасуют цемент в мешки по 50кг. В силу случайности в отдельно взятом мешке допускается некоторое отклонение от ожидаемой массы, но генеральная средняя должна оставаться 50кг. В отделе контроля качества случайным образом взвесили 9 мешков и получили следующие результаты: средняя масса (X̅) составила 50,3кг, среднеквадратичное отклонение (s) – 0,5кг.

Согласуется ли полученный результат с нулевой гипотезой о том, что генеральная средняя равна 50кг? Другими словами, можно ли получить такой результат по чистой случайности, если оборудование работает исправно и выдает среднее наполнение 50 кг? Если гипотеза не будет отклонена, то полученное различие вписывается в диапазон случайных колебаний, если же гипотеза будет отклонена, то, скорее всего, в настройках аппарата, заполняющего мешки, произошел сбой. Требуется его проверка и настройка.

Краткое условие в обще принятых обозначениях выглядит так.

H0: μ = 50 кг

Ha: μ ≠ 50 кг

Есть основания предположить, что распределение заполняемости мешков подчиняются нормальному распределению (или не сильно от него отличается). Значит, для проверки гипотезы о математическом ожидании можно использовать t-критерий Стьюдента. Случайные отклонения могут происходить в любую сторону, значит нужен двусторонний t-критерий.

Вначале применим допотопные средства: ручной расчет t-критерия и сравнение его с критическим табличным значением. Расчетный t-критерий:

Теперь определим, выходит ли полученное число за критический уровень при уровне значимости α = 0,05. Воспользуемся таблицей для критерия Стьюдента (есть в любом учебнике по статистике).

По столбцам идет вероятность правой части распределения, по строкам – число степеней свободы. Нас интересует двусторонний t-критерий с уровнем значимости 0,05, что равносильно t-значению для половины уровня значимости справа: 1 — 0,05/2 = 0,975. Количество степеней свободы – это объем выборки минус 1, т.е. 9 — 1 = 8.

На пересечении находим табличное значение t-критерия – 2,306. Если бы мы использовали стандартное нормальное распределение, то критической точкой было бы значение 1,96, а тут она больше, т.к. t-распределение на небольших выборках имеет более приплюснутый вид.

Сравниваем фактическое (1,8) и табличное значение (2.306). Расчетный критерий оказался меньше табличного. Следовательно, имеющиеся данные не противоречат гипотезе H0 о том, что генеральная средняя равна 50 кг (но и не доказывают ее). Это все, что мы можем узнать, используя таблицы.

Готовой функции для расчета t-критерия в Excel нет. Но это и не страшно, ведь формула t-критерия Стьюдента довольно проста и ее можно легко соорудить прямо в ячейке Excel.

Получили те же 1,8. Найдем вначале критическое значение. Альфа берем 0,05, критерий двусторонний. Нужна функция обратного значения t-распределения для двухсторонней гипотезы СТЬЮДЕНТ.ОБР.2Х.

Полученное значение отсекает критическую область. Наблюдаемый t-критерий в нее не попадает, поэтому гипотеза не отклоняется.

Однако это тот же способ проверки гипотезы с помощью табличного значения. Более информативно будет рассчитать p-value, т.е. вероятность получить наблюдаемое или еще большее отклонение от средней 50кг, если эта гипотеза верна. Потребуется функция распределения Стьюдента для двухсторонней гипотезы СТЬЮДЕНТ.РАСП.2Х.

P-value равен 0,1096, что больше допустимого уровня значимости 0,05 – гипотезу не отклоняем. Но теперь можно судить о степени доказательства. P-value оказался довольно близок к тому уровню, когда гипотеза отклоняется, а это наводит на разные мысли. Например, что выборка оказалась слишком мала для обнаружения значимого отклонения.

Пусть через некоторое время отдел контроля снова решил проверить, как выдерживается стандарт заполняемости мешков. На этот раз для большей надежности было отобрано не 9, а 25 мешков. Интуитивно понятно, что разброс средней уменьшится, а, значит, и шансов найти сбой в системе становится больше.

Допустим, были получены те же значения средней и стандартного отклонения по выборке, что и в первый раз (50,3 и 0,5 соответственно). Рассчитаем t-критерий.

Критическое значение для 24-х степеней свободы и α = 0,05 составляет 2,064. На картинке ниже видно, что t-критерий попадает в область отклонения гипотезы.

Можно сделать вывод о том, что с доверительной вероятностью более 95% генеральная средняя отличается от 50кг. Для большей убедительности посмотрим на p-value (последняя строка в таблице). Вероятность получить среднюю с таким или еще большим отклонением от 50, если гипотеза верна, составляет 0,0062, или 0,62%, что при однократном измерении практически невозможно. В общем, гипотезу отклоняем, как маловероятную.

Примечания

Проверка гипотезы

Некоторые статистики могут иметь распределение Стьюдента на выборках небольшого размера, поэтому распределение Стьюдента формирует основу критериев значимости. Например, тест ранговой корреляции Спирмена ρ, в нулевом случае (нулевая корреляция) хорошо аппроксимируется распределением Стьюдента при размере выборки больше 20.

Распределение стьюдента

Общий подход в проверке гипотез описан здесь, поэтому сразу к делу. Предположим для начала, что выборка извлечена из нормальной совокупности случайных величин X с генеральной среднейμ и дисперсиейσ2.

Средняя арифметическая из этой выборки, очевидно, сама является случайной величиной. Если извлечь много таких выборок и посчитать по ним средние, то они также будут иметь нормальное распределение с математическим ожиданием μ и дисперсией

Тогда случайная величина

имеет стандартное нормальное распределение со всеми вытекающими отсюда последствиями. Например, с вероятностью 95% ее значение не выйдет за пределы ±1,96.

Однако такой подход будет корректным, если известна генеральная дисперсия. В реальности, как правило, она не известна. Вместо нее берут оценку – несмещенную выборочную дисперсию:

где

Возникает вопрос: будет ли генеральная средняя c вероятностью 95% находиться в пределах ±1,96sx̅. Другими словами, являются ли распределения случайных величин

эквивалентными.

Впервые этот вопрос был поставлен (и решен) одним химиком, который трудился на пивной фабрике Гиннесса в г. Дублин (Ирландия). Химика звали Уильям Сили Госсет и он брал пробы пива для проведения химического анализа. В какой-то момент, видимо, Уильяма стали терзать смутные сомнения на счет распределения средних. Оно получалось немного более размазанным, чем должно быть у нормального распределения.

Собрав математическое обоснование и рассчитав значения функции обнаруженного им распределения, химик из Дублина Уильям Госсет написал заметку, которая была опубликована в мартовском выпуске 1908 года журнала «Биометрика» (главред – Карл Пирсон). Гиннесс строго-настрого запретил выдавать секреты пивоварения, и Госсет подписался псевдонимом Стьюдент.

Несмотря на то что, К. Пирсон уже изобрел распределение Хи-квадрат, все-таки всеобщее представление о нормальности еще доминировало. Никто не собирался думать, что распределение выборочных оценок может быть не нормальным. Поэтому статья У.

Госсета осталась практически не замеченной и забытой. И только Рональд Фишер по достоинству оценил открытие Госсета. Фишер использовал новое распределение в своих работах и дал ему название t-распределение Стьюдента. Критерий для проверки гипотез, соответственно, стал t-критерием Стьюдента.

Посмотрим, что же мог увидеть У. Госсет. Сгенерируем 20 тысяч нормальных выборок из 6-ти наблюдений со средней (X̅) 50 и среднеквадратичным отклонением (σ) 10. Затем нормируем выборочные средние, используя генеральную дисперсию:

Получившиеся 20 тысяч средних сгруппируем в интервалы длинной 0,1 и подсчитаем частоты. Изобразим на диаграмме фактическое (Norm) и теоретическое (ENorm) распределение частот выборочных средних.

Точки (наблюдаемые частоты) практически совпадают с линией (теоретическими частотами). Оно и понятно, ведь данные взяты из одной и то же генеральной совокупности, а отличия – это лишь ошибки выборки.

Проведем новый эксперимент. Нормируем средние, используя выборочную дисперсию.

Снова подсчитаем частоты и нанесем их на диаграмму в виде точек, оставив для сравнения линию стандартного нормального распределения. Обозначим эмпирическое частоты средних, скажем, через букву t.

Видно, что распределения на этот раз не очень-то и совпадают. Близки, да, но не одинаковы. Хвосты стали более «тяжелыми».

У Госсета-Стьюдента не было последней версии MS Excel, но именно этот эффект он и заметил. Почему так получается? Объяснение заключается в том, что случайная величина

зависит не только от ошибки выборки (числителя), но и от стандартной ошибки средней (знаменателя), которая также является случайной величиной.

Давайте немного разберемся, какое распределение должно быть у такой случайной величины. Вначале придется кое-что вспомнить (или узнать) из математической статистики. Есть такая теорема Фишера, которая гласит, что в выборке из нормального распределения:

1. средняя X̅ и выборочная дисперсия s2 являются независимыми величинами;

2. соотношение выборочной и генеральной дисперсии, умноженное на количество степеней свободы, имеет распределение χ2(хи-квадрат) с таким же количеством степеней свободы, т.е.

где k – количество степеней свободы (на английском degrees of freedom (d.f.))

Вернемся к распределению средней. Разделим числитель и знаменатель выражения

на σX̅. Получим

Числитель – это стандартная нормальная случайная величина (обозначим ξ (кси)). Знаменатель выразим из теоремы Фишера.

Тогда исходное выражение примет вид

Это и есть t-критерий Стьюдента в общем виде (стьюдентово отношение). Вывести функцию его распределения можно уже непосредственно, т.к. распределения обеих случайных величин в данном выражении известны. Оставим это удовольствие математикам.

Функция t-распределения Стьюдента имеет довольно сложную для понимания формулу, поэтому не имеет смысла ее разбирать. Вероятности и квантили t-критерия приведены в специальных таблицах распределения Стьюдента и забиты в функции разных ПО вроде Excel.

Итак, вооружившись новыми знаниями, вы сможете понять официальное определение распределения Стьюдента.Случайной величиной, подчиняющейся распределению Стьюдента с k степенями свободы, называется отношение независимых случайных величин

где ξ распределена по стандартному нормальному закону, а χ2k подчиняется распределению χ2 c k степенями свободы.

Таким образом, формула критерия Стьюдента для средней арифметической

есть частный случай стьюдентова отношения

Из формулы и определения следует, что распределение т-критерия Стьюдента зависит лишь от количества степеней свободы.

При k > 30 t-критерий практически не отличается от стандартного нормального распределения.

В отличие от хи-квадрат, t-критерий может быть одно- и двусторонним. Обычно пользуются двусторонним, предполагая, что отклонение может происходить в обе стороны от средней. Но если условие задачи допускает отклонение только в одну сторону, то разумно применять односторонний критерий. От этого немного увеличивается мощность критерия.

Расчет доверительного интервала для математического ожидания с помощью t-распределения стьюдента в excel

С проверкой гипотез тесно связан еще один статистический метод – расчет доверительных интервалов. Если в полученный интервал попадает значение, соответствующее нулевой гипотезе, то это равносильно тому, что нулевая гипотеза не отклоняется.

В противном случае, гипотеза отклоняется с соответствующей доверительной вероятностью. В некоторых случаях аналитики вообще не проверяют гипотез в классическом виде, а рассчитывают только доверительные интервалы. Такой подход позволяет извлечь еще больше полезной информации.

Рассчитаем доверительные интервалы для средней при 9 и 25 наблюдениях. Для этого воспользуемся функцией Excel ДОВЕРИТ.СТЬЮДЕНТ. Здесь, как ни странно, все довольно просто. В аргументах функции нужно указать только уровень значимости α, стандартное отклонение по выборке и размер выборки.

Как видно, при выборке в 9 наблюдений значение 50 попадает в доверительный интервал (гипотеза не отклоняется), а при 25-ти наблюдениях не попадает (гипотеза отклоняется). При этом в эксперименте с 25-ю мешками можно утверждать, что с вероятностью 97,5% генеральная средняя превышает 50,1 кг (нижняя граница доверительного интервала равна 50,094кг). А это довольно ценная информация.

Таким образом, мы решили одну и ту же задачу тремя способами:

1. Древним подходом, сравнивая расчетное и табличное значение t-критерия2. Более современным, рассчитав p-value, добавив степень уверенности при отклонении гипотезы.3. Еще более информативным, рассчитав доверительный интервал и получив минимальное значение генеральной средней.

Важно помнить, что t-критерий относится к параметрическим методам, т.к. основан на нормальном распределении (у него два параметра: среднее и дисперсия). Поэтому для его успешного применения важна хотя бы приблизительная нормальность исходных данных и отсутствие выбросов.

Напоследок предлагаю видеоролик о том, как рассчитать критерий Стьюдента и проверить гипотезу о генеральной средней в Excel.

Связь с другими распределениями

• Распределение Стьюдента является распределением Пирсона типа VII^[17].
• Распределение Стьюдента с одной степенью свободы (n=1{displaystyle n=1}) это стандартное распределение Коши: t(1)≡C(0,1){displaystyle mathrm {t} (1)equiv mathrm {C} (0,1)}.
• Распределение Стьюдента сходится к стандартному нормальному при n→∞{displaystyle nto infty }. Пусть дана последовательность случайных величин {tn}n=1∞{displaystyle {t_{n}}_{n=1}^{infty }}, где tn∼t(n),n∈N{displaystyle t_{n}sim mathrm {t} (n),;nin mathbb {N} }. Тогда: tn→N(0,1){displaystyle t_{n}to {mathcal {N}}(0,1)} по распределению при n→∞{displaystyle nto infty }.
• Квадрат случайной величины, имеющей распределение Стьюдента, также имеет распределение Фишера. Пусть t∼t(n){displaystyle tsim mathrm {t} (n)}. Тогда: t2∼F(1,n){displaystyle t^{2}sim mathrm {F} (1,n)}.

Условия применения t-критерия стьюдента

Несмотря на то, что открытие Стьюдента в свое время совершило переворот в статистике, t-критерий все же довольно сильно ограничен в возможностях применения, т.к. сам по себе происходит из предположения о нормальном распределении исходных данных. Если данные не являются нормальными (что обычно и бывает), то и t-критерий уже не будет иметь распределения Стьюдента.

Рассмотрим, для примера, данные, имеющие выраженный скос вправо, как у распределения хи-квадрат с 5-ю степенями свободы.

Теперь создадим 20 тысяч выборок и будет наблюдать, как меняется распределение средних в зависимости от их объема.

Отличие довольно заметно в малых выборках до 15-20-ти наблюдений. Но дальше оно стремительно исчезает. Таким образом, ненормальность распределения – это, конечно, нехорошо, но некритично.

Больше всего t-критерий «боится» выбросов, т.е. аномальных отклонений. Возьмем 20 тыс. нормальных выборок по 15 наблюдений и в часть из них добавим по одному случайном выбросу.

Картина получается нерадостная. Фактические частоты средних сильно отличаются от теоретических. Использование t-распределения в такой ситуации становится весьма рискованной затеей.

Итак, в не очень малых выборках (от 15-ти наблюдений) t-критерий относительно устойчив к ненормальному распределению исходных данных. А вот выбросы в данных сильно искажают распределение t-критерия, что, в свою очередь, может привести к ошибкам статистического вывода, поэтому от аномальных наблюдений следует избавиться. Часто из выборки удаляют все значения, выходящие за пределы ±2 стандартных отклонения от средней.

Функция распределения

Функция распределения может быть выражена через регуляризованную неполную бета-функциюI{displaystyle I}.
Для t>0{displaystyle t>0},

F(t)=∫−∞tf(u)du=1−12Ix(t)(n2,12),{displaystyle F(t)=int _{-infty }^{t}f(u),du=1-{tfrac {1}{2}}I_{x(t)}left({tfrac {n}{2}},{tfrac {1}{2}}right),} где x(t)=nt2 n.{displaystyle x(t)={frac {n}{t^{2} n}}.}^[10]

Для t<0{displaystyle t<0} значения можно получить в силу симметричности распределения.
Другая формула верна для t2<n{displaystyle t^{2}<n}^[10]:

Характеристики

Распределение Стьюдента с k{displaystyle k} степенями свободы может быть определено как распределение случайной величины T{displaystyle T}^[10][11]

T=ZV/k=ZkV{displaystyle T={frac {Z}{sqrt {V/k}}}=Z{sqrt {frac {k}{V}}}},

где

Пусть, X1,…,Xn{displaystyle X_{1},ldots ,X_{n}}, независимые случайные величины, имеющие нормальное распределение N(μ,σ2){displaystyle {mathcal {N}}(mu ,sigma ^{2})},
X¯n=1n(X1 ⋯ Xn){displaystyle {overline {X}}_{n}={frac {1}{n}}(X_{1} cdots X_{n})} – выборочное среднее,

Sn2=1n−1∑i=1n(Xi−X¯n)2{displaystyle S_{n}^{;2}={frac {1}{n-1}}sum _{i=1}^{n}left(X_{i}-{overline {X}}_{n}right)^{2}} – несмещённая оценка дисперсии.

Тогда случайная  величина

V=(n−1)Sn2σ2{displaystyle V=(n-1){frac {S_{n}^{2}}{sigma ^{2}}}}

имеет распределение хи-квадрат с k=n−1{displaystyle k=n-1} степенями свободы^[12].
Случайная величина Z=(X¯n−μ)nσ{displaystyle Z=left({overline {X}}_{n}-mu right){frac {sqrt {n}}{sigma }}} имеет стандартное нормальное распределение, Z∼N(0,1){displaystyle Zsim {mathcal {N}}(0,1)}, так как выборочное среднее X¯n{displaystyle {overline {X}}_{n}} имеет нормальное распределение N(μ,σ2n){displaystyle {mathcal {N}}(mu ,{frac {sigma ^{2}}{n}})}. Более того, можно показать, что эти две случайные величины (нормальная Z{displaystyle Z} и хи-квадрат V{displaystyle V}) независимы.

Подставим получившиеся величины в величину

T≡ZV/k=(X¯n−μ)nSn{displaystyle Tequiv {frac {Z}{sqrt {V/k}}}=left({overline {X}}_{n}-mu right){frac {sqrt {n}}{S_{n}}}},

которая имеет распределение Стьюдента и отличается от Z{displaystyle Z} тем, что стандартное отклонение σ{displaystyle sigma } заменено случайной величиной Sn{displaystyle S_{n}}, . Заметим, что неизвестная дисперсия σ2{displaystyle sigma ^{2}} не появляется в T{displaystyle T}, так как она была и в числителе, и в знаменателе. Госсет интуитивно получил плотность вероятности, установленную выше, где k{displaystyle k} соответствует n−1{displaystyle n-1}; Фишер доказал это в 1925 году ^[9].
Распределение статистики критерия T{displaystyle T}, зависит от k{displaystyle k}, но не зависит от μ или σ², что и делает распределение важным как в теории, так и на практике.

Частные случаи

Функция распределения: F(t)=12 1πarctan⁡(t){displaystyle F(t)={tfrac {1}{2}} {tfrac {1}{pi }}arctan(t)}

Плотность вероятности: f(t)=1π(1 t2){displaystyle f(t)={frac {1}{pi (1 t^{2})}}}

Функция распределения: F(t)=12 t22 t2{displaystyle F(t)={tfrac {1}{2}} {frac {t}{2{sqrt {2 t^{2}}}}}}

Плотность вероятности: f(t)=1(2 t2)32{displaystyle f(t)={frac {1}{left(2 t^{2}right)^{frac {3}{2}}}}};

Плотность вероятности: f(t)=63π(3 t2)2{displaystyle f(t)={frac {6{sqrt {3}}}{pi left(3 t^{2}right)^{2}}}}

Плотность вероятности f(t)=12πe−t22{displaystyle f(t)={frac {1}{sqrt {2pi }}}e^{-{frac {t^{2}}{2}}}}

совпадает с плотностью вероятности стандартного нормального распределения.