Какие статистические методы. Статистический анализ данных (курс лекций, К.В.Воронцов). Абсолютные статистические величины

Статистические ме́тоды - методы анализа статистических данных. Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью. Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):

а) разработка и исследование методов общего назначения, без учета специфики области применения;

б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;

в) применение статистических методов и моделей для статистического анализа конкретных данных.

Дисперсионный анализ. Дисперсионный анализ (от латинского Dispersio – рассеивание / на английском Analysis Of Variance - ANOVA) применяется для исследования влияния одной или нескольких качественных переменных (факторов) на одну зависимую количественную переменную (отклик). В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные), а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат.

Основной целью дисперсионного анализа (ANOVA) является исследование значимости различия между средними с помощью сравнения (анализа) дисперсий. Разделение общей дисперсии на несколько источников, позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью. При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии. Если вы просто сравниваете средние в двух выборках, дисперсионный анализ даст тот же результат, что и обычный t-критерий для независимых выборок (если сравниваются две независимые группы объектов или наблюдений) или t-критерий для зависимых выборок (если сравниваются две переменные на одном и том же множестве объектов или наблюдений).

Сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого признака на отдельные компоненты, обусловленные влиянием конкретных факторов, и проверке гипотез о значимости влияния этих факторов на исследуемый признак. Сравнивая компоненты дисперсии, друг с другом посредством F-критерия Фишера, можно определить, какая доля общей вариативности результативного признака обусловлена действием регулируемых факторов.

Исходным материалом для дисперсионного анализа служат данные исследования трех и более выборок, которые могут быть как равными, так и неравными по численности, как связными, так и несвязными. По количеству выявляемых регулируемых факторов дисперсионный анализ может быть однофакторным (при этом изучается влияние одного фактора на результаты эксперимента), двухфакторным (при изучении влияния двух факторов) и многофакторным (позволяет оценить не только влияние каждого из факторов в отдельности, но и их взаимодействие).

Дисперсионный анализ относится к группе параметрических методов и поэтому его следует применять только тогда, когда доказано, что распределение является нормальным.

Дисперсионный анализ используют , если зависимая переменная измеряется в шкале отношений, интервалов или порядка, а влияющие переменные имеют нечисловую природу (шкала наименований).

Примеры задач. В задачах, которые решаются дисперсионным анализом, присутствует отклик числовой природы, на который воздействует несколько переменных, имеющих номинальную природу. Например, несколько видов рационов откорма скота или два способа их содержания и т.п.

Пример 1 : В течение недели в трех разных местах работало несколько аптечных киосков. В дальнейшем мы можем оставить только один. Необходимо определить, существует ли статистически значимое отличие между объемами реализации препаратов в киосках. Если да, мы выберем киоск с наибольшим среднесуточным объемом реализации. Если же разница объема реализации окажется статистически незначимой, то основанием для выбора киоска должны быть другие показатели.

Пример 2 : Cравнение контрастов групповых средних. Семь политических пристрастий упорядочены от крайне либеральные до крайне консервативные, и линейный контраст используется для проверки того, есть ли отличная от нуля тенденция к возрастанию средних значений по группам - т. е. есть ли значимое линейное увеличение среднего возраста при рассмотрении групп, упорядоченных в направлении от либеральных до консервативных.

Пример 3 : Двухфакторный дисперсионный анализ. На количество продаж товара, помимо размеров магазина, часто влияет расположение полок с товаром. Данный пример содержит показатели недельных продаж, характеризуемые четырьмя типами расположения полок и тремя размерами магазинов. Результаты анализа показывают, что оба фактора - расположение полок с товаром и размер магазина - влияют на количество продаж, однако их взаимодействие значимым не является.

Пример 4: Одномерный ANOVA: Рандомизированный полноблочный план с двумя обработками. Исследуется влияние на припек хлеба всех возможных комбинаций трех жиров и трех рыхлителей теста. Четыре образца муки, взятые из четырех разных источников, служили в качестве блоковых факторов. Необходимо выявить значимость взаимодействия жир-рыхлитель. После этого определить различные возможности выбора контрастов, позволяющих выяснить, какие именно комбинации уровней факторов различаются.

Пример 5 : Модель иерархического (гнездового) плана со смешанными эффектами. Изучается влияние четырех случайно выбранных головок, вмонтированных в станок, на деформацию производимых стеклянных держателей катодов. (Головки вмонтированы в станок, так что одна и та же головка не может использоваться на разных станках). Эффект головки обрабатывается как случайный фактор. Статистики ANOVA показывают, что между станками нет значимых различий, но есть признаки того, что головки могут различаться. Различие между всеми станками не значимо, но для двух из них различие между типами головок значимо.

Пример 6 : Одномерный анализ повторных измерений с использованием плана расщепленных делянок. Этот эксперимент проводился для определения влияния индивидуального рейтинга тревожности на сдачу экзамена в четырех последовательных попытках. Данные организованы так, чтобы их можно было рассматривать как группы подмножеств всего множества данных ("всей делянки"). Эффект тревожности оказался незначимым, а эффект попытки - значим.

Ковариационный анализ. Ковариационный анализ - совокупность методов математической статистики, относящихся к анализу моделей зависимости среднего значения некоторой случайной величины одновременно от набора (основных) качественных факторов и (сопутствующих) количественных факторов . Факторы F задают сочетания условий, при которых были получены наблюдения X,Y, и описываются с помощью ндикаторных переменных, причем среди сопутствующих и индикаторных переменных могут быть как случайные, так и неслучайные (контролируемые в эксперименте).

Если случайная величина Y является вектором, то говорят о многомерном ковариационном анализе.

Ковариационный анализ часто применяют перед дисперсионным анализом, чтобы проверить гомогенность (однородность, представительность) выборки наблюдений X,Y по всем сопутствующим факторам.

Статистические методы анализа данных принято делить на две большие группы: одномерные методы статистического анализа и многомерные методы.

Одномерные методы анализа - это методы, которые применяют в случаях, если существует единый измеритель для оценки каждого элемента выборки, либо если этих измерителей несколько, каждая переменная анализируется отдельно от всех остальных . В центре внимания данных методов находится анализ средних значений и показателей вариации переменных.

Классификация одномерных методов осуществляется по характеру исходных данных (метрические или неметрические), а также по количеству и типу выборок. Так, выборки делят на зависимые (парные) - это выборки, сформированные из одной генеральной совокупности и независимые выборки - это выборки, сформированные из различных генеральных совокупностей. На практике независимыми считают выборки, сформированные из различных страт (в случае использования стратифицированной или квотной выборки), например, мужчин и женщин или групп респондентов с различным уровнем дохода.

К одномерным методам анализа данных относят:

· Методы проверки гипотез (z-критерий, t-критерий, F-критерий, χ2-критерий и т.п.).

Более подробно проверку гипотез смотри: Гмурман В. Е. Теория вероятностей и математическая статистика.

· Методы анализа статистических рядов распределения.

· Однофакторный дисперсионный анализ.

· Другие методы.

Многомерные методы анализа - это методы, которые применяют в случаях, если для оценки каждого элемента выборки используется два или больше измерителя и эти переменные анализируются одновременно . В центре внимания данной группы методов уже находятся анализ взаимосвязей, связей и сходства между переменными.

Выделяют следующие многомерные методы:

1) Методы выявления зависимости между переменными – это методы, в которых одна или несколько переменных являются зависимыми, а другие независимыми. К этой группе относят:

· корреляционно-регрессионный анализ;

· дисперсионный и ковариационный анализ;

· дискриминантный анализ;

· совместный анализ.

2) Методы выявления взаимозависимости между переменными – это методы, позволяющие группировать данные на основе сходства. В данных методах нет деления переменных на зависимые и независимые. К этой группе относят:

· кластерный анализ;

· факторный анализ;

· многомерное шкалирование.

Выбор методов анализа данных осуществляется на основе:

· цели, задач, рабочих гипотез маркетингового исследования;

· типа маркетингового исследования (поисковое или итоговое; описательное или причинно-следственное);

· типа собранных данных - метрические и неметрические переменные;

· шкал, используемых в исследовании;

· объема и метода выборки;

· метода сбора данных;

· области применения и ограничений статистических методов анализа данных.

По сути все предшествующие этапы маркетингового исследования предопределяют выбор стратегии анализа данных. Немалую роль при этом играет опыт и квалификация самого исследователя. В заключении отметим, что сложные многомерные методы статистического анализа данных используются не всегда. Очень часто исследователь ограничивается лишь предварительным (базовым) анализом данных и его графической интерпретацией.

Конечно же, необходимо помнить, что анализ данных маркетингового исследования - это не последний его этап, за ним следует разработка практических рекомендаций и формирование отчета исследования.

Курс знакомит студентов с основными задачами и методами прикладной статистики .

Цели курса - связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

постановка задачи;
примеры прикладных задач из области биологии, экономики, социологии, производства, медицины;
базовые предположения и границы применимости;
описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её нулевое распределение);
достоинства, недостатки, ограничения, «подводные камни»;
сравнение с другими методами.

Курс читается студентам 4 курса кафедры математических методов прогнозирования ВМиК МГУ с 2007 года и студентам 4 курса факультета управления и прикладной математики МФТИ с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики.

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

Понятия простой выборки и статистики . Примеры статистик: моменты , асимметрия и эксцесс , вариационный ряд и порядковые статистики, эмпирическое распределение .
Статистические точечные оценки и их свойства: несмещённость , состоятельность , оптимальность , робастность .
Интервальные оценки , понятия доверительного интервала и уровня доверия . Доверительные интервалы для среднего и медианы.
Часто используемые распределения: нормальное, хи-квадрат, Фишера, Стьюдента, Бернулли, биномиальное, Пуассона.
Проверка статистических гипотез , основные понятия: уровень значимости , достигаемый уровень значимости (p-value), ошибки I и II рода. Односторонние и двусторонние альтернативы.
Свойства достигаемых уровней значимости. Статистическая и практическая значимость.
Свойства критериев: несмещённость , состоятельность , мощность .

Параметрическая проверка гипотез

Критерии нормальности: критерий хи-квадрат (Пирсона), критерий Шапиро-Уилка , критерии, основанные на различиях между эмпирической и теоретической функциями распределения, критерий Колмогорова-Смирнова (Лиллиефорса). Упрощённая проверка нормальности по асимметрии и эксцессу: критерий Харке-Бера.
Нормальные параметрические критерии для проверки гипотез: гипотезы о положении , гипотезы о рассеивании .
Гипотезы о средних: t- и z-критерии Стьюдента для одной и двух выборок, связанные выборки
Гипотезы о дисперсиях: критерии хи-квадрат и Фишера .
Гипотезы о значениях параметра распределения Бернулли: сравнение значения параметра с заданным, сравнение параметров распределений двух выборок (случаи связанных и независимых выборок).
Доверительный интервал для параметра распределения Бернулли: Вальда, Уилсона. Доверительные интервалы Уилсона для разности параметров двух выборок.

Непараметрическая проверка гипотез

Множественная проверка гипотез

Дисперсионный анализ (ANOVA)

Однофакторная модель. Независимые выборки: критерии Фишера, Краскела-Уоллиса , Джонкхиера . Связанные выборки: критерии Фишера, Фридмана и Пейджа . Предположение сферичности.
Модель со случайным эффектом, разделение дисперсии.
Модель с фиксированным эффектом, уточнение различий: методы LSD и HSD, критерии Неменьи и Даннета .
Проверка гипотезы о равенстве дисперсий: критерии Бартлета и Флайнера-Киллиана .
Двухфакторная модель. Взаимодействие факторов, его интерпретация. Двухфакторный нормальный анализ . Иерархический дизайн.

Анализ зависимостей

Линейный регрессионный анализ

Обобщения линейной регрессии

Обобщённые линейные модели. Связующая функция. Оценка параметров методом максимального правдоподобия.
Доверительные интервалы и оценка значимости коэффициентов, критерии Вальда и отношения правдоподобия.
Меры качества обобщённых линейных моделей: аномальность, информационные критерии.
Постановка задачи логистической регрессии . Логит, интерпретация коэффициентов логистической регрессии.
Проверка линейности логита: сглаженные диаграммы рассеяния, дробные полиномы.
Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.
Регрессия счётного признака. Пуассоновская модель.
Предположение о равенстве матожидания и дисперсии и его проверка. Отрицательная биномиальная модель. Устойчивая оценка дисперсии коэффициентов.

Анализ временных рядов

Последовательный анализ

[Вальд, Mukhopadhyay]

Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.
Последовательные доверительные интервалы для среднего нормальной совокупности с неизвестной дисперсией (двухэтапная, последовательная процедуры). Процедуры для разности средних двух нормальных совокупностей, случаи равных и неравных дисперсий.
Непараметрические последовательные доверительные интервалы для среднего и медианы.

Анализ причинно-следственных связей

Неразрешимость парадокса Симпсона в рамках классической статистики.
Причинные графы, цепочки, вилки, коллайдеры. D-разделимость.
Интервенции. Оценка эффекта по обзервационным данным. Хирургия графа и формула корректировки (adjustment formula).
Правило причинного эффекта. Варианты для отсутствия родителей: правило задней двери, правило передней двери.
Propensity score, обратное вероятностное взвешивание.
Графы в линейных моделях. Связь со структурными уравнениями.

Литература

Вальд, А. Последовательный анализ. - М.: Физматлит, 1960.
Лагутин, М.Б. Наглядная математическая статистика. В двух томах. - М.: П-центр, 2003.
Кобзарь, А.И. Прикладная математическая статистика. - М.: Физматлит, 2006.
Agresti, A. Categorical Data Analysis. - Hoboken: John Wiley & Sons, 2013.
Bonnini, S., Corain, L., Marozzi, M., Salmaso S. Nonparametric Hypothesis Testing: Rank and Permutation Methods with Applications in R. - Hoboken: John Wiley & Sons, 2014.
Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. - Boca Raton: Chapman and Hall/CRC, 2010.
Cameron, A.A., Trivedi, P.K. Regression Analysis of Count Data. - Cambridge: Cambridge University Press, 2013.
Dickhaus, T. Simultaneous Statistical Inference With Applications in the Life Sciences. - Heidelberg: Springer, 2014.
Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. - New York: Springer, 2005.
Hastie, T. , Tibshirani, R. , Friedman, J. The Elements of Statistical Learning, 2nd edition . - Springer, 2009. - 533 p. ()
Hosmer, D.W., Lemeshow S., Sturdivant, R.X. Applied Logistic Regression. - Hoboken: John Wiley & Sons, 2013.
Hyndman, R.J., Athanasopoulos G. Forecasting: principles and practice. - OTexts, 2015. https://www.otexts.org/book/fpp
Kanji, G.K. 100 statistical tests. - London: SAGE Publications, 2006.
Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. - Boca Raton: Chapman and Hall/CRC, 2009.
Olsson, U. Generalized Linear Models: An Applied Approach. - Lund: Studentlitteratur, 2004.
Pearl J., Glymour M., Jewell N.P. Causal Inference in Statistics: A Primer. - Chichester: John Wiley & Sons, 2016.
Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. - Boston: Pearson Education, 2012.
Wooldridge, J. Introductory Econometrics: A Modern Approach. - Mason: South-Western Cengage Learning, 2013.

Объектом исследования в прикладной статистике являются статистические данные, полученные в результате наблюдений или экспериментов. Статистические данные - это совокупность объектов (наблюдений, случаев) и признаков (переменных), их характеризующих. Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.

Статистические методы анализа данных, относящиеся к группе а), обычно называют методами прикладной статистики.

Числовые статистические данные - это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки - это (классические) законы больших чисел и центральные предельные теоремы.

Нечисловые статистические данные - это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты.

Статистический анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, можно выделить следующие этапы:

планирование статистического исследования;

организация сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);

непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);

первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.),

оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции),

проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы),

более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.;

проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, в частности, изучение свойств оценок методом размножения выборок;

применение полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.),

составление итоговых отчетов, в частности, предназначенных для тех, кто не является специалистами в статистических методах анализа данных, в том числе для руководства - "лиц, принимающих решения".

К методам относят:

Корреляционный анализ. Между переменными (случайными величинами) может существовать функциональная связь, проявляющаяся в том, что одна из них определяется как функция от другой. Но между переменными может существовать и связь другого рода, проявляющаяся в том, что одна из них реагирует на изменение другой изменением своего закона распределения. Такую связь называют стохастической. В качестве меры зависимости между переменными используется коэффициент корреляции (r), который изменяется в пределах от - 1 до +1. Если коэффициент корреляции отрицательный, это означает, что с увеличением значений одной переменной значения другой убывают. Если переменные независимы, то коэффициент корреляции равен 0 (обратное утверждение верно только для переменных, имеющих нормальное распределение). Но если коэффициент корреляции не равен 0 (переменные называются некоррелированными), то это значит, что между переменными существует зависимость. Чем ближе значение r к 1, тем зависимость сильнее. Коэффициент корреляции достигает своих предельных значений +1 или - 1, тогда и только тогда, когда зависимость между переменными линейная. Корреляционный анализ позволяет установить силу и направление стохастической взаимосвязи между переменными (случайными величинами).

Регрессионный анализ. В регрессионном анализе моделируется взаимосвязь одной случайной переменной от одной или нескольких других случайных переменных. При этом, первая переменная называется зависимой, а остальные - независимыми. Выбор или назначение зависимой и независимых переменных является произвольным (условным) и осуществляется исследователем в зависимости от решаемой им задачи. Независимые переменные называются факторами, регрессорами или предикторами, а зависимая переменная - результативным признаком, или откликом.

Если число предикторов равно 1, регрессию называют простой, или однофакторной, если число предикторов больше 1 - множественной или многофакторной. В общем случае регрессионную модель можно записать следующим образом:

y = f (x 1 , x 2 , …, x n),

где y - зависимая переменная (отклик), x i (i = 1,…, n) - предикторы (факторы), n - число предикторов.

Канонический анализ. Канонический анализ предназначен для анализа зависимостей между двумя списками признаков (независимых переменных), характеризующих объекты. Например, можно изучить зависимость между различными неблагоприятными факторами и появлением определенной группы симптомов заболевания, или взаимосвязь между двумя группами клинико-лабораторных показателей (синдромов) больного. Канонический анализ является обобщением множественной корреляции как меры связи между одной переменной и множеством других переменных.

Методы сравнения средних. В прикладных исследованиях часто встречаются случаи, когда средний результат некоторого признака одной серии экспериментов отличается от среднего результата другой серии. Так как средние это результаты измерений, то, как правило, они всегда различаются, вопрос в том, можно ли объяснить обнаруженное расхождение средних неизбежными случайными ошибками эксперимента или оно вызвано определенными причинами. Сравнение средних результата один из способов выявления зависимостей между переменными признаками, характеризующими исследуемую совокупность объектов (наблюдений). Если при разбиении объектов исследования на подгруппы при помощи категориальной независимой переменной (предиктора) верна гипотеза о неравенстве средних некоторой зависимой переменной в подгруппах, то это означает, что существует стохастическая взаимосвязь между этой зависимой переменной и категориальным предиктором.

Частотный анализ. Таблицы частот, или как еще их называют одновходовые таблицы, представляют собой простейший метод анализа категориальных переменных. Данный вид статистического исследования часто используют как одну из процедур разведочного анализа, чтобы посмотреть, каким образом различные группы наблюдений распределены в выборке, или как распределено значение признака на интервале от минимального до максимального значения. Кросстабуляция (сопряжение) - процесс объединения двух (или нескольких) таблиц частот так, что каждая ячейка в построенной таблице представляется единственной комбинацией значений или уровней табулированных переменных. Кросстабуляция позволяет совместить частоты появления наблюдений на разных уровнях рассматриваемых факторов.

Анализ соответствий. Анализ соответствий по сравнению с частотным анализом содержит более мощные описательные и разведочные методы анализа двухвходовых и многовходовых таблиц. Метод, так же, как и таблицы сопряженности, позволяет исследовать структуру и взаимосвязь группирующих переменных, включенных в таблицу.

Кластерный анализ. Кластерный анализ - это метод классификационного анализа; его основное назначение - разбиение множества исследуемых объектов и признаков на однородные в некотором смысле группы, или кластеры. Это многомерный статистический метод, поэтому предполагается, что исходные данные могут быть значительного объема, т.е. существенно большим может быть как количество объектов исследования (наблюдений), так и признаков, характеризующих эти объекты. Большое достоинство кластерного анализа в том, что он дает возможность производить разбиение объектов не по одному признаку, а по ряду признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов и позволяет исследовать множество исходных данных практически произвольной природы.

Дискриминантный анализ. Дискриминантный анализ включает статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками. Этот вид анализа является многомерным, так как использует несколько признаков объекта, число которых может быть сколь угодно большим. Цель дискриминантного анализ состоит в том, чтобы на основе измерения различных характеристик (признаков) объекта классифицировать его, т.е. отнести к одной из нескольких заданных групп (классов) некоторым оптимальным способом. При этом предполагается, что исходные данные наряду с признаками объектов содержат категориальную (группирующую) переменную, которая определяет принадлежность объекта к той или иной группе. Факторный анализ. Факторный анализ - один из наиболее популярных многомерных статистических методов. Если кластерный и дискриминантный методы классифицируют наблюдения, разделяя их на группы однородности, то факторный анализ классифицирует признаки (переменные), описывающие наблюдения. Поэтому главная цель факторного анализа - сокращение числа переменных на основе классификация переменных и определения структуры взаимосвязей между ними.

Деревья классификации. Деревья классификации - это метод классификационного анализа, позволяющий предсказывать принадлежность объектов к тому или иному классу в зависимости от соответствующих значений признаков, характеризующих объекты. Признаки называются независимыми переменными, а переменная, указывающая на принадлежность объектов к классам, называется зависимой. В отличие от классического дискриминантного анализа, деревья классификации способны выполнять одномерное ветвление по переменными различных типов категориальным, порядковым, интервальным. Не накладываются какие-либо ограничения на закон распределения количественных переменных. По аналогии с дискриминантным анализом метод дает возможность анализировать вклады отдельных переменных в процедуру классификации.

Анализ главных компонент и классификация. Метод анализ главных компонент и классификация позволяет решить эту задачу и служит для достижения двух целей:

уменьшение общего числа переменных (редукция данных) для того, чтобы получить "главные" и "некоррелирующие" переменные;

классификация переменных и наблюдений, при помощи строящегося факторного пространства.

Решение основной задачи метода достигается созданием векторного пространства латентных (скрытых) переменных (факторов) с размерностью меньше исходной. Исходная размерность определяется числом переменных для анализа в исходных данных.

Многомерное шкалирование. Метод можно рассматривать как альтернативу факторному анализу, в котором достигается сокращение числа переменных, путем выделения латентных (непосредственно не наблюдаемых) факторов, объясняющих связи между наблюдаемыми переменными. Цель многомерного шкалирования - поиск и интерпретация латентных переменных, дающих возможность пользователю объяснить сходства между объектами, заданными точками в исходном пространстве признаков. Показателями сходства объектов на практике могут быть расстояния или степени связи между ними. В факторном анализе сходства между переменными выражаются с помощью матрицы коэффициентов корреляций. В многомерном шкалировании в качестве исходных данных можно использовать произвольный тип матрицы сходства объектов: расстояния, корреляции и т.д.

Моделирование структурными уравнениями (причинное моделирование). Объектом моделирования структурными уравнениями являются сложные системы, внутренняя структура которых не известна ("черный ящик"). Основная идея моделирования структурными уравнениями состоит в том, что можно проверить, связаны ли переменные Y и X линейной зависимостью Y = aX, анализируя их дисперсии и ковариации. Эта идея основана на простом свойстве среднего и дисперсии: если умножить каждое число на некоторую константу k, среднее значение также умножится на k, при этом стандартное отклонение умножится на модуль k.

Временные ряды. Временные ряды - это наиболее интенсивно развивающееся, перспективное направление математической статистики. Под временным (динамическим) рядом подразумевается последовательность наблюдений некоторого признака Х (случайной величины) в последовательные равноотстоящие моменты t. Отдельные наблюдения называются уровнями ряда и обозначаются хt, t = 1, …, n. При исследовании временного ряда выделяются несколько составляющих:

x t =u t +y t +c t +e t , t = 1, …, n,

где u t - тренд, плавно меняющаяся компонента, описывающая чистое влияние долговременных факторов (убыль населения, уменьшение доходов и т.д.); - сезонная компонента, отражающая повторяемость процессов в течение не очень длительного периода (дня, недели, месяца и т.д.); сt - циклическая компонента, отражающая повторяемость процессов в течение длительных периодов времени свыше одного года; t - случайная компонента, отражающая влияние не поддающихся учету и регистрации случайных факторов. Первые три компоненты представляют собой детерминированные составляющие.

Нейронные сети. Нейронные сети представляют собой вычислительную систему, архитектура которой имеет аналогию с построением нервной ткани из нейронов. На нейроны самого нижнего слоя подаются значения входных параметров, на основании которых нужно принимать определенные решения.

Планирование экспериментов. Искусство располагать наблюдения в определенном порядке или проводить специально спланированные проверки с целью полного использования возможностей этих методов и составляет содержание предмета "планирование эксперимента".

Карты контроля качества. Качество продукции и услуг формируется в процессе научных исследований, конструкторских и технологических разработок, обеспечивается хорошей организацией производства и услуг. Но изготовление продукции и оказание услуг независимо от их вида всегда связано с определенным непостоянством условий производства и предоставления. Это приводит к некоторой вариабельности признаков их качества. Поэтому, актуальными являются вопросы разработки методов контроля качества, которые позволят своевременно выявить признаки нарушения технологического процесса или оказания услуг.

Различные единицы статистической совокупности, имеющие определенное сходство межу собой по достаточно важным признакам, объединяются в группы при помощи метода группировки. Такой прием позволяет "сжать" информацию, полученную в ходе наблюдения, и на этой основе установить закономерности, присущие изучаемому явлению.

Метод группировок применяется для решения различных задач, важнейшими из которых являются:

1. выделение социально-экономических типов

2. определение структуры однотипных совокупностей

3. вскрытие связей и закономерностей между отдельными признаками общественных явлений

В связи с этим существуют 3 вида группировок: типологические, структурные и аналитические. Группировки различают по форме проведения.

Типологическая группировка представляет собой разделение исследуемой качественно разнородной статистической совокупности на классы, социально-экономические типы, однородные группы единиц.

Структурные группировки разделяют однородную в качественном отношении совокупность единиц по определенным, существенным признакам на группы, характеризующие ее состав и внутреннюю структуру.

Аналитические группировки обеспечивают установление взаимосвязи и взаимозависимости между исследуемыми социально-экономическими явлениями и признаками, их характеризующими. Посредством этого вида группировок устанавливаются и изучаются причинно-следственные связи между признаками однородных явлений, определяются факторы развития статистической совокупности.