Презентация "Методы обработки экспериментальных данных"

Скачать материал

Подписи к слайдам:

Методы обработки экспериментальных данных

<number>

Введение

<number>

1.1. Введение

Окружающий нас мир насыщен информацией…

Ее НЕОБХОДИМО обрабатывать для принятия управленческих решений.

Существует множество мат. пакетов: MatLab, Statistica, Statgraphics…
НО ЕСТЬ проблема…. понимание и интерпретация результатов!

НЕОБХОДИМО ЗНАТЬ И ПОНИМАТЬ КАК И ЧТО ПРОИСХОДИТ ВНУТРИ МАТ. ПАКЕТОВ!

Области применения анализа экспериментальных данных

Химия

Физика

Биология

Техника

Технологии

Гуманитарные науки

Прочая деятельность

1.2. Основные этапы анализа данных

1. Планирование и сбор данных

2. Предварительное исследование данных

3. Оценка неизвестной величины

4. Построение моделей и проверка гипотез

1.3. Структуры данных

Одномерные наборы данных (одна переменная) содержат только один признак, зарегистрированный для каждой элементарной единицы.

Двумерные наборы данных содержат информацию о двух признаках для каждого из объектов. В дополнение к обобщению свойств каждой из этих двух переменных, рассматриваемых как отдельные наборы одномерных данных,

Наборы многомерных данных содержат информацию о трех или более признаках для каждого объекта. В дополнение к обобщению свойств каждой из этих переменных (рассматриваемых как отдельные наборы одномерных данных) и установлению зависимости между парами переменных (как при анализе набора двумерных данных)

1.3. Структуры данных

Количественные данные

Дискретные

Непрерывные

Качественные данные

Порядковые

Номинальные

Временные ряды

1.3. Структуры данных

Источники данных

Первичные

Вторичные

Планирование и сбор данных

Маркетинговые исследования

Социологические опросы

Проведение экспериментов на производстве

Поиск в Internet

Специальные издания и журналы

Покупка готовых данных у специализирующихся компаний

1.4. Что такое переменная?

Переменная (английский термин variable) — это то, что можно измерять, контролировать или чем можно манипулировать в исследованиях. Иными словами, переменная — это то, что варьируется, изменяется, а не является постоянным (от английского корня var).

ПРИМЕРЫ: анкетные данные, систолическое давление пациентов, количество лейкоцитов в крови, цена акций, товаров, услуг, потребление, инвестиции, доход, государственные закупки товаров и услуг, инструмент государственного регулирования (в экономике); рейтинг программ, доля зрителей, количество посещений сайта (в рекламе); скорость, температура, объем, масса в (физике) и т. д.

1.4. Что такое переменная?

Так как значения переменных не постоянны, нужно научиться описывать их изменчивость.

Для этого придуманы описательные или дескриптивные статистики.

Минимум и максимум — это минимальное и максимальное значения переменной.

Среднее — сумма значений переменной, деленная на n (число значений переменной).

Дисперсия и стандартное отклонение — наиболее часто используемые меры изменчивости переменной. Дисперсия меняется от нуля до бесконечности. Крайнее значение 0 означает отсутствие изменчивости, когда значения переменной постоянны.

1.4. Что такое переменная?

Медиана разбивает выборку на две равные части. Половина значений переменной лежит ниже медианы, половина — выше.

Медиана дает общее представление о том, где сосредоточены значения переменной, иными словами, где находится ее центр. В некоторых случаях, например при описании доходов населения, медиана более удобна, чем среднее.

Мода представляет собой максимально часто встречающееся значение переменной (иными словами, наиболее «модное" значение переменной), например популярная передача на телевидении, модный цвет платья или марка автомобиля и т. д.

А так же есть еще множество других статистик: квартили, коэффициент асимметрии, эксцесс, коэффициент корреляции и др.

1.5. Основные законы распределения случайных величин и их назначение

Законы распределения случайных величин служат математическими моделями для реальных объектов и явлений, что позволяет в некоторых случаях применять их для расчетов и анализа ситуации.

1.5. Основные законы распределения случайных величин и их назначение

Нормальное распределение особенно часто используется при анализе данных. Нормальное распределение дает хорошую модель для реальных явлений, в которых:
имеется сильная тенденция данных группироваться вокруг центра;
положительные и отрицательные отклонения от центра равновероятны;
частота отклонений быстро падает, когда отклонения от центра становятся большими.

1.5. Основные законы распределения случайных величин и их назначение

Равномерное распределение полезно при описании переменных, у которых каждое значение равновероятно, иными словами, значения переменной равномерно распределены в некоторой области.

1.5. Основные законы распределения случайных величин и их назначение

Экспоненциальное распределение. Имеют место события, которые на обыденном языке можно назвать редкими. Если T – время между наступлениями редких событий, происходящих в среднем с интенсивностью λ, то величина имеет экспоненциальное распределение с параметром λ (лямбда). Экспоненциальное распределение часто используется для описания интервалов между последовательными случайными событиями, например интервалов между заходами на непопулярный сайт, так как эти посещения являются редкими событиями.

1.5. Основные законы распределения случайных величин и их назначение

Распределение Лапласа, или, как его еще называют, двойного экспоненциального, используется, например, для описания распределения ошибок в моделях регрессии.

1.5. Основные законы распределения случайных величин и их назначение

Случайная величина h называется логарифмически нормальной, или логнормальной, если ее натуральный логарифм (lnh) подчинен нормальному закону распределения. Логнормальное распределение используется, например, при моделировании таких переменных, как доходы, возраст новобрачных или допустимое отклонение от стандарта вредных веществ в продуктах питания. Итак, если величина x имеет нормальное распределение, то величина y=ex имеет логнормальное распределение.

1.5. Основные законы распределения случайных величин и их назначение

Распределение Пуассона иногда называют распределением редких событий. Примерами переменных, распределенных по закону Пуассона, могут служить: число несчастных случаев, число дефектов в производственном процессе и т д.

1.6. Краткий обзор современных программных средств для проведения анализа данных.

MATLAB – это высокопроизводительный язык для технических расчетов. Он включает в себя вычисления, визуализацию и программирование в удобной среде, где задачи и решения выражаются в форме, близкой к математической. Типичное использование MATLAB – это:
• математические вычисления
• создание алгоритмов
• моделирование
• анализ данных, исследования и визуализация
• научная и инженерная графика
• разработка приложений, включая создание графического интерфейса

1.6. Краткий обзор современных программных средств для проведения анализа данных.

Mathcad – программное средство, среда для выполнения на компьютере разнообразных математических и технических расчетов, снабженная простым в освоении и в работе графическим интерфейсом, которая предоставляет пользователю инструменты для работы с формулами, числами, графиками и текстами.
В среде Mathcad доступны более сотни операторов и логических функций, предназначенных для численного и символьного решения математических задач различной сложности и применения этих функций для анализа данных.

1.6. Краткий обзор современных программных средств для проведения анализа данных.

STATISTICA – это универсальная интегрированная система, предназначенная для статистического анализа и визуализации данных, управления базами данных и разработки пользовательских приложений, содержащая широкий набор процедур анализа для применения в научных исследованиях, технике, бизнесе, а также специальные методы добычи данных.
С помощью реализованных в системе STATISTICA мощных языков программирования, снабженных специальными средствами поддержки, легко создаются законченные пользовательские решения и встраиваются в различные другие приложения или вычислительные среды.

1.6. Краткий обзор современных программных средств для проведения анализа данных.

Deductor
Аналитическая платформа Deductor реализует практически все современные подходы к анализу структурированной табличной информации: хранилища данных (Data Warehouse), многомерный анализ (OLAP), добыча данных (Data Mining), обнаружение знаний в базах данных (Knowledge Discovery in Databases). Лучшим способом изучить и понять целесообразность использования современных технологий анализа - это испытать все на практике.

1.6. Краткий обзор современных программных средств для проведения анализа данных.

STATGRAPHICS – это универсальный пакет для анализа и визуализации данных. Отличительной особенностью пакета является наличие такого инструмента как StatAdvisor, который помогает пользователям интерпретировать полученные результаты, обеспечивает возможность объединения в одном окне нескольких текстовых и графических подокон.
StatAdvisor дает пользователям понятные разъяснения полученных результатов, определяет, являются ли эти результаты существенными, и обращает особое внимание на любые возможные ошибки в анализе. Пользователи получают немедленную интерпретацию результатов в процедурах, доступных в как основной системе, так и в четырех специальных модулях, поставляемых по выбору: Quality Control (контроль качества), Experimental Design (планирование эксперимента), Time-Series Analysis (анализ временных рядов) и Advanced Multivariate Method (анализ вариаций).

Вопросы ?

<number>

КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ

<number>

Схема системы распознавания

Объект

Датчики

Формирователь

информативных

признаков

Класси- фикатор

Решение

Система распознавания образов состоит из нескольких подсистем:

)

(

)

(

)

(

Обучающая выборка и решающее правило для случая двух информативных признаков x1, x2 и двух классов.

Байесовская теория принятия решений при дискретных признаках

Одномерный вариант

Рассматриваем m классов (полную группу несовместных случайных событий) и один дискретный информативный признак X.

По формуле Байеса вычисляем апостериорные вероятности для всех рассматриваемых классов:

Выносим решение об истинности того класса (с номером ), для которого апостериорная вероятность максимальная:

Байесовская теория принятия решений при дискретных признаках

Многомерный вариант

Для простоты считаем, что имеются два информативных признака X и Y.
X принимает возможные значения x1,…,xn1, Y принимает возможные значения y1,…,yn2.

По формуле Байеса вычисляем апостериорные вероятности для всех рассматриваемых классов:

Выносим решение об истинности того класса (с номером ), для которого апостериорная вероятность максимальная:

Байесовская теория принятия решений при дискретных признаках

Одномерный вариант

Многомерный вариант

Байесовская теория принятия решений при непрерывных признаках

Одномерны вариант:

Апостериорные вероятности классов по формуле Байеса :

если

то принимается решение о 1-м классе, иначе о 2-м классе.

Байесовская теория принятия решений при непрерывных признаках

Вероятность ошибки классификации при двух классах:

Идеи классификации

Случай 1. Известны полностью условные плотности распределения вероятности для признаков:

Двумерный случай

Одномерный случай

Идеи классификации

Случай 2. Условные плотности распределения вероятности для признаков известны не полностью, а с точностью до параметров:

Неизвестные параметры θ1 и θ2 доопределяются с помощью одного из методов математической статистики, например с помощью метода максимального правдоподобия, на основе обучающей выборки.

Дальнейшая классификация проводится, как и в случае 1.

По обучающей выборке доопределяются и априорные вероятности:

Идеи классификации

Случай 3. Условные плотности распределения вероятности неизвестны, но известна обучающая выборка. Здесь возможны два варианта.

Вариант 1. Восстанавливается решающая функция.

Вариант 2. По обучающей выборке восстанавливаются условные плотности

Идеи классификации

Случай 4. Число классов неизвестно и нет обучающей выборки. Вернее, нет учителя, который мог бы измерения признаков разбить на группы, соответствующие своим классам. Это самая сложная и распространенная на практике ситуация. Приходится строить самообучающиеся системы классификации.

По количеству максимумов определяем кол-во классов
Минимум позволяет разбить выборку на две части – точка c0 (нулевое приближение).
Далее строится процедура последовательного (итерационного) расчета порога c.
В итоге получаем случай 3.

Прямые методы восстановления решающей функции НЕЙРОННЫЕ СЕТИ: еще один подход к классификации

Идея взята из биологии:
Клетка - элементарный процессор, способный к простейшей обработке информации
Нейрон - элемент клеточной структуры мозга
Нейрон осуществляет прием и передачу информации в виде импульсов нервной активности
Природа импульсов - электрохимическая

Интересные данные

Тело клетки имеет размер 3 - 100 микрон
Гигантский аксон кальмара имеет толщину 1 миллиметр и длину несколько метров
Потенциал, превышающий 50 мВ изменяет проводимость мембраны аксона
Общее число нейронов в ЦНС человека порядка 100.000.000.000
Каждая клетка связана в среднем с 10.000 других нейронов
Совокупность в объеме 1 мм*3 - независимая локальная сеть

Персептроны Формальный нейрон Нелинейное преобразование

Маккалок - Питтс

Линейная

Сигмоидальная

Перцептрон Розенблата

Розенблат: нейронная сеть рассмотренной
архитектуры будет способна к воспроизведению любой
логической функции.
(неверное предположение)

Обучение сети

Обучить нейронную сеть это значит, сообщить ей, чего от нее добиваются.
Показав ребенку изображение буквы и получив неверный ответ, ему сообщается тот, который хотят получить.
Ребенок запоминает этот пример с верным ответом и в его памяти происходят изменения в нужном направлении.

Обучение перцептрона

Начальные значения весов всех нейронов полагаются случайными.

Сети предъявляется входной образ xв результате формируется выходной образ.

STATISTICA Neural Networks ВОПРОСЫ ?

<number>

ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА

<number>

Что такое планирование эксперимента

Целью планирования эксперимента является создание таких планов вариации входных переменных, которые обеспечивают более быстрое и точное построение модели объекта.

Выход объекта состоит из неизвестного сигнала (функции от входов) и центрированной помехи

Эксперименты в науке и промышленности

Экспериментальные методы широко используются как в науке, так и в промышленности, однако нередко с весьма различными целями.

Обычно основная цель научного исследования состоит в том, чтобы показать статистическую значимость эффекта воздействия определенного фактора на изучаемую зависимую переменную.

В условиях промышленного эксперимента основная цель обычно заключается в извлечении максимального количества объективной информации о влиянии изучаемых факторов на производственный процесс с помощью наименьшего числа дорогостоящих наблюдений.

Общие идеи

Обычно любая машина или станок, используемый на производстве, позволяет операторам изменять различные настройки, влияя на качество производимого продукта. Эксперименты позволяют инженеру, ответственному за производство, улучшать настройки машины, а также выяснить какие факторы вносят наиболее важный вклад в качество продукции. Использование этой информации позволяет улучшить настройки системы, достигнув оптимального качества. Чтобы проиллюстрировать эти рассуждения далее приводится несколько примеров.

Общие идеи

Пример 1: Производство красителей для ткани. Рассмотрим эксперимент по производству некоторого красителя для ткани. В этом случае качество производимой продукции описывается насыщенностью, яркостью и стойкостью окрашенной ткани. Кроме того, необходимо уточнить, что надо изменять для получения красок различной насыщенности, яркости для удовлетворения потребительского спроса. Другими словами, в этом эксперименте нужно выявить факторы, наиболее заметно влияющие на яркость, насыщенность и стойкость производимой краски. В примере рассматривается 6 различных факторов, влияние которых оценивается с помощью плана 2^6.
Результаты эксперимента показали, что имеется три наиболее важных фактора: Полисульфидный индекс, Время и Температура. Эту информацию теперь можно использовать для более тонкой настройки аппаратуры, что бы улучшить качество красителя.

Общие идеи

Пример 2: Максимизация выхода химической реакции. Выход продукта многих химических реакций зависит от времени и температуры. К сожалению, эти функции не линейны и не монотонны. Другими словами, нельзя сказать: “чем больше продолжительность реакции, тем больше выход” и “чем выше температура, тем больше выход”.

Формально цель эксперимента заключается в том, чтобы найти оптимальное положение на поверхности выхода, образованной двумя переменными: временем и температурой.

Общие идеи

Пример 3: Улучшение поверхностной однородности при производстве кремниевых кристаллов. Производство надежных микропроцессоров требует высоко отлаженного производственного процесса. Отметим, что в данном примере одинаково, если не более важно, контролировать как изменчивость некоторых производственных характеристик, так и их средние значения. Например, средняя толщина поверхностного слоя поликремниевой подложки производственный процесс может быть отрегулирован превосходно, однако, если изменчивость этого параметра велика, то микрочипы будут недостаточно надежными. Не существует теоретической модели, которые позволяла бы инженеру предсказать, как эти факторы влияют на однородность поверхности кристаллов. Следовательно, для оптимизации производственного процесса нужно систематизировано проводить эксперименты на различных уровнях факторов.

Что такое планирование эксперимента

Взвешивание трех тел по традиционной схеме ("+" означает, что тело положено на весы, "–" указывает на отсутствие тела на весах).

n	A	B	C	yi
1	–	–	–	y1
2	+	–	–	y2
3	–	+	–	y3
4	–	–	+	y4

n	A	B	C	yi
1	–	–	–	y1
2	+	–	–	y2
3	–	+	–	y3
4	–	–	+	y4

Взвешивание трех тел с использованием планирования эксперимента.

Видно, что при новой схеме взвешивания дисперсия веса объектов получается вдвое меньше, чем при традиционном методе взвешивания, хотя в обоих случаях выполнялось по четыре опыта.

Построение линейной статической модели объекта

Считаем, что входами объекта являются u1,…,um, а выходом y. Уравнение линейной статической модели объекта имеет вид:

Необходимо на основе эксперимента (на основе нескольких измерений входов и выхода объекта) вычислить коэффициенты модели.

Экспериментальные точки для входных координат зададим в вершинах гиперпрямоугольника.

Интервалы покачивания относительно базовой точки задаются экспериментатором, и они определяют область изучения объекта.

Построение линейной статической модели объекта

С целью унификации процедур построения планов, исследования их свойств, расчета параметров и исследования качества модели осуществляется переход от размерных входных переменных u1,…,um к безразмерным x1,…,xm.

Точки плана в вершинах прямоугольника в новых координатах оказываются в вершинах квадрата с единичными координатами. Центр плана переходит в начало координат.

n	xo	x1	x2	yi
1	+	+	+	y1
2	+	–	+	yi
3	+	+	–	y3
4	+	–	–	y4

В итоге получается план:

Построение линейной статической модели объекта

В новых безразмерных координатах x1,…,xm линейная модель также сохраняет линейный вид:

Параметры βi модели рассчитаем по критерию наименьших квадратов :

Предполагая, что измерения выхода некоррелированные и равноточные получаем систему линейных алгебраических уравнений:

Крутое восхождение по поверхности отклика

В планировании эксперимента поверхностью отклика называют уравнение связи выхода объекта с его входами.

В 1951 году Бокс и Уилсон предложили использовать последовательный "шаговый" метод движения к экстремуму выхода объекта.

Коэффициенты αi линейной модели являются оценками составляющих градиента:

Далее движение осуществляется по поверхности отклика в направлении оценки градиента

, где k - величина шага.

Полный факторный эксперимент

Полным факторным экспериментом называется эксперимент, в котором реализуются все возможные сочетания уровней факторов. Если число факторов равно m, а число уровней каждого фактора равно p. то имеем полный факторный эксперимент типа pm.

При построении линейной модели объекта используется полный факторный эксперимент типа 2m. Условия эксперимента записываются в таблицы, в которых строки соответствуют различным опытам, а столбцы – значениям факторов. Такие таблицы называются матрицами планирования эксперимента.

Полный факторный эксперимент

С использованием ортогонального плана первого порядка можно определять не только коэффициенты βi, но и коэффициенты βij перед факторами взаимодействия xixj (i≠j)

Например, при m=2 можно рассчитать и коэффициенты модели:

n	x0	x1	x2	x1x2	yi
1	+	+	+	+	y1
2	+	–	+	–	y2
3	+	+	–	–	y3
4	+	–	–	+	y4

Дробные реплики

При большом числе входов объекта полный факторный эксперимент 2m содержит большое число экспериментов. Можно этот план разбивать на блоки (дробные реплики) с сохранением ортогональности плана. При этом по меньшему числу точек определяются (также независимо друг от друга) все коэффициенты линейной модели.

Чтобы получить дробную реплику, необходимо за основу взять полный факторный эксперимент (например 23) и в качестве новой переменной взять один из столбцов (например x4), соответствующий фактору взаимодействия (например x4=x1x2). Для данного примера дробная реплика обозначается как 24-1.

n	x1	x2	x3	X4=x1x2
1	+	+	+	+
2	–	+	+	–
3	+	–	+	–
4	–	–	+	+
5	+	+	–	–
6	–	+	–	+
7	+	–	–	+
8	–	–	–	–

Определяющий контраст (или определяющие контрасты, когда их несколько) позволяет установить разрешающую способность дробной реплики. Разрешающая способность будет максимальной, если линейные эффекты будут смешаны с эффектами взаимодействия наибольшего возможного порядка.

Насыщенные планы. Симплекс

Иногда исследователь ставит цель получения линейного уравнения модели по планам, содержащим минимум точек (количество точек равно числу коэффициентов). Такие планы называют насыщенными.

Ортогональный план проводится в вершинах правильного симплекса. Правильным симплексом называется выпуклая правильная фигура в многомерном пространстве, число вершин которой превышает размерность этого пространства на единицу.

Эти планы центральные и ортогональные.

Насыщенные планы. Симплекс

Один из общих способов построения планов:

Насыщенные планы. Планы Плаккета – Бермана

Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67, 71, ... .

Задаются базовые строки. Каждая следующая строка матрицы планирования образуется из исходной циклическим сдвигом вправо. Получается матрица размером m x m. Последняя (m+1) -я строка матрицы планирования состоит из минус единиц.

Пример базисных строк:

m	n	Строка
11	12	+ + – + + + – – – + –
19	20	+ + – – + + + – + – + – – – – + + –
23	24	+ + + + + – + – + + – – + + – – + – + – – – –
31	32	– – – – + – + – + + + – + + – – – + + + + + – – + + – + – – +
35	36	– + – + + + – – – + + + + + – + + + – – + – – – – + – + – + + – – + –

Разбиение матрицы планирования на блоки

При проведении эксперимента выход объекта дрейфует. Если этот дрейф кусочно-постоянный, то его можно нейтрализовать, изменяя порядок проведения эксперимента во времени. Для этого разбивают матрицу планирования на блоки и последовательно реализуют (во времени) эту матрицу: вначале один блок, затем другой и т. д.

В качестве примера рассмотрим ортогональный план 23 . Считаем, что выход объекта имеет аддитивный дрейф на величину Δ1 (когда проводятся эксперименты с номерами 1, 2, 3, 4) и на величину Δ2 (когда проводятся эксперименты № 5, 6, 7, 8). Этот дрейф приводит к смещению на величину (4Δ1-4 Δ2)/8 параметра β3.

Разбиение матрицы планирования на блоки

Пример эксперимента в котором выход объекта дрейфует.

n	x1	x2	x3	xдр=x1x2x3	yi	Номер блока
1	+	+	+	+	y1=y1ист+Δ1	1
2	–	+	+	–	y2=y2ист+Δ1	2
3	+	–	+	–	y3=y3ист+Δ1	2
4	–	–	+	+	y4=y4ист+Δ1	1
5	+	+	–	–	y5=y5ист+Δ2	2
6	–	+	–	+	y6=y6ист+Δ2	1
7	+	–	–	+	y7=y7ист+Δ2	1
8	–	–	–	–	y8=y8ист+Δ2	2

Разбиение матрицы планирования на блоки

Для устранения этого недостатка изменим порядок проведения эксперимента, разбив план на 2 блока.

n	x1	x2	x3	xдр	yi	Номер блока
1	+	+	+	+	y1=y1ист+Δ1
2	–	–	+	+	y2=y2ист+Δ1	Блок 1
3	–	+	–	+	y3=y3ист+Δ1
4	+	–	–	+	y4=y4ист+Δ1
5	–	+	+	–	y5=y5ист+Δ2
6	+	–	+	–	y6=y6ист+Δ2	Блок 2
7	+	+	–	–	y7=y7ист+Δ2
8	–	–	–	–	y8=y8ист+Δ2

Обработка результатов эксперимента

1. Проверка однородности дисперсий. Если при реализации ортогонального плана остается неизвестным, на самом ли деле дисперсии выходов (ошибок измерения) одинаковы в каждой точке плана, то необходимо в каждой точке плана осуществить несколько дополнительных измерений выхода, найти оценку дисперсии (в каждой точке) и проверить гипотезу о равенстве дисперсий.

Проверка однородности дисперсий производится с помощью различных статистик. Простейшей из них является статистика Фишера, представляющая собой отношение наибольшей из оценок к наименьшей:

Так же можно выполнить проверку с использованием статистики Кочрена:

Обработка результатов эксперимента

2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию адекватности):

На основе дополнительного эксперимента объема n0 в одной из точек плана (например в центре плана) строим оценку для дисперсии выхода объекта. Число степеней свободы для оценки n0 -1. По статистике Фишера проверяем гипотезу о равенстве дисперсий, которая совпадает с гипотезой об адекватности модели.

Если статистика не превосходит порогового значения, то принимается гипотеза об адекватности модели. В противоположном случае эта гипотеза отвергается. Надо заново строить модель, например, усложняя ее за счет введения дополнительных факторов, либо отказываться от линейной модели и переходить к квадратичной модели.

Обработка результатов эксперимента

3. Проверка значимости коэффициентов заключается в проверке гипотезы H: bj = 0 для каждого j=1,…,m.
Вычисляется статистика Стьюдента:

Если |t|<c, где с – пороговое значения из таблицы Стьюдента, то принимается гипотеза о том, что коэффициент модели βj незначимо отличается от нуля. В этом случае данный член модели можно опустить, но после этого упрощения модели ее надо проверить на адекватность.

Обработка результатов эксперимента

4. Интерпретация модели. Производится качественное сопоставление поведения полученной модели с реальными процессами объекта. При этом привлекается информация от экспертов (например технологов), детально изучивших объект. Знак коэффициентов βj , линейной модели показывает характер влияния входа объекта на выход. Знак "+" свидетельствует о том, что с увеличением входа (фактора) растет величина выхода объекта и наоборот. Величина коэффициентов βj – количественная мера этого влияния.

Если характер связи между входами и выходом объекта на основе построенной модели не соответствует реальным связям (на базе информации от экспертов) в объекте, то такую модель надо поставить под сомнение либо полностью отказаться от нее.

Ортогональное планирование второго порядка

Построение планов второго порядка – задача в математическом отношении значительно более сложная, чем в случае построения планов первого порядка. Модель второго порядка при m=3 имеет вид:

Для вычисления коэффициентов модели второго порядка необходимо варьировать переменные не менее чем на трех уровнях. Это вызывает необходимость постановки большого числа опытов. Полный факторный эксперимент содержит 3m точек.

m	1	2	3	4	5	6	7
3m	3	9	27	81	243	729	2187
Композиционный план n0=1	5	9	15	25	43	77	143

Ортогональное планирование второго порядка

В 1951 году Бокс и Уилсон предложили составлять композиционные планы. Число точек плана равно величине n=n1+2m+n0 . Здесь n1– число точек полного факторного эксперимента или дробной реплики 2m – число парных точек, расположенных на осях координат; n0 – число опытов в центре плана.

Точки на осях координат называют звездными точками. Их количество равно удвоенному числу факторов. Расстояние от центра плана до звездной точки одинаково. Его обозначают буквой α и называют звездным плечом.

Композиционные планы имеют следующие положительные свойства: 1. Они могут быть получены в результате достройки планов первого порядка.
2. Дополнительные точки на осях координат и в центре плана не нарушают ортогональности для столбцов, соответствующих факторам xj и эффектам взаимодействия xixj .

Ортогональное планирование второго порядка

Пример композиционного плана:

n	x0	x1	x2	x1x2	x12	x22	x1’	x2’
1	+	+	+	+	+	+	◊	◊
2	+	–	+	–	+	+	◊	◊
3	+	+	–	–	+	+	◊	◊
4	+	–	–	+	+	+	◊	◊
5	+	α	0	0	α2	0	Δ	□
6	+	-α	0	0	α2	0	Δ	□
7	+	0	α	0	0	α2	□	Δ
8	+	0	-α	0	0	α2	□	Δ
9	+	0	0	0	0	0	□	□

С учетом новых переменных xl’ получаем следующее уравнение модели (для случая m=2):

Ротатабельное планирование

Если эта дисперсия одинакова на равном удалении от центра плана, то такой план называется ротатабельным.

Ортогональный план первого порядка является ротатабельным.

Построение ротатабельного плана второго порядка из симплексных планов:

Метод случайного баланса

Часто влияние факторов на выходную координату объекта имеет затухающий экспоненциальный вид:

В 1956 году Сатерзвайт предложил метод случайного баланса для отсеивания небольшого числа значимых факторов на шумовом поле. Метод базируется на постановке экспериментов по плану, содержащему координаты точек, выбранных случайным образом.

Построение матрицы планирования осуществляют следующим образом. Все факторы разбивают на группы. Затем для каждой группы строят матрицы планирования, беря за основу полный факторный эксперимент или дробные реплики. План проведения эксперимента образуется путем случайного смешивания строк соответствующих базовых планов (для групп факторов). Полученный план реализуется на объекте, и результаты анализируются с помощью диаграмм рассеяния.

Метод случайного баланса

Пример:

Каждая из диаграмм содержит точки, соответствующие результатам эксперимента. Эти точки разбиты на две группы. Одна из них соответствует тем опытам, когда исследуемый фактор находился на нижнем уровне, вторая – тем опытам, когда фактор находился на верхнем уровне. Для каждой из групп находятся оценки медианы и вычисляется их разность (из оценки медианы правой группы вычитается оценка медианы левой).
Разность между оценками медиан количественно оценивает линейное влияние фактора на выход объекта.

n	x1	x2	x1x2	y	y1
1	+	+	+	24	27
2	–	+	–	27	27
3	+	–	–	26	29
4	–	–	+	29	29

ВОПРОСЫ ?

<number>

МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ

<number>

Оценивание функционалов

Необходимо по выборке x1,…,xn случайной величины X найти оценку функционала

Рассмотрим некоторые примеры функционалов:

– дисперсия.

– приведенная энтропия.

– математическое ожидание.

Оценивание функционалов

Схема построения оценки Фn следующая. Вначале строится оценка для плотности вероятности fn(x), а затем она подставляется в функционал.

Основным свойством оценки Фn(x1,…,xn) является ее состоятельность. Оценка Фn функционала Ф называется состоятельной, если:

Оценка Фn параметра Ф называется несмещенной, если:

Требование состоятельности определяет практическую пригодность оценок, ибо в противоположном случае (при несостоятельности оценок) увеличение объема исходной выборки не будет приближать оценку к "истинной" величине. По этой причине свойство состоятельности должно проверяться в первую очередь.

Она является асимптотически несмещенной, если:

Простейшие оценки функции и плотности распределения вероятности

По упорядоченной независимой выборке x1,…,xn случайной величины X построим оценку Fn(x) для функции распределения:

где 1(z) – единичная функция:

Простейшие оценки функции и плотности распределения вероятности

Так как плотность распределения f(x) связана с функцией распределения F(x) через линейный оператор дифференцирования :

Можно получить оценку для плотности распределения :

Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид: уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает свойствами:

- площадь под дельта функцией единичная.

селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке.

Простейшие оценки функции и плотности распределения вероятности

Первое свойство показывает, что, несмотря на экзотическое поведение дельта-функции, площадь под ней единичная.

Второе селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке.

Оценка плотности распределения является несмещенной, но несостоятельной. В явном виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок моментов (математического ожидания, дисперсии и др.) для случайной величины или для аналитической функции случайной величины. Получаемые оценки являются состоятельными и часто несмещенными.

Простейшие оценки функции и плотности распределения вероятности

Многомерный случай:

Кратные измерения. При кратных измерениях значение x1 повторяется k1 раз, x2 – k2 раз,…, xm – km раз, при этом k1+…+km = n.

Полиграммы

Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой функции плотности. Для этого надо повысить соответственно степень гладкости для оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых, то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка называется полиграммой первого порядка.

Она строится на выборочных интервалах, ограниченных выборочными значениями упорядоченной выборки x1,…,xn. Площадь каждого прямоугольника равна 1/(n-1)

Полиграммы

Для улучшения сглаживающих свойств оценки плотности построены полиграммы более высоких порядков:

Метод "К ближайших соседей"

Считаем, что для одномерной случайной величины X имеется n независимых наблюдений x1,…,xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤ n. Для каждой выбранной точки x существует интервал длительностью 2p(kn,n,x) который охватывает kn ближайших к x точек выборки. Одна точка попадает на границу интервала, а kn-1 точка – внутрь интервала. Оценкой плотности распределения вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2p, приведенная к единичной величине интервала:

Многомерный случай:

Оценка Розенблатта – Парзена

Плотность распределения вероятности связана с функцией распределения через оператор дифференцирования:

Оценка Розенблатта – Парзена

Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в оценке fn(x) прямоугольное ядро I(z) на произвольное K(z) и получим:

Здесь h – коэффициент размытости ядра. Примеры треугольного, параболического и кубического ядер приведены ниже:

Оценка Розенблатта – Парзена

Многомерный случай:

Оценка условной плотности вероятности

Рассматриваем объект, имеющий случайный вход (либо несколько входов) X и выход Y. Связь между случайными величинами характеризуют условные характеристики, например, условная плотность распределения вероятности f(x|y).

Оценка регрессии

Регрессией называют первый начальный условный момент

Это некоторая усредненная количественная зависимость между выходом и входом объекта. Регрессия (4.7.1) удовлетворяет квадратичному критерию

Получим оценку регрессии:

Оценка регрессии

Подбор оптимального параметра коэффициента размытости для оценки регрессии. Перейдем от размерного параметра с к безразмерному β.

При β=0 ядро K(·) не зависит от x.

Оценка регрессии равна среднему арифметическому выборочных значений выхода объекта для любых x.

Оценка регрессии

Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии проходит через экспериментальные точки и состоит из кусков линий, соединяющих точки выборки.

Оптимальный параметр β лежит в интервале [0; 1].

Оценка регрессии

Рекуррентный расчет оценки регрессии. Для каждого фиксированного x на основе использования рекуррентной схемы расчета получаем алгоритм адаптивного сглаживания:

Оценка регрессии

Инверсная модель. Для объекта с одним входом X и одним выходом Y основной инверсной характеристикой является регрессия

и получаем оценку инверсной регрессии:

Робастные оценки регрессии

В реальной ситуации исходные экспериментальные данные xi, yi могут содержать аномальные измерения, называемые выбросами. Даже наличие малого процента выбросов приводит к сильному искажению оценок. Поставим задачу построения оценки регрессии, которая была бы более устойчивая (малочувствительная, робастная (в переводе с английского "крепкая") к выбросам по отношению к ранее построенной оценке:

Кроме математического ожидания случайной величины Y есть другая характеристика среднего положения – медиана. Медиана – это среднее по вероятности значение. Состоятельная оценка медианы представляет собой среднее по номеру значение в упорядоченной выборке:

Робастные оценки регрессии

Запишем критериальную форму получения оценки:

Робастные оценки регрессии

Модульный критерий не является единственным для получения робастных оценок. Более общий критерий имеет вид :

Некоторые виды функций F(v):

Адаптивное управление при априорной неопределенности

Адаптацией природа наделила все живое. Она представляет собой приспособление к различным изменениям. Эти изменения происходят как внутри живого организма, так и во внешней среде.

Свойством адаптации человек наделил и созданные им устройства. Управление в этих устройствах осуществляется таким образом, чтобы как можно быстрее и лучше нейтрализовать влияние непредвиденных изменений или приспособиться к ним.

ВОПРОСЫ ?

<number>

ДИСПЕРСИОННЫЙ АНАЛИЗ

<number>

Постановка проблемы

Дисперсионный анализ является статистическим методом анализа результатов наблюдений, зависящих от различных одновременно действующих факторов, с целью выбора наиболее значимых факторов и оценки их влияния на исследуемый процесс.

Методами дисперсионного анализа устанавливается наличие влияния заданного фактора на изучаемый процесс (на выходную переменную процесса) за счёт статистической обработки наблюдаемой совокупности выборочных данных.

Однофакторный дисперсионный анализ

Предположим, что анализируется влияние на случайную величину X фактора A, изучаемого на k уровнях (A1, A2,…, Ak). На каждом уровне Ai проведены n наблюдений (xi1, xi2,…,xin) случайной величины X.

Номер наблюдения	Уровни фактора A
	A1	A2	…	Ai	…	Ak
1	x11	x21	…	xi1	…	xk1
2	x12	x22	…	xi2	…	xk2
….	…	…	…	…	…	…
j	x1j	x2j	…	xij	…	xkj
…	…	…	…	…	…	…
n	x1n	X2n	…	xin	…	xkn
Σ	X1	X2	…	Xi	…	Xn

Расположим эксперимен-тальные данные в виде таблицы

Однофакторный дисперсионный анализ

Рассмотрим оценки различных дисперсий, возникающие при анализе таблицы результатов наблюдений. Для оценки дисперсии, характеризующей изменение данных на уровне Ai (по строкам таблицы), имеем:

Из предпосылок дисперсионного анализа следует, что должно иметь место равенство всех дисперсий. При выполнении этого условия находим оценку дисперсии, характеризующей рассеяние значений xij вне влияния фактора A, по формуле:

Однофакторный дисперсионный анализ

Если , то влияние A – значимо.

Сравниваем и устанавливаем наличие влияния фактора A.

Для упрощения вычислений приведем алгоритм их выполнения. Вычисляем последовательно суммы:

Двухфакторный дисперсионный анализ

Рассмотренный ранее однофакторный дисперси-онный анализ обладает информативностью, не большей, чем методы множественного сравнения средних. Информативность дисперсионного анализа возрастает при одновременном изучении влияния нескольких факторов.

Рассмотрим случай, когда анализируется влияние одновременно двух факторов A и B.

Двухфакторный дисперсионный анализ

Пусть результаты эксперимента представлены таблицей:

B/А	Уровни фактора A						Σ
	A1	A2	…	Ai	…	Ak
B1	x11	x21	…	xi1	…	xk1	X1’
B2	x12	x22	…	xi2	…	xk2	X2’
….	…	…	…	…	…	…	…
Bj	x1j	x2j	…	xij	…	xkj	Xj’
…	…	…	…	…	…	…	…
Bm	x1n	X2n	…	xin	…	xkn	Xm’
Σ	X1	X2	…	Xi	…	Xn

Двухфакторный дисперсионный анализ

Если , то влияние фактора A признается значимым.

Дисперсионный анализ для двухфакторных таблиц проводится в следующей последовательности. Вычисляются суммы:

Далее находятся оценки дисперсий:

Если , то влияние фактора B признается значимым.

Двухфакторный дисперсионный анализ

Для оценки влияния взаимодействия факторов AB вычисляем дополнительную сумму:

Приведенный анализ предполагает независимость факторов A и B. Если они зависимы, то взаимодействие факторов C=AB также является фактором, которому соответствует своя дисперсия. Для того чтобы выделить такое взаимодействие, необходимы параллельные наблюдения в каждой клетке таблицы, т.е. при каждом сочетании факторов A и B на уровнях Ai и Bj соответственно необходимо не одно наблюдение, а серия наблюдений.

Далее анализ проводится, как и ранее, с той лишь разницей, что в клетках таблицы вместо отдельных значений используется их средние значения. Вычисляется оценка дисперсии и проверяется значимость взаимодействия факторов:

Планирование эксперимента при дисперсионном анализе

Дисперсионный анализ тесно связан с соответствующим планированием эксперимента. Удачно спланированный эксперимент, выявляя все необходимые эффекты, оказывается всегда либо более точным, либо менее трудоемким по сравнению с непродуманным экспериментом.

Если на результат эксперимента действуют одновременно несколько факторов, то наилучший эффект дает одновременный дисперсионный анализ всех этих факторов (многофакторный анализ).

Методы дисперсионного анализа позволяют исследовать и такой случай, когда некоторые сочетания уровней пропущены. Такой эксперимент называется дробным факторным экспериментом (ДФЭ). Планирование при ДФЭ приобретает особо важную роль, ибо пропущенные сочетания уровней не так-то просто нейтрализовать.

Планирование эксперимента при дисперсионном анализе

Такие способы планирования существуют и притом не единственные; согласно Фишеру их называют латинскими квадратами. Эти расположения приводятся в специальных справочниках; для примера приведен один вид такого квадрата:

	A1	A2	…	Ak-1	Ak
B1	C1	C2	…	Ck-1	Ck
B2	C2	C3	…	Ck	C1
…	…	…	…	…	…
Bk-1	Ck-1	Ck	…	Ck-3	Ck-2
Bk	Ck	C1	…	Ck-2	Ck-1

Планирование эксперимента при дисперсионном анализе

Схема расчетов для латинского квадрата очень похожа на обычный двухфакторный анализ:

Находим сумму квадратов по столбцам, деленную на число наблюдений в столбце:

Находим сумму квадратов итогов по строкам, деленную на число наблюдений в строке:

Находим квадрат общего итога, деленный на число всех наблюдений:

Находим сумму квадратов итогов по уровням фактора C, деленную на число уровней:

Планирование эксперимента при дисперсионном анализе

Перейдем теперь к вычислению и оценке значимости дисперсий:

Если отличие будет значимым, то

Если отличие будет значимым, то

ВОПРОСЫ ?

<number>

АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ

<number>

Введение

Временные ряды отличаются от обычных данных об одном временном срезе в том отношении, что в случае временных рядов сама последовательность наблюдений несет в себе важную информацию.

Теперь чтобы охарактеризовать совокупность данных в целом, уже недостаточно знать лишь типичное значение этих данных (среднее значение) или даже изменчивость этой совокупности данных (дисперсия). В этом случае желательно знать, что, скорее всего, произойдет дальше. НУЖЕН ПРОГНОЗ!

Введение

ПРИМЕР. Чтобы составить бюджет на следующий квартал, требуется достоверная оценка ожидаемого объема продаж. Этот прогноз послужит основой для прогнозирования других показателей бюджета (возможно, с помощью регрессионного анализа). Проанализировав временной ряд фактических квартальных объемов продажи за последние несколько лет, можно выдать прогноз, который будет представлять собой наиболее достоверную оценку, базирующуюся на общих тенденциях продаж, с учетом любых сезонных колебаний спроса.

Анализ трендов и сезонности

Анализ трендов и сезонности представляет собой непосредственный, интуитивный подход к оцениванию четырех базовых компонентов помесячных или поквартальных временных рядов: долгосрочный тренд (тенденция), сезонность, циклическая вариация и нерегулярный компонент.
Базовая модель временного ряда представляет числа в этом ряде в виде произведения, получаемого путем умножения перечисленных компонентов.

Анализ трендов и сезонности Анализ трендов и сезонности

Тренд и циклический компонент: скользящее среднее

Скользящее среднее представляет собой новый ряд, полученный путем усреднения соседних наблюдений временного ряда и перехода к следующему периоду времени – в итоге получается более гладкий ряд.

Анализ трендов и сезонности

Сезонный индекс: среднее значение отношения к скользящему среднему отражает сезонное поведение

Чтобы выделить сезонное поведение, прежде всего, следует получить отношение исходных значений к скользящему среднему. Полученный результат будет включать сезонный и нерегулярный компоненты, поскольку скользящее среднее исключает из данных тренд и циклический компонент.

Анализ трендов и сезонности

Затем, чтобы устранить нерегулярный компонент, надо усреднить эти значения для каждого сезона. Сезонный компонент проявляется, поскольку он присутствует ежегодно, тогда как нерегулярный компонент, как правило, удается усреднить.

Анализ трендов и сезонности

Поправка на сезон: деление ряда на сезонный индекс.

Поправка на сезонные колебания устраняет из результатов измерения ожидаемый сезонный компонент (путем деления ряда на сезонный индекс для соответствующего периода), что позволяет нам непосредственно сравнивать один квартал или месяц с другим (после внесения поправки на сезон), выявляя те или иные скрытые тенденции.

Анализ трендов и сезонности

Долгосрочный тренд и прогноз с поправкой на сезонные колебания: линия регрессии

Когда временной ряд демонстрирует долгосрочную линейную тенденцию к нарастанию или снижению, для оценки этой тенденции и прогнозирования будущего можно воспользоваться регрессионным анализом.

Анализ трендов и сезонности

Прогноз: тренд с учетом сезонности

Чтобы прогнозировать будущее, надо учесть сезонность в долгосрочном тренде, вернув ему ожидаемую сезонную вариацию. Для этого достаточно умножить значение тренда на значение сезонного индекса для того периода времени, который вы прогнозируете. Этот процесс является обратным по отношению к внесению поправки на сезонные колебания. Результирующий прогноз включает долгосрочный тренд и сезонную вариацию.