Мысли и теория
Дело против PCA за анализ временных рядов
Как использовать уменьшение линейной размерности для временных рядов.
Все мы используем PCA для уменьшения линейной размерности. Всегда и везде, от обработки изображений до неструктурированных данных. Мы даже используем его для анализа временных рядов, хотя существуют более эффективные методы. В этом посте я хотел бы познакомить вас с Dynamic Mode Decomposition (DMD), методом уменьшения линейной размерности для многомерных временных рядов, происходящим из моей области исследований: гидродинамики. DMD сочетает в себе лучшее из двух миров: PCA и преобразование Фурье. Математически это связано с фундаментальным оператором в теории динамических систем, известным как оператор Купмана. Но прежде чем погрузиться в математику DMD, давайте проиллюстрируем, почему PCA не лучший выбор для анализа многомерных временных рядов, на довольно простом примере.
Убедительный пример
Взгляните на этот фильм. Он состоит из 1024 кадров изображений 128 на 128 пикселей. По сути, это многомерный временной ряд. Несмотря на 16 384 степеней свободы, тем не менее очевидно, что существует нижележащая структура низкого ранга. В конце концов, фильм просто состоит из квадрата и круга, колеблющегося на двух разных частотах, плюс некоторый случайный шум. Переделывая каждый кадр как вектор размером 16 384, мы можем построить матрицу данных X, где каждый столбец представляет собой отдельный кадр. Таким образом, это матрица размером 16 384 на 1024. Давайте теперь воспользуемся PCA, чтобы раскрыть эту низкоранговую структуру. PCA основывается на разложении по сингулярным числам X, т. Е.
где U содержит режимы PCA, диагональные элементы Σ характеризуют важность каждого из этих режимов, а столбцы V описывают их временную эволюцию. . Кроме того, U ᵀ U = I, т.е. режимы PCA образуют ортонормированный базис. Аналогичным образом, V ᵀ V = I подразумевает, что их временное развитие линейно некоррелировано. На рисунке ниже показано распределение сингулярных значений, а также два ведущих режима PCA.
Как и ожидалось, большая часть разброса в нашем наборе данных улавливается первыми двумя режимами. Однако они соответствуют смеси квадрата и круга. Эта неспособность разделить эти два особенно заметна при рассмотрении временной эволюции ниже.
Хотя PCA идентифицирует хорошее низкоразмерное подпространство, соответствующая система координат не дает четкого понимания происходящей простой динамики. Так можем ли мы сделать лучше, чем это? Можем ли мы одновременно определить хорошее низкоразмерное вложение и систему координат для описания этой динамики?
Представляем динамическую декомпозицию режима
Математически PCA в первую очередь нацелена на характеристику статистики второго порядка нашего набора данных, а не столько на динамику. А вот и МДД. Предполагая, что наши данные генерируются неизвестным динамическим процессом
наша цель - найти функцию h (x): ℝⁿ ↦ ℝⁿ, аппроксимирующую f (x): ℝⁿ ↦ ℝⁿ в смысле наименьших квадратов. Различные предположения о h (x) приводят к разным моделям. В структуре DMD предполагается, что h (x) является линейной картой.
где A - матрица размера n × n. Теперь возникает вопрос, как идентифицировать эту матрицу A?
Математические детали
Без дополнительной информации лучшее решение, которое мы можем получить, - это решение задачи оптимизации.
Представляя матрицы X и Y, определенные как
эту задачу оптимизации можно переформулировать как
Его решение дается
где X † обозначает псевдообратное выражение Мура-Пенроуза для X. Несмотря на простоту вычисления, это решение страдает двумя ограничениями, связанными с тем, что A является матрицей размера n × n. Поскольку n обычно может быть несколько миллионов в многомерной установке, явное построение этой матрицы может быть невозможно. Это также означает, что у нас есть n² параметров, намного больше, чем то, что позволяет нам разумно оценить наш ограниченный набор данных. Как следствие, даже если мы сможем построить A, эта модель вряд ли будет обобщать.
Чтобы преодолеть эти ограничения, можно предположить, что A имеет низкий рейтинг. Если это так, его можно разложить на множители как
где P и Q - матрицы размера n × r. Не умаляя общности, мы также накладываем P ᵀ P = I с I единичной матрицей размера r × r. Введение этой факторизации в нашу задачу оптимизации дает
Это невыпуклая задача. Тем не менее, с помощью простых алгебраических манипуляций можно получить P и Q как r ведущих собственных векторов матрицы
Пока мы не указали ранг нашей линейной модели. Однако это обобщенная эрмитова проблема собственных значений. Все собственные значения неотрицательны. Таким образом, та же эвристика, что и PCA, может использоваться для определения оптимального ранга нашей модели. PCA на самом деле является частным случаем этой более общей проблемы. Действительно, если предположить, что X = Y и P = Q, это сводится к задаче собственных значений PCA.
Отличие DMD от PCA заключается в том, что он не только обеспечивает низкоразмерное встраивание, но также подходит для линейной модели неизвестного нам динамического процесса.
Вычислив факторизацию низкого ранга A = PQ ᵀ, ее легко преобразовать в собственное разложение.
где Ψ и ϕ - левый и правый собственные векторы A соответственно. Они также известны как режимы DMD. D - диагональная матрица, составленная из собственных значений A. Теперь нашу линейную модель можно переписать как
Ψ и ϕ, таким образом, являются матрицами, проецируемыми в низкоразмерное пространство и из него. Кроме того, в этом скрытом пространстве динамика аппроксимируется простой диагональной матрицей. Как мы увидим, это делает наше вложение гораздо более интерпретируемым, чем то, что было с PCA.
Иллюстрация к нашему мотивирующему примеру
Вернемся к нашему мотивирующему примеру и обработаем данные с помощью DMD. На рисунке ниже изображены собственные значения обобщенной эрмитовой задачи на собственные значения и пространственная поддержка мод DMD.
Что касается PCA, распределение собственных значений предполагает модель ранга 2, в то время как режимы DMD теперь четко разделяют две динамики. Это также видно при построении графика временной эволюции каждой скрытой переменной.
Как и ожидалось, DMD восстанавливает два колебания чистого тона. Недавние исследования показали, что DMD ведет себя как алгоритм разделения источников (например, ICA), хотя эта структура может быть более гибкой. Более того, при аналогичных вычислительных затратах он обеспечивает гораздо более интерпретируемую модель, чем PCA!
Применение к тепловой конвекции в гидродинамике
В заключение позвольте мне показать практический пример, вдохновленный моим собственным исследованием [1], где МДД сыграл важную роль. Конфигурация, показанная слева, представляет собой термосифон. Это замкнутый контур, в котором жидкость нагревается снизу и охлаждается сверху. По мере увеличения разницы температур между верхней и нижней стенками горячая жидкость начинает подниматься, а холодная - опускаться. Это движение вызывает конвекционную ячейку. Выше критического перепада температур динамика становится хаотичной. Конвекционная ячейка совершает случайные перевороты, заставляя ее колебаться вперед и назад по часовой стрелке или против часовой стрелки. В некоторой степени это упрощенная версия некоторых геофизических потоков.
Ключевая цель моего исследования - выявить низкоуровневые модели таких потоков, которые мы могли бы использовать для быстрого прогнозирования или управления с обратной связью. Однако предварительным условием является хорошее низкоразмерное встраивание данных. Вот где появляется МДД. Анализ DMD был проведен после сбора достаточно большого количества снимков полей температуры и скорости. Результаты показаны ниже.
Несмотря на большое количество степеней свободы в задаче, внутренняя размерность динамики равна 3. Одна для скорости и две для температуры. Режимы DMD подчеркивают, что преобладающая картина в поле скорости по существу инвариантна в азимутальном направлении. Что касается температуры, это показывает, что наиболее важными закономерностями являются разница температур влево-вправо и вверх-вниз. Это почти все, что вам нужно для моделирования динамики (но об этом в другой раз). Проецирование данных на диапазон этих режимов DMD дает следующее низкоразмерное встраивание.
Для любого, кто хоть немного знаком с теорией хаоса, эта низкоразмерная динамика скрытого пространства выглядит точно так же, как система Лоренца! И это действительно по причинам, которые у меня нет времени объяснять в этом посте. В основном вы должны помнить, что даже для этой сильно нелинейной, многомерной, хаотической динамической системы DMD дает много возможностей для понимания физических свойств указанной системы.
Заключение
PCA широко используется в науке о данных из-за своей простоты. Из-за этой простоты его также можно регулярно использовать в ситуациях, когда этого не следует делать или где существует такой же простой, но лучший метод. Одним из таких примеров является многомерный анализ временных рядов. Я надеюсь, что теперь вы убедились, что в такой ситуации лучше использовать динамическое разложение. Он не только предназначен для обработки последовательных данных, но также предоставляет гораздо более интерпретируемую модель, чем PCA может когда-либо предоставить при примерно тех же вычислительных затратах.
С момента своего появления в гидродинамике десять лет назад [2, 3] DMD зарекомендовал себя как чрезвычайно универсальная и надежная среда для анализа данных, генерируемых динамическими процессами большой размерности. В настоящее время он обычно используется в других областях, таких как обработка видео или нейробиология. Также были предложены многочисленные расширения. Некоторые включают входы и выходы для целей управления [4]. Другие сочетают DMD с идеями компрессионного зондирования для дальнейшего снижения вычислительных затрат и хранения данных [5] или с использованием вейвлетов для анализа с множественным разрешением [6]. Возможности безграничны. Если вы хотите узнать больше, я настоятельно рекомендую книгу Куца и его коллег Разложение в динамическом режиме: моделирование сложных систем на основе данных [7]. Вы также можете взглянуть на ссылки в конце сообщения. И если вам кажется, что МДД - это именно то средство, которое вам не хватало, дайте мне знать!
Вас также может заинтересовать
Бесстыдное продвижение :)
На более серьезном ноте ...
Академические ссылки
[1] Луазо Ж.-Ч. Информационное моделирование хаотической тепловой конвекции в кольцевом термосифоне. Теоретическая и вычислительная гидродинамика, 34 (4), стр. 339–365. 2020.
[2] Шмид П. Дж. Разложение численных и экспериментальных данных на динамические режимы. Журнал гидромеханики, 656, стр. 5–28. 2010 г.
[3] Роули К. В., Мезич И., Багери С., Шлаттер П., Хеннингсон Д. Спектральный анализ нелинейных потоков. Журнал гидромеханики, 641, стр. 115–127. 2009 г.
[4] Проктор Дж. Л., Брантон С. Л., Кутц Дж. Н. Разложение по динамическим модам с управлением. Журнал СИАМ по прикладным динамическим системам, 15 (1), стр. 142–161. 2016 г.
[5] Брантон С. Л., Проктор Дж. Л., Ту Дж. Х. и Кутц Дж. Н. Сжатое зондирование и разложение динамических мод. Журнал вычислительной динамики, 2 (2). 2015 г.
[6] Куц Дж. Н., Фу X., Брантон С. Л. Разложение динамических мод с множественным разрешением. Журнал SIAM по прикладным динамическим системам, 15 (2), стр. 713–735. 2016 г.
[7] Куц Дж. Н., Брантон С. Л., Брантон Б. В. и Проктор Дж. Л. Разложение динамических режимов: моделирование сложных систем на основе данных. SIAM, 2016 г.
