Parallel Algorithm for Time Series Discords Discovery on the Intel Xeon Phi Knights Landing Many-core Processor

TL;DR

This paper introduces a parallel algorithm optimized for Intel Xeon Phi KNL processors to efficiently discover time series discords, leveraging vectorization and parallelization techniques.

Contribution

The paper presents a novel parallel algorithm for time series discords discovery that exploits the architecture of Intel Xeon Phi KNL systems.

Findings

High scalability demonstrated through experiments

Efficient vectorization achieved with auxiliary data structures

Algorithm suitable for in-memory large-scale time series analysis

Abstract

Discord is a refinement of the concept of anomalous subsequence of a time series. The task of discords discovery is applied in a wide range of subject domains related to time series: medicine, economics, climate modeling, etc. In this paper, we propose a novel parallel algorithm for discords discovery for the Intel Xeon Phi Knights Landing (KNL) many-core systems for the case when input data fit in main memory. The algorithm exploits the ability to independently calculate Euclidean distances between the subsequences of the time series. Computations are paralleled through OpenMP technology. The algorithm consists of two stages, namely precomputations and discovery. At the precomputations stage, we construct the auxiliary matrix data structures, which ensure efficient vectorization of computations on Intel Xeon Phi KNL. At the discovery stage, the algorithm finds discord based upon the structures above. Experimental evaluation confirms the high scalability of the developed algorithm.

Tables

Table 1. Таблица 1 : Аппаратная платформа экспериментов

Характеристика	Процессор Intel Xeon		Ускоритель Intel Xeon Phi
Модель	E5-2630v4	E5-2697v4	SE10X (KNC)	7290 (KNL)
Кол-во физ. ядер	$2\times$10	$2\times$16	60	72
Гиперпоточность	2$\times$	2$\times$	4$\times$	4$\times$
Кол-во лог. ядер	40	64	240	288
Частота, ГГц	2.2	2.6	1.1	1.5
Размер VPU, бит	256	256	512	512
Пиковая произв-ть, TFLOPS	0.390	0.600	1.076	3.456

Table 2. Таблица 2 : Наборы данных для экспериментов

Набор данных	Вид	$\left|T\right|=m$	$n$
SCD-1M	Реальный	${10}^6$	64, 128, 512, 1024, 2048
SCD-10M	Реальный	${10}^7$	64, 128, 512, 1024, 2048

Table 3. Таблица 3 : Сравнение алгоритма PhiDD с аналогами

Набор	Время работы алгоритмов				Ускорение алгоритмов
	на указанных платформах (при $n=128$), с				относительно HOTSAX
	PDD	PhiDD		HOTSAX
	10 CPU	Intel Xeon Phi 7290		Intel Core i5	PDD	PhiDD
	1.2 ГГц	10 нитей	288 нитей	2.6 ГГц	10 CPU	10 нитей	288 нитей
SCD-1M	36 720	109.2	10.4	147 600	$4\times$	$1.3\cdot {10}^3\times$	$1.4\cdot {10}^4\times$
SCD-10M	399 600	833.3	81.9	$⩾\mathrm{432\; 000}$333Остановлено после 5 суток безрезультатной работы.	$⩾1.1$	$⩾5\cdot {10}^2\times$	$⩾5\cdot {10}^3\times$

Equations

$$ED(X,Y)=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$

$$\begin{array}{c}\widehat{t_i}=\frac{t_i-\mu }{\sigma },1⩽i⩽m;\text{leavevmode}\mu =\frac{1}{m}\sum _{i=1}^m{t}_i;\text{leavevmode}{\sigma }^2=\frac{1}{m}\sum _{i=1}^m{t}_i^2-{\mu }^2.\end{array}$$

$${\overline{c}}_i=\frac{w}{n}\cdot \sum _{j=\frac{n}{w}\cdot (j-1)+1}^{\frac{n}{w}\cdot j}{c}_j.$$

$${\hat{c}}_i={\alpha }_i\iff {\beta }_{j-1}⩽{\hat{c}}_i<{\beta }_j.$$

$$S_T^n(i,j):={\tilde{t}}_{i+j-1}.$$

$${\tilde{T}}_{i,n}=\{\begin{array}{ll}{t}_i,t_{i+1},\dots ,t_{i+n-1},\underset{pad}{\underbrace{0,0,\dots ,0}},& ifnmodw>0\\ t_i,t_{i+1},\dots ,t_{i+n-1},& otherwise.\end{array}$$

$$\begin{array}{c}can{d}_i=k\iff Freq(k)=\underset{1⩽j⩽N}{\min }Freq(j)\\ \forall i<j\text{leavevmode}\text{leavevmode}can{d}_i<can{d}_j.\end{array}$$

$$fre{q}_i=k\iff \mid \{j:SA{X}_T^{n,\mathcal{A}}(j,\cdot )=SA{X}_T^{n,\mathcal{A}}(i,\cdot )\}\mid =k.$$

$$h(a_1,a_2,\dots ,a_w)=\sum _{j=1}^{w+1}{a}_j\cdot w^{w-j-1}.$$

$$Inde{x}_{Word}(i,j)=k\iff W_{\mathcal{A}}(i,\cdot )=SA{X}_T^{n,\mathcal{A}}(k,\cdot ).$$

Full text

1 Введение.

В настоящее время поиск аномальных подпоследовательностей является одной из наиболее востребованных задач интеллектуального анализа временных рядов в широком спектре практических приложений: моделирование климата, финансовые прогнозы, медицинские исследования и др.

В работах [5, 6] Кеог (Keogh) и др. предложили термин диссонанс, который является уточнением понятия аномальной подпоследовательности временного ряда. Диссонанс определяется как подпоследовательность ряда, которая имеет максимальное расстояние (минимальную схожесть) до своего ближайшего соседа. Ближайшим соседом подпоследовательности является та подпоследовательность ряда, которая не пересекается с данной и имеет минимальное расстояние до нее (максимальную схожесть) в смысле выбранной меры схожести.

Понятие диссонанса привлекательно для интеллектуального анализа временных рядов в качестве подхода к нахождению аномалий, поскольку требует только один, интуитивно понятный параметр — длина подпоследовательности, — в отличие от большинства других алгоритмов поиска аномалий, требующих от трех до семи параметров, не все из которых являются интуитивно понятными [5].

Последовательный алгоритм HOTSAX [5, 6] поиска диссонансов использует кодирование временного ряда с помощью техники символьной агрегатной аппроксимации (Symbolic Aggregate ApproXimation, SAX) [7] и евклидово расстояние в качестве меры схожести. HOTSAX итеративно вычисляет евклидовы расстояния между подпоследовательностями ряда и находит максимум среди расстояний до ближайшего соседа. Перебор подпоследовательностей осуществляется в порядке, задаваемом определенной эвристикой, которая позволят отбрасывать подпоследовательности, заведомо не являющиеся диссонансом, без вычисления расстояний.

В данной статье предлагается новый параллельный алгоритм для поиска диссонансов во временном ряде для многоядерных систем Intel Xeon Phi поколения Knights Landing [9] для случая, когда входные данные могут быть размещены в оперативной памяти, получивший название PhiDD (Phi Discord Discovery).

Статья организована следующим образом. В разделе 2 приводится формальная постановка задачи и дано краткое описание последовательного алгоритма HOTSAX, используемого в качестве базиса нового параллельного алгоритма. Раздел 3 содержит описание алгоритма PhiDD. В разделе 4 описаны вычислительные эксперименты, исследующие эффективность предложенного алгоритма. Заключение резюмирует результаты, полученные в рамках исследования.

2 Постановка задачи.

2.1 Формальные определения и нотация.

Дадим определения используемых терминов в соответствии с работой [5].

Временной ряд (time series) $T$ представляет собой последовательность хронологически упорядоченных вещественных значений: $T=(t_{1},t_{2},\dots,t_{m})$, $t_{i}\in\mathbb{R}$. Число $m$ обозначается как $\mid T\mid$ и называется длиной ряда.

Подпоследовательность (subsequence) $T_{i,\,n}$ временного ряда $T$ представляет собой непрерывное подмножество $T$ из $n$ элементов, начиная с позиции $i$: $T_{i,\,n}=(t_{i},t_{i+1},\dots,t_{i+n-1}),1\leqslant n\leqslant m,1\leqslant i\leqslant m-n+1$.

Количество подпоследовательностей ряда $T$, имеющих длину $n$, обозначим как $N=m-n+1$.

Подпоследовательности $T_{i,\,n}$ и $T_{j,\,n}$ ряда $T$ называются непересекающимися (non-self match), если $\mid i-j\mid\geqslant n$. Подпоследовательность, которая является непересекающейся к данной подпоследовательности $C$, обозначается как $M_{C}$.

Функция расстояния между подпоследовательностями ряда — вещественная функция $Dist:\mathbb{R}^{n}\times\mathbb{R}^{n}\rightarrow\mathbb{R}$, которая удовлетворяет аксиомам тождества и симметрии ($\forall X=T_{i,\,n},Y=T_{j,\,n}$ $Dist(X,X)=0$ и $Dist(X,Y)=Dist(Y,X)$ соответственно).

Подпоследовательность $D$ ряда $T$ является диссонансом (discord), если $\forall C,M_{C}\in T$ $\min(Dist(D,M_{D}))>\min(Dist(C,M_{C}))$. Другими словами, некая подпоследовательность ряда является диссонансом, если она имеет максимальное расстояние до ближайшей непересекающейся с ней подпоследовательностью.

Евклидово расстояние между двумя подпоследовательностями $X$ и $Y$ длины $n$ временного ряда $T$ вычисляется следующим образом:

[TABLE]

2.2 Последовательный алгоритм.

Алгоритм HOTSAX поиска диссонансов [5, 6] использует евклидову метрику (1) в качестве функции расстояния и предварительную z-нормализацию исходного ряда.

Z-нормализацией временного ряда $T$ называется временной ряд $\hat{T}=(\hat{t}_{1},\dots,\hat{t}_{m})$, элементы которого вычисляются следующим образом:

[TABLE]

После нормализации среднее арифметическое элементов временного ряда приблизительно равно 0, а среднеквадратичное отклонение близко к 1.

Подпоследовательности ряда подвергаются кусочно-агрегирующей аппроксимации (PAA, Piesewise Aggregate Approximation) [7]. Кусочно-агрегирующим представлением (PAA-представлением) подпоследовательности $C=(c_{1},c_{2},\dots,c_{n})$ является вектор $\overline{C}=(\overline{c}_{1},\dots,\overline{c}_{w})$, где $w\leqslant n$ и координаты вектора вычисляются следующим образом:

[TABLE]

Далее PAA-представление подвергается кодированию с помощью символьной агрегатной аппроксимации (SAX, Symbolic Aggregate ApproXimation) [7]. Символьным представлением (SAX-представлением) подпоследовательности $C=(c_{1},c_{2},\dots,c_{n})$ является слово $\hat{C}=(\hat{c}_{1},\hat{c}_{2},\dots,\hat{c}_{w})$, получаемое следующим образом. Пусть имеется символьный алфавит $\mathcal{A}=(\alpha_{1},\alpha_{2},\dots,\alpha_{\mid\mathcal{A}\mid})$, где запись $\mid\mathcal{A}\mid$ означает мощность алфавита ($\alpha_{1}=$’a’, $\alpha_{2}=$’b’ и т.д.). Тогда

[TABLE]

В формуле (4) числа $\beta_{i}$ представляют собой точки разделения (breakpoints) [7], определяемые как упорядоченный список чисел $\mathcal{B}=(\beta_{0},\beta_{1},\dots,$ $\beta_{\mid\mathcal{A}\mid-1},\beta_{\mid\mathcal{A}\mid})$, где $\beta_{0}=-\infty$ и $\beta_{\mid\mathcal{A}\mid}=+\infty$, а площадь под кривой нормального распределения $N(0,1)$ между $\beta_{i}$ и $\beta_{i+1}$ равна $\tfrac{1}{\mid\mathcal{A}\mid}$. Точки разделения для различных значений параметра мощности алфавита могут быть получены из статистических таблиц [5, 6].

Последовательная реализация поиска диссонансов, предложенная Кеогом и др. [5, 6], представлена в алг. 1 (здесь запись $S^{n}_{T}$ означает множество всех подпоследовательностей ряда $T$, имеющих длину $n$).

3 Параллельный алгоритм поиска диссонансов PhiDD

3.1 Проектирование алгоритма

Предлагаемый алгоритм использует следующие основные структуры для хранения данных в оперативной памяти.

Исходный временной ряд представляется алгоритмом PhiDD в виде матрицы выровненных подпоследовательностей для обеспечения эффективной векторизации вычислений. Матрица подпоследовательностей $S_{T}^{n}\in\mathbb{R}^{N\times(n+pad)}$ определяется следующим образом:

[TABLE]

Выравнивание подпоследовательностей выполняется следующим образом. Пусть векторный регистр Intel Xeon Phi имеет ширину (т.е. количество вещественных чисел, которые могут быть загружены в векторный регистр за один прием), равную $w$. Если длина искомого диссонанса $n$ не кратна $w$, то каждая подпоследовательность ряда дополняется фиктивными нулевыми элементами. Обозначим количество фиктивных элементов за $pad=w-(n\;mod\;w)$, тогда выровненная подпоследовательность $\tilde{T}_{i,n}$ определяется следующим образом:

[TABLE]

Выравнивание данных помогает избежать эффекта разделения цикла (loop peeling) [3], который существенно снижает эффективность векторизации и заключается в следующем. Если начальный адрес массива не выровнен на ширину векторного регистра, то компилятор разбивает цикл на три части, где первая часть итераций, которые обращаются к памяти с начального адреса до первого выровненного адреса, и третья часть итераций с последнего выровненного адреса до конечного адреса, векторизуется отдельно.

Матрица $PAA_{T}^{n,\,w}\in\mathbb{R}^{N\times w}$ предназначена для хранения PAA-представлений подпоследовательностей, полученных в соответствии с (3).

Матрица SAX-представлений, $SAX_{T}^{n,\,\mathcal{A}}\in\mathbb{N}^{N\times w}$, хранит символьные подпоследовательности в алфавите $\mathcal{A}$, полученные в соответствии с (4).

Индекс потенциальных диссонансов представляет собой упорядоченный по возрастанию массив $Cand\in\mathbb{N}^{N}$ с номерами тех подпоследовательностей в матрице подпоследовательностей $S^{n}_{T}$, чьи SAX-представления наиболее редко встречаются в матрице $SAX_{T}^{n,\,\mathcal{A}}$:

[TABLE]

Здесь $Freq\in\mathbb{N}^{N}$ представляет собой частотный индекс — массив, используемый для хранения частот слов из матрицы $SAX_{T}^{n,\,\mathcal{A}}$:

[TABLE]

Индекс потенциальных диссонансов создается на стадии подготовки данных и далее на стадии поиска задает порядок перебора подпоследовательностей, которые могут являться диссонансами.

Матрица слов, $W_{\mathcal{A}}\in\mathbb{N}^{dict_{size}\times w}$, предназначена для хранения всех возможных слов длины $w$, составленных из символов алфавита $\mathcal{A}$. Величина $dict_{size}$ вычисляется как число размещений символов алфавита $\mathcal{A}$ по $w$ символов с повторениями, или $dict_{size}=\bar{A}^{w}_{\mid\mathcal{A}\mid}=\mid\mathcal{A}\mid^{w}$.

В качестве символов алфавита $\mathcal{A}$ будем рассматривать упорядоченный набор натуральных чисел $1,2,\dots,\mid\mathcal{A}\mid$. Матрица слов организуется таким образом, чтобы все символы каждого слова (элементы в одной строке матрицы) и все слова (строки матрицы) были упорядочены по возрастанию. Для этого вводится хэш-функция $h:\mathbb{N}^{w}\leftarrow\{1,2,\dots,dict_{size}\}$, определяемая следующим образом:

[TABLE]

Значения длины слова и мощности алфавита, $w=4$ и $\mid\mathcal{A}\mid=4$, соответственно, как показывают эксперименты [5, 6], хорошо подходят при поиске диссонансов во временных рядах из различных предметных областей. В силу этого матрица слов ($4^{4}\times 4=256$ элементов) может быть размещена в оперативной памяти.

Словарный индекс предназначен для хранения индексов слов алфавита $\mathcal{A}$ в матрице SAX-представлений и представляет собой матрицу $Index_{Word}\in\mathbb{N}^{dict_{size}\times N}$:

[TABLE]

Словарный индекс создается на стадии подготовки данных и далее на стадии поиска используется для задания порядка перебора тех подпоследовательностей, которые не пересекаются с данной.

3.2 Реализация алгоритма

Параллельный поиска диссонансов временного ряда PhiDD (см. алг. 2) состоит из двух стадий. На стадии подготовки алгоритм выполняет построение структур данных, рассмотренных выше в разделе 3.1. Далее на стадии поиска алгоритм осуществляет нахождение диссонанса с помощью указанных структур. На каждой из этих стадий распараллеливание осуществляется на базе технологии OpenMP [8].

На стадии подготовки алгоритм действует следующим образом. Сначала осуществляется построение матрицы подпоследовательностей исходного временного ряда. Далее выполняется генерация матрицы слов, строками которой будут все возможные слова длины $w$, составленные из символов алфавита $\mathcal{A}$.

После этого происходит формирование PAA-представления каждой подпоследовательности в матрице подпоследовательностей в соответствии с формулой (3). Соответствующий цикл обработки строк матрицы подпоследовательностей распараллеливается с помощью стандартной директивы компилятора #pragma omp parallel for OpenMP, обеспечивающей статическое разбиение итераций цикла между нитями.

Затем выполняется формирование SAX-представления подпоследовательности для каждого PAA-представления, полученного на предыдущем шаге. Параллельная обработка строк матрицы PAA-представлений, так же как и на предыдущем шаге, обеспечивается использованием директивы компилятора #pragma omp parallel for.

Далее на основе полученной матрицы SAX-представлений подпоследовательностей осуществляется формирование индекса потенциальных диссонансов $Cand$ (см. формулу 7). Для этого вычисляется частотный индекс $Freq$ (см. формулу 8) и в $Cand$ добавляются номера строк матрицы SAX-представлений, которые имеют минимальную частоту (встречаются в матрице SAX-представлений наиболее редко). В данном шаге нахождение минимального элемента массива $Freq$ также распараллеливается с помощью директивы компилятора #pragma omp parallel for с использованием параметра reduction, который обеспечивает свертку операции поиска минимума.

Следующим шагом алгоритма является построение словарного индекса $Index_{Word}$, выполняемое следующим образом. Осуществляется сканирование матрицы SAX-представлений. Для каждой строки этой матрицы вычисляется хэш-функция, дающая номер соответствующего элемента в матрице слов (см. формулу 9). Далее в строку словарного индекса с номером, совпадающим со значением хэш-функции, записывается номер слова в матрице SAX-представлений. В данном шаге цикл обработки строк матрицы SAX-представлений распараллеливается с помощью стандартной директивы компилятора #pragma omp parallel for OpenMP, обеспечивающей статическое разбиение итераций цикла между нитями.

Стадия поиска состоит из двух следующих шагов. На первом шаге (см. алг. 3) выполняется поиск диссонансов среди подпоследовательностей, входящих в индекс потенциальных диссонансов, построенный на предыдущей стадии, в порядке, задаваемом указанным индексом. Результатом данного шага позиция предполагаемого диссонанса в исходном временном ряде и расстояние (степень схожести) предполагаемого диссонанса с его ближайшим соседом. На втором шаге (см. алг. 4) выполняется уточнение найденной ранее позиции предполагаемого диссонанса среди тех подпоследовательностей, которые не входят в в индекс потенциальных диссонансов.

Шаг поиска диссонансов (см. алг. 3) заключается в следующем. Для каждой подпоследовательности индекса потенциальных диссонансов $Cand$ выполняется нахождение ближайших соседей среди всех подпоследовательностей временного ряда, в порядке, задаваемом этим индексом, по формуле (7). Из найденных ближайших соседей выбирается сосед, имеющий наименьшую схожесть с другими подпоследовательностями (в смысле Евклидовой метрики). При этом в вычислениях используется квадрат Евклидова расстояния (вместо собственно значения расстояния) для ускорения вычислений.

Поиск ближайшего соседа подпоследовательности осуществляется следующим образом. Сначала в качестве соседей рассматриваются подпоследовательности строки словарного индекса $Index_{Word}$, соответствующей данной обрабатываемой подпоследовательности, которые имеют одинаковое с ней SAX-представление. Перебор соседей осуществляется в порядке, задаваемом словарным индексом.

Затем рассматриваются подпоследовательности, не вошедшие в словарный индекс, в порядке, задаваемом матрицей подпоследовательностей. При этом расстояние вычисляется только для подпоследовательностей, которые не являются пересекающимися. Если найденное расстояние между подпоследовательностями меньше найденного на предыдущих итерациях цикла расстояния до ближайшего соседа $bsf_{dist}$, то текущая подпоследовательность исключается из рассмотрения. Такое отбрасывание позволяет сократить объем вычислений и возможно, поскольку найдена подпоследовательность, степень схожести которой с текущей подпоследовательностью больше, чем между двумя другими подпоследовательностями, рассмотренными на предыдущей итерации цикла.

После того, как найден ближайший сосед для данной подпоследовательности, производится сравнение его степени схожести со степенью схожести найденного на предыдущих итерациях самого необычного из ближайших соседей. Полученный самый необычный ближайший сосед является предположительным диссонансом, и алгоритм выдает положение диссонанса во временном ряде.

На втором шаге (см. алг. 4) выполняется уточнение найденной ранее позиции предполагаемого диссонанса среди тех подпоследовательностей, которые не входят в индекс потенциальных диссонансов. Поиск ближайших соседей каждой из перебираемых подпоследовательностей выполняется аналогично поиску на первом шаге (нахождение предположительного диссонанса, см. алг. 3). Среди всех найденных ближайших соседей осуществляется поиск такого соседа, который имеет наименьшую степень схожести со всеми подпоследовательностями. Результатом данного шага является уточненное положение диссонанса временного ряда и расстояние (степень схожести) от данного диссонанса до его ближайшим соседом.

В обоих описанных выше шагах стадии поиска перебор ближайших соседей распараллеливается с помощью стандартной директивы компилятора OpenMP #pragma omp parallel for. Поскольку отбрасывание неперспективных подпоследовательностей приводит неравномерной вычислительной загрузке нитей, в указанной директиве используется параметр schedule (dynamic), обеспечивающий динамическое распределение итераций цикла между нитями. Операторы тела цикла, выполняющего вычисление квадратов Евклидовых расстояний, векторизуются компилятором.

4 Вычислительные эксперименты.

4.1 Цели, аппаратная платформа и наборы данных экспериментов

Для исследования эффективности разработанного алгоритма были проведены вычислительные эксперименты. В качестве аппаратной платформы экспериментов использованы вычислительные узлы кластерной системы Сибирского Суперкомпьютерного Центра ИВМиМГ СО РАН [2], характеристики которой приведены в \tabreftab:HardwarePhiDis2.

Исследование производилось на наборах данных, которые представлены в \tabreftab:DatasetsPhiDis2. Указанные наборы использовались в экспериментах по исследованию эффективности работы распределенного алгоритма поиска диссонансов PDD [4, 10].

В экспериментах исследовались быстродействие и масштабируемость алгоритма PhiDD. При исследовании быстродействия учитывалось время работы алгоритма за вычетом времени загрузки данных в память и выдачи результата. Масштабируемость параллельного алгоритма означает его способность адекватно адаптироваться к увеличению параллельно работающих вычислительных элементов (процессов, процессоров, нитей и др.) и характеризуется ускорением и параллельной эффективностью, которые определяются следующим образом [1].

Ускорение и параллельная эффективность параллельного алгоритма, запускаемого на $k$ нитях, вычисляются как $s(k)=\tfrac{t_{1}}{t_{k}}$ и $e(k)=\tfrac{s(k)}{k}$ соответственно, где $t_{1}$ и $t_{k}$ — время работы алгоритма на одной и $k$ нитях соответственно.

В экспериментах рассматривались вышеприведенные показатели в зависимости от изменения параметра $n$ (длина искомого диссонанса).

Время работы алгоритма PhiDD сравнивалось с временем работы оригинального последовательного алгоритма HOTSAX [6] и распределенным алгоритмом поиска диссонансов PDD [4, 10].

4.2 Результаты экспериментов

Результаты экспериментов по исследованию масштабируемости алгоритма на системе Intel Xeon Phi Knights Landing представлены на \figreffig:PhiDis2-Scalability-SCD1M и \figreffig:PhiDis2-Scalability-SCD10M.

Можно видеть, что PhiDD демонстрирует ускорение от 40 до 60 и параллельную эффективность от 50 до 90% (в зависимости от длины искомого диссонанса), если количество нитей, на которых запущен алгоритм, совпадает с количеством физических ядер системы Intel Xeon Phi.

При увеличении количества нитей, запускаемых на одном физическом ядре системы, ускорение является сублинейным, равно как наблюдается и падение параллельной эффективности. При этом наилучшие показатели ускорения и параллельной эффективности ожидаемо наблюдаются при бо́льших значениях параметров $m$ и $n$ (длина исходного временного ряда и длина искомого диссонанса соответственно), обеспечивающих алгоритму наибольшую вычислительную нагрузку. Например, при обработке ряда длиной 1 млн. 288 нитями наблюдаются ускорение 100 и параллельная эффективность 40% при $n=64$, тогда как при $n=2048$ эти показатели равны 140 и 50% соответственно.

Полученные результаты позволяют сделать заключение о хорошей масштабируемости разработанного алгоритма и эффективном использовании им возможностей векторизации вычислений на многоядерной системе Intel Xeon Phi.

Результаты экспериментов по исследованию быстродействия алгоритма представлены на рис. 3. Можно видеть, что алгоритм PhiDD работает, как правило, быстрее на платформе многопроцессорной системы Intel Xeon Phi, чем на платформе двухпроцессорного узла Intel Xeon. Данный факт всегда имеет место для более производительного устройства поколения Knights Landing; менее производительное устройство поколения Knights Corner уступает 64-ядерному двухпроцессорному узлу Intel Xeon при поиске диссонансов длины $n\leqslant 128$ в ряде из 10 млн. точек. В целом на платформе Intel Xeon Phi KNL алгоритм опережает себя на платформе 64-ядерного двухпроцессорного узла Intel Xeon в 1.5–2 раза.

Результаты экспериментов по сравнению PhiDD с аналогами представлены в табл. 3. Данные о быстродействии алгоритма PDD взяты из работы [4]. Результаты быстродействия алгоритма HOTSAX получены на платформе рабочей станции с процессором Intel Core i5 2.6 ГГц и использованы для сравнения ускорения, показываемого алгоритмами PDD и PhiDD относительно HOTSAX. Быстродействие PhiDD дополнительно показано на 10 ядрах, поскольку в этом случае аппаратная платформа экспериментов имеет примерно равную пиковую производительность с платформой, на которой получены экспериментальные результаты быстродействия алгоритма PDD. Можно видеть, что PhiDD опережает аналоги.

5 Заключение.

В работе рассмотрена проблема поиска диссонанса во временном ряде. Диссонанс является уточнением понятия аномальной подпоследовательности временного ряда. Данная задача возникает в широком спектре приложений интеллектуального анализа временных рядов: моделирование климата, финансовые прогнозы, медицинские исследования и др.

Предложен новый параллельный алгоритм поиска диссонанса во временном ряде для многоядерных систем Intel Xeon Phi поколения Knights Landing для случая, когда входные данные могут быть размещены в оперативной памяти, получивший название PhiDD. Проведены вычислительные эксперименты, результаты которых показали хорошую масштабируемость алгоритма PhiDD.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 17-07-00463), Правительства РФ в соответствии с Постановлением № 211 от 16.03.2013 (соглашение № 02.A03.21.0011) и Министерства образования и науки РФ (государственное задание 2.7905.2017/8.9). Работа выполнена с использованием ресурсов ЦКП Сибирский Суперкомпьютерный Центр ИВМиМГ СО РАН.

{biblio}

Список литературы

• [1]

Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002.

• [2]

Перечень оборудования Центра коллективного пользования Сибирского Суперкомпьютерного Центра ИВМиМГ СО РАН. Дата обращения: 03.11.2018. URL: http://www.sscc.icmmg.nsc.ru/hardware.html.

• [3]

Bacon D.F., Graham S.L., Sharp O.J. Compiler transformations for high-performance computing. ACM Comput. Surv. 1994. 26, No. 4. P. 345–420. DOI: 10.1145/197405.197406.

• [4]

Huang T., Zhu Y., Mao Y. et al. Parallel discord discovery // Proc. of the 20th Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining, PAKDD 2016, Auckland, New Zealand, April 19–22, 2016. 2016. P. 233–244. DOI: 10.1007/978-3-319-31750-2_19.

• [5]

Keogh E., Lin J., Fu A. HOT SAX: efficiently finding the most unusual time series subsequence // Proc. of the 5th IEEE Int. Conf. on Data Mining, ICDM’05, Houston, Texas, November 27–30, 2005. 2005. P. 8. DOI: 10.1109/ICDM.2005.79.

• [6]

Keogh E.J., Lin J., Lee S., Herle H.V. Finding the most unusual time series subsequence: algorithms and applications // Knowl. Inf. Syst. 2007. Vol. 11, No. 1. P. 1–27. DOI: 10.1007/s10115-006-0034-6.

• [7]

Lin J., Keogh E.J., Lonardi S., Chiu B.Y. A symbolic representation of time series, with implications for streaming algorithms // Proc. of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery, DMKD 2003, San Diego, California, USA, June 13, 2003. 2003. P. 2–11. DOI: 10.1145/882082.882086.

• [8]

Mattson T. S08 - Introduction to OpenMP // Proc. of the ACM/IEEE SC2006 Conf. on High Performance Networking and Computing, November 11–17, 2006, Tampa, FL, USA. 2006. P. 209. DOI: 10.1145/1188455.1188673.

• [9]

Sodani A. Knights Landing (KNL): 2nd generation Intel Xeon Phi processor // 2015 IEEE Hot Chips 27th Symposium (HCS), Cupertino, CA, USA, August 22–25, 2015. IEEE, 2015. 1–24.

• [10]

Wu Y., Zhu Y., Huang T. et al. Distributed discord discovery: Spark based anomaly detection in time series // Proc. of the 17th IEEE Int. Conf. on High Performance Computing and Communications, HPCC 2015, 7th IEEE Int. Symp. on Cyberspace Safety and Security, CSS 2015, and 12th IEEE Int. Conf. on Embedded Software and Systems, ICESS 2015, New York, NY, USA, August 24–26, 2015. 2015. P. 154–159. DOI: 10.1109/HPCC-CSS-ICESS.2015.228.

\classify Parallel Algorithm for Time Series Discords Discovery

on the Intel Xeon Phi Knights Landing Many-core Processor A.V. Polyakov1 and M.L. Zymbler2 \addressen1 South Ural State University, Department of System Programming; prospekt Lenina 76, Chelyabinsk, 454080, Russia; Master student, e-mail: apolyakov@naumen.ru

2 South Ural State University, Department of System Programming; prospekt Lenina 76, Chelyabinsk, 454080, Russia; Cand. Sci., Associate Professor, e-mail: mzym@susu.ru

{abstracten} Discord is a refinement of the concept of anomalous subsequence of a time series. The task of discords discovery is applied in a wide range of subject domains related to time series: medicine, economics, climate modeling, etc. In this paper, we propose a novel parallel algorithm for discords discovery for the Intel Xeon Phi Knights Landing (KNL) many-core systems for the case when input data fit in main memory. The algorithm exploits the ability to independently calculate Euclidean distances between the subsequences of the time series. Computations are paralleled through OpenMP technology. The algorithm consists of two stages, namely precomputations and discovery. At the precomputations stage, we construct the auxiliary matrix data structures, which ensure efficient vectorization of computations on Intel Xeon Phi KNL. At the discovery stage, the algorithm finds discord based upon the structures above. Experimental evaluation confirms the high scalability of the developed algorithm. \keywordsentime series, discords discovery, parallel algorithm, OpenMP, Intel Xeon Phi, Knights Landing, data layout, vectorization.

{biblio_lat}

Список литературы

• [1]

V. V. Voevodin, and Vl. V. Voevodin, The Parallel Computing. (BHV-Petersburg, St. Petersburg, 2002).

• [2]

Hardware specifications of the Siberian Supercomputing Center. Accessed: 03.11.2018. URL: http://www.sscc.icmmg.nsc.ru/hardware.html.

• [3]

D. F. Bacon, S. L. Graham, and O. J. Sharp, ‘‘Compiler transformations for high-performance computing,’’ ACM Comput. Surv. 26 (4), 345–420 (1994). doi: 10.1145/197405.197406.

• [4]

T. Huang, Y. Zhu, Y. Mao et al., ‘‘Parallel discord discovery,’’ in Proc. of the 20th Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining, PAKDD 2016, Auckland, New Zealand, April 19–22, 2016. 2016, pp. 233–244. DOI: 10.1007/978-3-319-31750-2_19.

• [5]

E. Keogh, J. Lin, and A. Fu, ‘‘HOT SAX: efficiently finding the most unusual time series subsequence,’’ in Proc. of the 5th IEEE Int. Conf. on Data Mining, ICDM’05, Houston, Texas, November 27–30, 2005 (IEEE, 2005), pp. 8. doi: 10.1109/ICDM.2005.79.

• [6]

E. J. Keogh, J. Lin, S. Lee, and H. V. Herle, ‘‘Finding the most unusual time series subsequence: algorithms and applications’’, Knowl. Inf. Syst. 11 (1), 1–27 (2007). DOI: 10.1007/s10115-006-0034-6.

• [7]

J. Lin, E. J. Keogh, S. Lonardi, and B. Y. Chiu, ‘‘A symbolic representation of time series, with implications for streaming algorithms,’’ in Proc. of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery, DMKD 2003, San Diego, California, USA, June 13, 2003 (ACM Press, 2003), pp. 2–11. doi: 10.1145/882082.882086.

• [8]

T. Mattson, ‘‘Introduction to OpenMP,’’ in Proc. of the 2006 ACM/IEEE Conf. on Supercomputing, Tampa, FL, USA, November 11–17, 2006 (ACM Press, 2006), pp. 209. doi: 10.1145/1188455.1188673.

• [9]

A. Sodani, ‘‘Knights Landing (KNL): 2nd generation Intel Xeon Phi processor,’’ in 2015 IEEE Hot Chips 27th Symposium (HCS), Cupertino, CA, USA, August 22–25, 2015 (IEEE, 2015), pp. 1–24.

• [10]

Y. Wu, Y. Zhu, T. Huang et al., ‘‘Distributed Discord Discovery: Spark based anomaly detection in time series,’’ in Proc. of the 17th IEEE Int. Conf. on High Performance Computing and Communications, HPCC 2015, 7th IEEE Int. Symp. on Cyberspace Safety and Security, CSS 2015, and 12th IEEE Int. Conf. on Embedded Software and Systems, ICESS 2015, New York, NY, USA, August 24–26, 2015 (IEEE, 2015), pp. 154–159. doi: 10.1109/HPCC-CSS-ICESS.2015.228.