Some adaptive proximal method for a special class of variational inequalities and related problems

TL;DR

This paper introduces an adaptive proximal method tailored for a specific class of variational inequalities and related problems, providing iteration estimates to ensure solution quality.

Contribution

It proposes a novel adaptive proximal algorithm for mixed variational inequalities and composite saddle problems, with theoretical iteration bounds.

Findings

The method effectively solves the targeted variational inequalities.

Iteration estimates are provided for achieving desired solution accuracy.

The approach enhances existing algorithms for related problems.

Abstract

An adaptive proximal method for a special class of variational inequalities and related problems is proposed. For example, the so-called mixed variational inequalities and composite saddle problems are considered. Some estimates of the necessary number of iterations are obtained to achieve a given quality of the solution.

Tables

Table 1. Таблица 1 : Скорость работы универсального метода.

	$\frac{1}{2}$	$\frac{1}{4}$	$\frac{1}{6}$	$\frac{1}{8}$	$\frac{1}{10}$	$\frac{1}{12}$	$\frac{1}{14}$	$\frac{1}{16}$
$K$	1157	2082	3268	4140	5528	6426	7396	8458
Время	0:02:16	0:04:04	0:06:10	0:08:12	0:10:36	0:11:43	0:13:52	0:15:55

Equations

$$⟨g(x_{\ast }),x_{\ast }-x⟩⩽0,$$

$$||g(x)-g(y)|{|}_{\ast }⩽L_{\nu }||x-y|{|}^{\nu }\forall x,y\in Q$$

$$\underset{x\in Q}{\max }⟨g(x_{\ast }),x_{\ast }-x⟩⩽0.$$

$$⟨g(x),x_{\ast }-x⟩⩽0.$$

$$O\left({\left(\frac{1}{\epsilon }\right)}^{\frac{2}{1+\nu }}\right),$$

$$0\le f(x)-f_{\delta }(y)-⟨g_{\delta }(y),x-y⟩\le \frac{L}{2}\Vert x-y{\Vert }^2+\delta ,$$

$$0\le f(x)-f_{\delta }(y)-{\psi }_{\delta }(x,y)\le \frac{L}{2}\Vert x-y{\Vert }^2+\delta ,$$

$${\psi }_{\delta }(x,x)=0\forall x\in Q$$

$$\psi (x,x_{\ast })⩾0\forall x\in Q$$

$$\psi (x,y)+\psi (y,x)⩽0\forall x,y\in Q,$$

$$\psi (x_{\ast },x)⩽0\forall x\in Q.$$

$$\psi (x,y)=⟨g(y),x-y⟩\forall x,y\in Q,$$

$$\psi (x,y)=⟨g(y),x-y⟩+h(x)-h(y)$$

$$⟨g(y),y-x⟩+h(y)-h(x)⩽0,$$

$$⟨g(x),y-x⟩+h(y)-h(x)⩽0.$$

$$\psi (x,y)⩽\psi (x,z)+\psi (z,y)+LV(x,z)+LV(z,y)+\delta$$

$$V(x,y)=d(x)-d(y)-⟨\nabla d(y),x-y⟩\forall x,y\in Q,$$

$$V(x,y)=d(x-y)=\frac{1}{2}\Vert x-y{\Vert }_2^2\forall x,y\in Q.$$

$$⟨g(z)-g(y),z-x⟩⩽\frac{L}{2}||z-x|{|}^2+\frac{L}{2}||z-y|{|}^2+\delta .$$

$$\psi (x,y)⩽\psi (x,z)+\psi (z,y)+a\Vert y-z{\Vert }^2+b\Vert z-x{\Vert }^2\forall x,y,z\in Q$$

$$x:={\mathrm{argmin}}_{y\in Q}^{\tilde{\delta }}\phi (y),\text{ если }⟨\nabla \phi (x),x-y⟩⩽\tilde{\delta }.$$

$$x^0={\mathrm{argmin}}_{x\in Q}d(x),$$

$$\begin{array}{r}\psi (x^{N+1},x^N)⩽\psi (y^{N+1},x^N)+\psi (x^{N+1},y^{N+1})+\\ +L^{N+1}V(y^{N+1},x^N)+L^{N+1}V(y^{N+1},y^{N+1})+\delta .\end{array}$$

$$\sum _{k=0}^{N-1}\frac{1}{L^{k+1}}⩾\frac{{\max }_{x\in Q}V(x,x^0)}{\epsilon }.$$

$$S_N:=\sum _{k=0}^{N-1}\frac{1}{L^{k+1}}.$$

$$-\frac{1}{S_N}\sum _{k=0}^{N-1}\frac{\psi (x,y^{k+1})}{L^{k+1}}⩽\frac{V(x,x^0)}{S_N}+2\tilde{\delta }+\delta ⩽\epsilon +2\tilde{\delta }+\delta ,$$

$$\psi (\tilde{y},x)⩽\frac{V(x,x^0)}{S_N}+2\tilde{\delta }+\delta ⩽\epsilon +2\tilde{\delta }+\delta$$

$$\tilde{y}:=\frac{1}{S_N}\sum _{k=0}^{N-1}\frac{y^{k+1}}{L^{k+1}}.$$

$$\psi (y^{N+1},x^N)⩽\psi (x^{N+1},x^N)+L^{N+1}V(x^{N+1},x^N)-$$

$$-L^{N+1}V(x^{N+1},y^{N+1})-L^{N+1}V(y^{N+1},x^N)+\tilde{\delta },$$

Full text

1. Введение

Вариационные неравенства (ВН) и седловые задачи часто возникают в самых разных проблемах оптимизации и имеют многочисленные приложения в математической экономике, математическом моделировании транспортных потоков, теории игр и других разделах математики (см., например, [1]). Исследования в области алгоритмических методов решения вариационных неравенств и седловых задач активно продолжаются (см., например, [2]–[12]). Наиболее известным аналогом градиентного метода для ВН является экстраградиентный метод Г.М. Корпелевич [13], в качестве одного из современных вариантов которого можно выделить проксимальный зеркальный метод А.С. Немировского [8]. В работе предложен аналог этого метода на базе ряда возникших в последние годы новых идей в области алгоритмической оптимизации, о которых мы скажем несколько слов [14, 15, 16, 17].

Некоторое время назад Ю.Е. Нестеровым в [14] предложены так называемые универсальные градиентные методы для задач выпуклой минимизации. Под универсальностью метода понимается возможность адаптивной настройкой метода на уровень гладкости задачи, что может позволить ускорять работу метода ([14], см. также раздел 5 из [15]).

Недавно нами совместно с А.В. Гасниковым, П.Е. Двуреченским и А.А. Титовым был предложен универсальный проксимальный аналог метода А.С. Немировского для решения вариационных неравенств (см. замечание 5.1 из [15] и статью [16]). При этом предложенная методика позволяет учесть возможность неточного задания оракула для оператора поля. Для оператора $g:Q\rightarrow\mathbb{R}^{n}$, заданного на выпуклом компакте $Q\subset\mathbb{R}^{n}$ под сильным вариационным неравенством понимаем неравенство вида

[TABLE]

где $g$ удовлетворяет условию Гельдера:

[TABLE]

для произвольного $\nu\in[0;1]$, причем $L_{0}<+\infty$ (другие константы $L_{\nu}$ ($\nu\neq 0$) могут быть бесконечными).

Отметим, что в (1.1) требуется найти $x_{*}\in Q$ (это $x_{*}$ и называется решением ВН) для которого

[TABLE]

Для монотонного оператора поля $g$ можно рассматривать слабые вариационные неравенства

[TABLE]

Обычно в (1.4) требуется найти $x_{*}\in Q$, для которого (1.4) верно при всех $x\in Q$. Предложенная в [15, 16] методика позволяет получить приближённое решение задач (1.1) – (1.4) с точностью $\varepsilon$ с оценкой сложности (достаточного количества итераций для достижения приемлемого качества решения)

[TABLE]

которая оптимальна при $\nu=0$ и $\nu=1$ [7, 23, 24, 25]. При этом адаптивность метода [15, 16] на практике может приводить к ускорению работы метода по сравнению с оценками (1.5) (подробнее об этом написано в замечании 2.3 ниже).

Наконец, недавно А. В. Гасниковым в разделе 3 пособия [15] (см. также [17]) предложена абстрактная концепция ($\delta,L$)-модели функции, которая является прямым обобщением известного понятия $(\delta,L)$-оракула О. Деволдера – Ф. Глинера – Ю.Е. Нестерова для задач безусловной оптимизации (см. работу [19], которая активно цитируется оптимизационным сообществом).

Определение 1.1**.**

Пара $(f_{\delta}(y),g_{\delta}(y))\in\mathbb{R}\times E^{*}$ есть $(\delta,L)$-оракул для функции $f:Q\rightarrow\mathbb{R}$ в точке $y$, если для любого $x\in Q$ справедливо неравенство

[TABLE]

Отметим, что здесь $E$ — пространство, содержащее аргументы функции $f$, а $E^{*}$ — пространство, сопряжённое (двойственное) к $E$. Концепция $(\delta,L)$-модели функции [19] в точке отличается от предложенного О. Деволдером, Ю. Е. Нестеровым и Ф. Глинером понятия неточного оракула тем, что линейная функция $\langle g_{\delta}(y),x-y\rangle$ в (1.6) заменяется на некоторую абстрактную выпуклую функцию.

Определение 1.2**.**

Будем говорить, что имеется $(\delta,L)$-модель функции $f(x)$ в точке $y$, и обозначать эту модель $(f_{\delta}(y),\psi_{\delta}(x,y))$, если для любого $x\in Q$ справедливо неравенство

[TABLE]

[TABLE]

и $\psi_{\delta}(x,y)$ — выпуклая функция по $x$ для $\forall y\in Q$.

Отметим, что концепция ($\delta,L$)-модели функции из определения 1.2 позволяет обосновать сходимость обычного и быстрого градиентного методов выпуклой минимизации для достаточно широкого класса задач [15, 17, 18].

Настоящая заметка посвящена новому развитию упомянутых выше идей. Мы рассматриваем абстрактную постановку задачи о нахождении точек равновесия и обосновываем возможность использования аналога адаптивного (универсального) метода для вариационных неравенств из [15, 16] для такой постановки. На базе этой идеологии вводится аналог концепции $(\delta,L)$-модели функции для седловых задач. Такой подход позволит распространить методику [15, 16] на более широкий класс задач, в частности смешанные вариационные неравенства [4, 5] и композитные седловые задачи (здесь стоит отметить популярную в оптимизационном сообществе работу [6]). Далее будем рассматривать задачу нахождения решения $x_{*}\in Q$ абстрактной задачи равновесия (неравенство Фань Цзы)

[TABLE]

для некоторого выпуклого компакта $Q\subset\mathbb{R}^{n}$, а также функционала $\psi:Q\times Q\rightarrow\mathbb{R}$. Если предположить абстрактную монотонность функционала $\psi$:

[TABLE]

то всякое решение (1.9) будет также и решением двойственной задачи равновесия

[TABLE]

В общем случае сделаем предположение о существовании решения $x_{*}$ задачи (1.9). Приведем пару примеров задания $\psi$, для которых данное условие заведомо выполнено.

Пример 1.1**.**

Если для некоторого оператора $g:R\rightarrow\mathbb{R}^{n}$ положить

[TABLE]

то (1.9) и (1.11) будут равносильны соответственно стандартным сильному и слабому вариационному неравенству с оператором $g$.

Пример 1.2**.**

Для некоторого оператора $g:Q\rightarrow\mathbb{R}^{n}$ и выпуклого функционала $h:Q\rightarrow\mathbb{R}^{n}$ простой структуры (см. например, [15]) выбор функционала

[TABLE]

приводит к смешанному вариационному неравенству [4, 5]

[TABLE]

которое в случае монотонности оператора $g$ влечет

[TABLE]

Отметим, что известно немало проксимальных методов для задач нахождения точек равновесия (см. в частности [20, 21] и имеющуюся там библиографию). В частности в [21] предложен проксимальный метод для задач равновесия в гильбертовых пространствах. Однако, как правило, в этих работах лишь исследуются условия сходимости предлагаемых методов без какого-либо обоснования оптимальности скорости сходимости, а также критериев остановки рассматриваемых методов, гарантирующих достижение приемлемого качества решения. Мы же в данной заметке предлагаем для таких задач предлагаем аналог метода А.С. Немировского [8]. При этом предлагаемый нами адаптивный критерий остановки за конечное число шагов обеспечивает достижение приемлемого качества приближенного решения по аналогии со случаем вариационных неравенств, рассмотренным в [8].

Замечание 1.1**.**

Хорошо известно, что множества решений (1.9) и (1.11) совпадают в предположениях $\psi(x,x)=0$ для всякой точки $x\in Q$, абстрактной монотонности (1.10), выпуклости $\psi$ по первой переменной, а также полунепрерывности $\psi$ снизу по первой переменной и слабой полунепрерывности сверху по второй переменной.

Выделим основные результаты данной работы:

• Как обобщение известного для задач оптимизации понятия $(\delta,L)$-оракула О. Деволдера – Ф.Глинера – Ю.Е. Нестерова предложено понятие $(\delta,L)$-модели для абстрактной задачи нахождения точек равновесия.

• Для задач равновесия предложен аналог известного для вариационных неравенств и седловых задач проксимального метода А.С. Немировского (алгоритм 1). При этом рассмотрено специальное условие гладкости (2.16), а также предложен адаптивный критерий остановки метода. Адаптивность позволяет применять метод для задач с неизвестной константой $L$, а также может приводить к ускорению достижения желаемой точности решения.

• Получена оценка скорости сходимости алгоритма 1, указывающая на его оптимальность с точки зрения теории нижних оракульных оценок (теорема 2.1 и замечание 2.1). При этом учитываются погрешности задания функционала $\psi$, а также решения вспомогательных задач на итерациях метода (см. (2.20)). Доказано, что погрешности обоих типов не накапливаются в ходе работы метода.

• Введено понятие $(\delta,L)$-модели для седловых задач (определение 3.1). Получена оценка скорости сходимости алгоритма 1 для седловых задач, допускающих $(\delta,L)$-модель (теорема 3.1). При этом также показана возможность учёта погрешности задания модели седловой задачи, а также погрешности решения вспомогательных задач на итерациях метода.

• Обоснована возможность применения предложенного метода к смешанным вариационным неравенствам (пример 1.2) и композитным седловым задачам (пример 3.1).

2. Адаптивный проксимальный метод для абстрактных задач равновесия

Мы предлагаем адаптивный проксимальный метод для задач (1.9) и (1.11) при следующих предположениях для функционала $\psi$:

1. (i)

функционал $\psi(x,y)$ выпуклый по первой переменной; 2. (ii)

$\psi(x,x)=0\;\;\forall x\in Q$; 3. (iii)

(абстрактная монотонность) неравенство (1.10) 4. (iv)

(обобщенная гладкость)

[TABLE]

для некоторой фиксированной константы $L>0$, где $\delta>0$ — некоторая постоянная величина (оценка погрешности задания $\psi$, степень отклонения от гладкости), а $V(x,y)$ есть расхождение Брэгмана, порожденное $1$-сильно выпуклой прокс-функцией $d:Q\rightarrow\mathbb{R}$ (относительно нормы $||\cdot||$).

Напомним, что расхождение Брэгмана широко используется в оптимизации и вводится на базе конечной 1-сильно выпуклой функции $d$ (порождает расстояния), которая дифференцируема во всех точках $x\in Q$:

[TABLE]

где $\langle\cdot,\cdot\rangle$ — скалярное произведение в $\mathbb{R}^{n}$. В случае стандартной евклидовой нормы $\|\cdot\|_{2}$ и расстояния в $\mathbb{R}^{n}$ можно считать, что:

[TABLE]

Однако часто возникает необходимость использовать и неевклидовы нормы. В этом случае примеры и свойства дивергенции Брэгмана уже не столь не тривиальны (см., например, раздел 2 пособия [15]).

Отметим, что в случае обычного ВН (1.12) и евклидовой нормы условие (2.16) сводится к неравенству

[TABLE]

При $\delta=0$ неравенство (2.18) легко проверяется, например, для оператора $g(x)=\nabla f(x)$, где $f:Q\rightarrow\mathbb{R}$ есть некоторый выпуклый субдифференцируемый функционал и $\nabla f(x)$ — произвольный субградиент $f$ в точке $x$. Заметим, что при $\delta=0$ похожее на (2.16) условие

[TABLE]

($a$ и $b$ — положительные константы) предложено в [22] и использовалось во многих последующих работах (см., например [21] и имеющуюся там библиографию). Наш подход позволяет работать с неевклидовой прокс-структурой, а также учитывать неточность $\delta$, что важно для идеологии универсальных методов [14, 15, 16].

На (2.18) основан предложенный ранее проксимальный метод для вариационных неравенств (см. замечание 5.1 из [15], а также статью [16]). Естественно возникает идея обобщить этот метод на абстрактные задачи (1.9) и (1.11) в предположениях их разрешимости, а также (i)–(iv). При этом будем учитывать погрешность $\delta$ в (2.16), а также погрешность $\tilde{\delta}$ решения вспомогательных задач на итерациях согласно одному из достаточно известных в алгоритмической оптимизации подходов (см. например, раздел 3 из [15], а также [17, 18]):

[TABLE]

Опишем $(N+1)$-ую итерацию рассматриваемого метода ($N=0,1,2,\ldots$), выбрав начальное приближение

[TABLE]

зафиксировав точность $\varepsilon>0$, а также некоторую константу $L^{0}\leqslant 2L$.

Для краткости будем всюду далее обозначать

[TABLE]

Справедлива следующая

Теорема 2.1**.**

После остановки рассматриваемого метода для всякого $x\in Q$ будет заведомо выполнено неравенство:

[TABLE]

a также

[TABLE]

при

[TABLE]

Доказательство.

После завершения $(N+1)$-ой итерации метода ($N=0,1,2\ldots$) ввиду (2.20) имеем:

[TABLE]

[TABLE]

[TABLE]

[TABLE]

Далее, в силу (2.21):

[TABLE]

[TABLE]

Отметим, что предположение (2.16) гарантирует выполнение условия (2.21) при $L^{N+1}\geqslant L$ после нескольких увеличений $L^{N+1}$ в 2 раза. Просуммировав последние три неравенства, получаем:

[TABLE]

откуда

[TABLE]

или после суммирования:

[TABLE]

откуда и следует доказываемое неравенство (2.24). ∎

Замечание 2.1**.**

Ввиду (2.16) и выбора $L^{0}\leqslant 2L$ гарантированно будет верно

[TABLE]

Поэтому

[TABLE]

и (2.24)–(2.25) означают, что для всякого $x\in Q$ будут верны неравенства:

[TABLE]

после выполнения не более, чем

[TABLE]

итераций предлагаемого метода. При этом нетрудно проверить, количество решений вспомогательных задач в п.2 алгоритма 1 на $N$ итерациях метода не превышает

[TABLE]

т.е. стоимость итерации в среднем будет сопоставимой со стоимостью итерации классического экстраградиентного метода, предполагающей решение двух вспомогательных задач на каждой итерации. Отметим, что оценка (2.28) с точностью до числового множителя оптимальна для вариационных неравенств и седловых задач [7, 23, 24, 25]. Предложенный алгоритм 1 применим и для более широкого класса задач равновесия для функционала $\psi$, удовлетворяющего предположениям (i) – (iv) выше и с точки зрения количества итераций будет оптимальным с точностью до числового множителя.

Замечание 2.2**.**

Для обычных слабых вариационных неравенств (1.4) неравенство (2.27) можно заменить на

[TABLE]

Отметим, что именно (2.29) обычно используют как критерий качества решения вариационного неравенства (см., например [8]).

Замечание 2.3**.**

В случае гёльдерова оператора поля $g$ (удовлетворяющего (1.2)) известно неравенство (см. замечание 5.1 из [15], а также работу [16])

[TABLE]

для некоторой константы $L$, зависящей от $\varepsilon$. На базе интерполяции (2.30) алгоритм 1 сводится к универсальному методу для вариационных неравенств [16]. Этот метод предполагает адаптивную настройку на уровень гладкости оператора $g$. Заметим, что полученная нами теорема 2.1 позволяет обобщить этот подход на смешанные вариационные неравенства (пример 1.2) с гёльдеровым оператором $g$.

Оказывается, что настройка метода на уровень гладкости оператора может позволить ускорить работу метода. В частности, для негладкой задачи ($\nu=0$) метод на практике может работать со скоростью $O\left(\frac{1}{\varepsilon}\right)$, оптимальной для задач с липшицевым оператором ($\nu=1$). Приведём один такой пример, связанный с известной задачей Ферма-Торричелли-Штейнера, но при наличии нескольких негладких функциональных ограничений. В общем случае задачи с функциональными ограничениями с использованием принципа множителей Лагранжа сводятся к седловым задачам и соответствующих им вариационным неравенствам.

Задача. Для заданного набора точек $A_{k}=(a_{1k},a_{2k},\ldots,a_{nk},)$ n-мерного евклидова пространства $\mathbb{R}^{n}$ найти точку $X=(x_{1},x_{2},\ldots,x_{n})$ такую, что значение целевой функции

[TABLE]

будет минимальным для всех точек, удовлетворяющих системе негладких функциональных ограничений:

[TABLE]

[TABLE]

[TABLE]

[TABLE]

При этом коэффициенты $\alpha_{11},\alpha_{12},\ldots,\alpha_{mn}$ образуют матрицу

[TABLE]

Один из элементов каждой строки этой матрицы содержится в промежутке $(1,10)$, а оставшиеся элементы равны 1. Положим

[TABLE]

и рассмотрим вариационное неравенство:

[TABLE]

где

[TABLE]

[TABLE]

Нетрудно понять, что целевой функционал и ограничения недифференцируемы в бесконечном множестве точек, но имеют ограниченные субдифференциалы в смысле выпуклого анализа. Поэтому оператор $g$ удовлетворяет (1.2) при $\nu=0$.

Рассмотрим случай $n=10$ переменных и $m=100$ ограничений, начальное приближение

[TABLE]

норму и расстояние примем стандартным евклидовым. При этом координаты точек $A_{k}=(a_{1k},a_{2k},\ldots,a_{nk})$ для $k=1,2,\ldots,5$ выберем как столбцы следующей мaтрицы

[TABLE]

В таблице 1 мы приводим зависимость скорости работы (время и количество необходимых итераций) от желаемой точности $\varepsilon$.

Как видим, метод работает со скоростью $O\left(\frac{1}{\varepsilon}\right)$, которая лучше оптимальной теоретической оценки $O\left(\frac{1}{\varepsilon^{2}}\right)$ для задач уровня гладкости $\nu=0$.

3. О концепции ($\delta$, L)-модели функции для седловых задач

Вариационные неравенства возникают, в частности, при решении седловых задач, в которых для выпуклого по $u$ и вогнутого по $v$ функционала $f(u,v):\mathbb{R}^{n_{1}+n_{2}}\rightarrow\mathbb{R}$ ($u\in Q_{1}\subset\mathbb{R}^{n_{1}}$ и $v\in Q_{2}\subset\mathbb{R}^{n_{2}}$) требуется найти $(u_{*},v_{*})$ такую, что:

[TABLE]

для произвольных $u\in Q_{1}$ и $v\in Q_{2}$. Мы считаем $Q_{1}$ и $Q_{2}$ выпуклыми компактами в пространствах $\mathbb{R}^{n_{1}}$ и $\mathbb{R}^{n_{2}}$ и поэтому $Q=Q_{1}\times Q_{2}\subset\mathbb{R}^{n_{1}+n_{2}}$ также есть выпуклый компакт. Для всякого $x=(u,v)\in Q$ будем полагать, что

[TABLE]

где $||\cdot||_{1}$ и $||\cdot||_{2}$ — нормы в пространствах $\mathbb{R}^{n_{1}}$ и $\mathbb{R}^{n_{2}}$). Условимся обозначать $x=(u_{x},v_{x}),\;y=(u_{y},v_{y})\in Q$.

Хорошо известно, что для достаточно гладкой функции $f$ по $u$ и $v$ задача (3.31) сводится к вариационному неравенству с оператором

[TABLE]

Предложим некоторую адаптацию концепции $(\delta,L)$-модели, применимую для седловых задач.

Определение 3.1**.**

Будем говорить, что функция $\psi(x,y)\;(\psi:\mathbb{R}^{n_{1}+n_{2}}\times\mathbb{R}^{n_{1}\times n_{2}}\rightarrow\mathbb{R})$ есть $(\delta,L)$-модель* для седловой задачи (3.31), если для функционала $\psi$ при всяких $x,y,z\in Q$ выполнены предположения:*

1. (i)

функционал $\psi(x,y)$ — выпуклый по первой переменной; 2. (ii)

$\psi(x,x)=0\;\;\forall x\in Q$; 3. (iii)

(абстрактная монотонность) неравенство (1.10); 4. (iv)

(обобщенная гладкость)

[TABLE]

для некоторой фиксированной постоянной $L>0$, где $\delta>0$ — некоторая постоянная величина (оценка погрешности задания $\psi$, степень отклонения от гладкости); 5. (v)

справедливо неравенство:

[TABLE]

Пример 3.1**.**

Предложенная концепция модели функции для седловых задач вполне применима, например, для рассмотренных в статье [6] композитных седловых задач вида:

[TABLE]

для некоторой выпуклой по $u$ и вогнутой по $v$ субдифференцируемой функции $\tilde{f}$, а также выпуклых функций простой структуры $h$ и $\varphi$ (для этих функций операция проектирования на множество не очень затратна). В таком случае можно положить

[TABLE]

где

[TABLE]

Действительно, из субградиентных неравенств получаем:

[TABLE]

[TABLE]

Поэтому имеем

[TABLE]

откуда

[TABLE]

[TABLE]

[TABLE]

Из теоремы 2.1 вытекает

Теорема 3.1**.**

Если для седловой задачи (3.31) существует $(\delta,L)$-модель $\psi(x,y)$, то после остановки алгоритма 1 получаем точку

[TABLE]

для которой верна оценка величины-качества решения седловой задачи:

[TABLE]

4. Заключение

Таким образом, введённая в работе концепция ($\delta,L$)-модели функции для задач равновесного программирования, позволила распространить ранее предложенный в [16] (см. также замечание 5.1 из [15]) универсальный метод для вариационных неравенств на более широкий класс задач. В частности, методика настоящей работы применима к смешанным вариационным неравенствам [4, 5], а также композитным седловым задачам [6]. При этом была учтена возможность неточного задания функционала $\psi$, а также неточность решения вспомогательных задач проектирования на итерациях метода. Показано, что при этом сохраняются оптимальные с точки зрения нижних оракульных оценок скорости сходимости метода, а погрешности обоих типов не накапливаются в ходе итераций метода. Приводится пример, иллюстрирующий возможность ускорения работы предложенного метода по сравнению с теоретическими оценками за счёт адаптивного выбора шага и адаптивного критерия остановки (см. замечание 2.3 выше).

Отметим некоторые открытые вопросы. Хорошо известно, что в общем случае к седловым задачам с помощью метода множителей Лагранжа сводятся задачи выпуклой условной оптимизации. Допустим, что целевой функционал или функционал ограничения в задаче условной оптимизации не имеет липшицева градиента, но при этом для него существует ($\delta,L$)-модель в смысле определения 1.2. В таком случае ожидается, что соответствующая лагранжиева седловая задача будет иметь ($\delta,L$)-модель в смысле определения 3.1. Отметим, что примеры таких функционалов для безусловных задач приведены в [17, 18]. Представляет интерес исследовать применимость результатов настоящей работы к задачам условной оптимизации с такими функционалами. Также представляется актуальным вопрос о возможности использования похожей методики для каких-либо классов задач невыпуклой оптимизации, а также для вариационных неравенств с немонотонными операторами.

Статья опубликована в [26]. Данная версия текста содержит исправления допущенных ранее опечаток.

Список литературы

• [1]

F. Facchinei, J. S. Pang, Finite-Dimensional Variational Inequality and Complementarity Problems, vols. 1 and 2, //Springer-Verlag, New York, 2003.

• [2]

А. С. Антипин. Методы решения вариационных неравенств со связанными ограничениями, // Ж. вычисл. матем. и матем. физ., 40:9 (2000), С. 1291 – 1307.

• [3]

А. С. Антипин, В. Ячимович, М. Ячимович. Динамика и вариационные неравенства, // Ж. вычисл. матем. и матем. физ., 57:5 (2017), С. 783–800.

• [4]

И. В. Коннов, Раис Ахмад Салахутдин, Двухуровневый итеративный метод для нестационарных смешанных вариационных неравенств, // Изв. вузов. Матем., 2017, № 10, C. 50–61.

• [5]

T. Q. Bao, P. Q. Khanh. Some Algorithms for Solving Mixed Variational Inequalities. // Acta Mathematica Vietnamica, 2006, 31(1), pp. 77–98.

• [6]

A. Chambolle, T. Pock. A First-Order Primal-Dual Algorithm for Convex Problems with Applications to Imaging. // J Math Imaging Vis (2011) 40: 120. https://doi.org/10.1007/s10851-010-0251-1.

• [7]

C. Guzman, A. Nemirovski, On lower complexity bounds for large-scale smooth convex optimization, //Journal of Complexity, 2015, 31, pp. 1–14.

• [8]

A. Nemirovski, Prox-method with rate of convergence O(1/T) for variational inequalities with Lipschitz continuous monotone operators and smooth convex-concave saddle point problems, //SIAM Journal on Optimization, 2004, 15, pp. 229–251.

• [9]

Н. В. Меленьчук. Методы и алгоритмы для решения задач математического моделирования на основе вариационных неравенств, // Дисс. …канд. физ.-мат. наук: 05.13.18 — Омск: 2011. — 123 c.

• [10]

Nesterov Yu. Dual extrapolation and its application for solving variational inequalities and related problems, // Math. Program. 2007. Ser. B. P. 319–344.

• [11]

Nesterov Yu., Scrimali L. Solving strongly monotone variational and quasi-variational inequalities, // Discrete and Continuous Dynamical Systems – A. 2011. V. 31. № 4. P. 1383–1396.

• [12]

Ю. Е. Нестеров. Алгоритмическая выпуклая оптимизация, Дисс… докт. физ.-мат. наук. М.: Моск. физ.-техн. ин-т (гос. ун-т), 2013.

• [13]

Г.М. Корпелевич. Экстраградиентный метод для отыскания седловых точек и других задач, // Экономика и матем. методы. 1976. Т. 12. № 4. С. 747–756.

• [14]

Yu. Nesterov, Universal gradient methods for convex optimization problems, //Math. Program., 2015, Ser. A, 152, pp. 381–404.

• [15]

А. В. Гасников. Современные численные методы оптимизации. Метод универсального градиентного спуска, М. Изд-во МФТИ: 2018, 160 c., доступно по ссылке: https://arxiv.org/abs/1711.00394.

• [16]

Ф.С. Стонякин, А. В. Гасников, П.Е. Двуреченcкий, А. А. Титов. Адаптивный проксимальный метод для вариационных неравенств, // Журнал вычислит. мат. и мат. физики, 2019, т. 59, доступно по ссылке: https://arxiv.org/pdf/1804.02579.pdf

• [17] Тюрин А.И., Гасников А.В. Быстрый градиентный спуск для задач выпуклой минимизации с оракулом, выдающим ($\delta,L$)-модель функции в запрошенной точке, // Журнал вычислит. мат. и мат. физики, 2019, т. 59, доступно по ссылке: https://arxiv.org/pdf/1711.02747.pdf
• [18] Fedor Stonyakin, Darina Dvinskikh, Pavel Dvurechensky, Alexey Kroshnin, Olesya Kuznetsova, Artem Agafonov, Alexander Gasnikov, Alexander Tyurin, Cesar A. Uribe, Dmitry Pasechnyuk and Sergei Artamonov. Gradient Methods for Problems with Inexact Model of the Objective, // Arxiv preprint, 2019, доступно по ссылке: https://arxiv.org/pdf/1902.09001.pdf
• [19] Devolder O., Glineur F., Nesterov Yu. First-order methods of smooth convex optimization with inexact oracle. // Mathematical Programming, 2014. 146(1-2): 37 – 75.
• [20] А. С. Антипин. Равновесное программирование: проксимальные методы. // Журн. вычисл. матем. и матем. физ.,1997. т. 37, №11., C. 1327–1339.
• [21] Я. И. Ведель, В. В. Семенов. Новый двухэтапный проксимальный алгоритм для решения задачи о равновесии. // Журнал вычислит. и прикладной математики, 2015, № 1 (118), С. 15 – 23.
• [22] G. Mastroeni. On auxiliary principle for equilibrium problems. // Publicatione del Departimento di Mathematica Dell’Universita di Pisa, 2000, vol.3, P. 1244–1258.
• [23]

А. С. Немировский, Д. Б. Юдин. Сложность задач и эффективность методов оптимизации, М.: Наука. Главная редакция физико-математической литературы, 1979. 384 с.

• [24]

A. Nemirovski, Information-based complexity of convex programming, //Technion, Fall Semester 1994/95, available at http://www2.isye.gatech.edu/ nemirovs/Lec_EMCO.pdf.

• [25] Yuyuan Ouyang, Yangyang Xu. Lower complexity bounds of firstorder methods for convex-concave bilinear saddle-point problems.// https://arxiv.org/pdf/1808.02901.pdf.
• [26] Ф. С. Стонякин. Об адаптивном проксимальном методе для некоторого класса вариационных неравенств и смежных задач.// Труды ИММ УрО РАН. 2019. Т. 25, № 2. C. 185 -– 197.