前言
1.教材
- 教材：《凸优化（中译）》Stephen Boyd et al，清华大学出版社
- 视频：中科大-凸优化-哔哩哔哩
- 参考：笔记参考了：《凸优化》中科大-讲解 -系列笔记（汇总 55/55）与 pdf 版：最优化理论笔记-CSDN 文库
2.符号
| 记号 | 含义 | Markdown 代码 |
|---|---|---|
| 大写黑体：$\boldsymbol{A}$、$\boldsymbol{B}$ | 矩阵、集合 | \boldsymbol{A} |
| 小写黑体：$\boldsymbol{a}$、$\boldsymbol{b}$ | 向量 | \boldsymbol{a} |
| 大写黑板报粗体：$\mathbb{F}$ | 数域、一维（向量）空间 | \mathbb{F} |
| 大写花体：$\mathscr{A}$ | 线性映射 | \mathscr{A} |
| $\boldsymbol{F}^n$ | 数域$\mathbb{F}$上所有$n$维向量的集合 | \boldsymbol{F}^n |
| $\mathbb{F}^n$ | $n$维（向量）空间 | \mathbb{F}^n |
| $\mathbb{F}^{m\times n}$ | 数域$\mathbb{F}$上所有$m\times n$矩阵的集合 | \mathbb{F}^{m\times n} |
| $\boldsymbol{S}^n_{+},\boldsymbol{S}^n_{++}$ | 所有$n$阶半正定、正定矩阵的集合 | \boldsymbol{S}^n_{+} |
| $\mathcal{B},\mathcal{E},\mathcal{P},\mathcal{D}$ | 球、椭球、多面体、问题的域 | \mathcal{B} |
| $\preccurlyeq$ | 向量元素不等式或分量不等式 | \preccurlyeq |
| $\succ 0$ | 矩阵正定 | \succ 0 |
3.系列文章
优化/数学规划
从一个可行解的集合中，寻找出最优元素。
$\Rightarrow$三个要素：可行解的集合；“最优”的刻画；寻找“最优”的方法
优化问题的数学表述为：
$$ \begin{align} &\text{minimize}\ f_0(\boldsymbol{x})\\ &subject\ to\ f_i(\boldsymbol{x})\leq b_i,\ i=1,\cdots,m \end{align}\tag{*} $$
其中：
$\boldsymbol{x}=\left[x_1,\cdots,x_n\right]^\top$称为优化变量；
$f_0:\mathbb{R}^{n}\to\mathbb{R}$称为目标函数；
$f_i:\mathbb{R}^n\to\mathbb{R}$称为约束函数；
同时记所有满足约束的向量集合为$\boldsymbol{V}$，若有$\boldsymbol{x}^*\in\boldsymbol{V}$，且$\forall \boldsymbol{z}\in\boldsymbol{V}$，满足：$f_0(\boldsymbol{z})\geq f_0(\boldsymbol{x^*})$，则称$\boldsymbol{x}^*$为优化问题（*）的 （最优）解，所有解的集合称为（最优）解集。
优化问题可按照不同的方式分类：
- 线性规划 or 非线性规划
若问题（*）中的函数$f_0,f_1,\cdots,f_m$均为线性函数，即：
$$ f_i(\alpha \boldsymbol{x}+\beta \boldsymbol{y})=\alpha f_i(\boldsymbol{x})+\beta f_i(\boldsymbol{y}) $$
则称该问题为线性规划问题，否则称为非线性规划问题。
- 凸优化 or 非凸优化
若问题（*）中的函数$f_0,f_1,\cdots,f_m$均为凸函数，即：
$$ \alpha,\beta\geq 0,\alpha+\beta=1,f_i(\alpha \boldsymbol{x}+\beta\boldsymbol{y})\leq\alpha f_i(\boldsymbol{x})+\beta f_i(\boldsymbol{y}) $$
则称该问题为凸优化问题，否则称为非凸优化问题。
