编辑推荐
适读人群 :本书可作为相关专业高年级大学生和研究生的教材,同时也可作为广大非线性**化研究人员以及从事实际应用的工程技术人员的参考书 本书是袁亚湘院士在**化方面研究成果的总结,代表了这一方向的**研究成果,具有极高的学术价值。
内容简介
本书全面,系统地介绍了无约束量优化,约束优化和非光滑量优化的理论和计算方法,它包括了近年来国际上关于优化研究的新成果。
本书可作研究生教材,可供从事计算数学、应用数学、运筹学和计算技术的科研人员参考。
作者简介
现为中国科学院院士、发展中国家科学院院士、巴西科学院通讯院士、美国工业与应用数学会会士(SIAM Fellow)、美国数学会会士(AMS Fellow)。现任中国数学会理事长[ 、国际运筹联盟副主席、亚太运筹学会主席。 从事运筹学研究并取得了系统成果,在信赖域法、拟牛顿法、非线性共轭梯度法等方法方面做出了重要贡献。在信赖域法方面,给出了著名的Celis-Dennis-Tapia问题的**性定理;提出并解决了Steihaug-Toint方法的下降估计;和导师Powell合作提出了利用光滑评价函数的约束优化信赖域法;独立提出了一个利用无穷范数罚函数的信赖域法,被国外著名学者推广到整数规划。在拟牛顿法方面,和美国优化专家合作证明了除 DFP 外Broyden 凸簇的所有方法的全局收敛性;提出了一个改进的BFGS方法,发展了非拟牛顿方法。在共轭梯度法方面,和学生合作提出了一个新的共轭梯度法,被国际同行称为戴袁方法。曾获得国家自然科学奖二等奖,中国青年科学家奖,首届冯康科学计算奖和国际数值分析青年奖二等奖等。
内页插图
目录
第一章 引论
§1.1 引育
§1.2 数学基础
§1.3 凸集和凸函数
§1.4 无约束问题的最优性条件
§1.5 最优化方法的结构
第二章 一维搜索
§2.1 引育
§2.2 精确一维搜索的收敛理论
§2.3 0.618法和Fibanacci法
§2.4 插值法
§2.5 不精确一堆搜索方法
第三章 牛顿法
§3.1 最速下降法
§3.2 牛顿法
§3.3 修正牛顿法
§3.4 有限差分牛顿法
§3.5 负曲率方向法
§3.6 信赖域方法
§3.7 不精确牛顿法
§3.8 附录:关于牛顿法收敛性的Kantorovich定理
第四章 共轭梯度法
§4.1 共轭方向法
§4.2 共轭梯度法
§4.3 共轭梯度法的收敛性
第五章 拟牛顿法
§5.1 拟牛顿法
§5.2 Broyden族
§5.3 Huang族
§5.4 算法的不变性
§5.5 拟牛顿法的局部收敛性
§5.6 拟牛顿法的总体收敛性
§5.7 自调比变尺度方法
§5.8 稀疏拟牛顿法
第六章 非二次模型量优化方法
§6.1 齐次函数模型的最优化方法
§6.2 张量方法
§6.3 锥模型与共线调比
第七章 非线性最小二乘问题
§7.1 非线性最小二乘问题
§7.2 Gauss-Newton法,
§7.3 Levenberg-Marquardt方法
§7.4 Levenberg-Marquardt方法的More形式
§7.5 拟牛顿法
第八章 约束优化量优性条件
§8.1 约束优化问题
§8.2 一阶最优性条件
§8.3 二阶最优性条件
第九章 二次规划
§9.1 二次规划问题
§9.2 对偶性质
§9.3 等式约束问题
……
第十章 罚函数法
第十一章 可行方向法
第十二章 逐步二次规划法
第十三章 新来域法
第十四章 非光滑优化
参考文献
前言/序言
本书的特点之一是内容新,它介绍了近些年来国际上关于优化研究的许多新的成果。书中的不少内容是作者在优化科研中取得的结果,例如关于信赖域法、自调比变尺度法,非二次模型方法,非拟牛顿法以及逐步二次规划方面的结果,本书的另一个特点是理论性强,它深入地探讨了许多算法的收敛性,给出了大量的全局收敛性和局部收敛性结果。
本书可作为研究生教材,也可作为科研人员以及从事实际应用的工程技术人员的参考书,
本书的一至七章由南京大学孙文瑜撰写,作者感谢J.Stoer,E.Spedicato,Liqun Qi和胡毓达等教授的支持,作者的一些研究生对书稿提过很好的建议,也在此致谢。
八至十四章由中国科学院袁亚湘撰写。作者在此感谢M.J.D.Powell和冯康先生、石钟慈教授的关心和鼓励。作者的学生陈新对部分书稿进行了认真的校对,也一并表示感谢,
北京航空航天大学王日爽教授对全书手稿进行了认真审阅,并提出了宝贵的修改意见,作者谨向他致以衷心的感谢。
本书的出版得到了中国科学院出版基金的资助,在此表示感谢。
由于水平有限,书中难免有不妥和错误之处,欢迎读者批评指正。
计算方法丛书·典藏版(27):最优化理论与方法 本书系“计算方法丛书”中的经典著作,专注于系统、深入地阐述最优化理论的基础、核心算法及其在工程与科学中的应用。 本书旨在为读者提供一个全面而扎实的优化知识体系,涵盖从经典到前沿的各种优化技术,特别强调理论的严谨性和方法的实用性。 全书结构严谨,内容涵盖面广,适合作为高等院校数学、信息科学、控制工程、运筹学等专业本科高年级学生、研究生以及相关领域科研人员和工程师的教材或参考书。 --- 第一部分:基础理论与模型构建 本书伊始,便致力于为读者构建起坚实的数学基础。优化问题本质上是对特定目标函数在给定约束条件下的最优解的求解过程。因此,第一部分详细梳理了建立优化模型所需的必备数学工具和基本概念。 第一章 优化问题的基本概念与分类 本章首先定义了什么是优化问题,明确了目标函数、决策变量和约束条件的数学表示。随后,系统地对最优化问题进行分类: 按变量类型分类: 连续优化、离散优化(整数规划、混合整数规划)。 按约束性质分类: 无约束优化与有约束优化。 按目标函数和约束函数的形式分类: 线性规划(LP)、非线性规划(NLP)、二次规划(QP)、凸规划等。 特别地,本章深入探讨了凸集与凸函数的性质,强调它们在保证全局最优解存在性与唯一性方面所扮演的关键角色,为后续理论推导奠定基石。 第二章 线性规划理论 线性规划作为最基础且应用最广泛的优化模型,在本章得到详尽阐述。 标准形式与图解法: 从二维问题的图解法入手,直观理解可行域、最优解的几何意义。 单纯形法(Simplex Method): 详细剖析单纯形法的代数基础、操作步骤、退化处理、大M法以及两阶段法,确保读者能够彻底掌握这一经典算法的求解流程与效率考量。 对偶理论: 深入讲解线性规划对偶性的建立、对偶问题的经济学解释(影子价格),以及对偶单纯形法在敏感性分析中的应用。 --- 第二部分:无约束优化算法 无约束优化是求解许多实际问题的核心步骤。第二部分集中讨论了如何有效地在没有外部限制的情况下寻找函数的极小值点。 第三章 一维搜索方法 在多维优化迭代过程中,每一步都需要沿着搜索方向进行最优步长选择,即一维搜索。本章详述了提高搜索效率和精度的技术: 进退法(Bracketing): 确定包含极小点的区间。 精确搜索方法: 阐述牛顿法、割线法(Secant Method)的基本原理。 近似搜索方法: 重点介绍黄金分割法(Golden Section Search)和Fibonacci法,分析其收敛速度和计算成本的权衡。 第四章 多维无约束优化算法 本章是无约束优化的核心,围绕梯度信息的使用构建算法体系: 一阶方法: 详细分析最速下降法(Gradient Descent)的原理、收敛特性及其局限性。 二阶方法: 深入讲解牛顿法(Newton’s Method),分析其二次收敛性,并探讨其缺点(Hessian矩阵的计算与正定性问题)。 拟牛顿法(Quasi-Newton Methods): 针对牛顿法的不足,系统介绍DFP(Davidon–Fletcher–Powell)公式和BFGS(Broyden–Fletcher–Goldfarb–Shanno)算法,重点阐述如何通过秩一或秩二修正来近似Hessian矩阵,实现与牛顿法相近的收敛速度,同时避免复杂的矩阵求逆。 共轭梯度法(Conjugate Gradient Methods): 介绍Fletcher–Reeves(FR)和Polak–Ribière–Polyak(PRP)算法,强调其在处理大规模稀疏问题中的优势,以及与拟牛顿法的对比。 --- 第三部分:有约束优化算法 实际工程问题几乎都带有约束。第三部分聚焦于如何在满足不等式和等式约束的同时,实现目标函数的最小化。 第五章 KKT条件与拉格朗日乘子法 这是处理等式约束优化问题的理论基石。 拉格朗日函数: 建立拉格朗日函数,推导出优化问题的必要最优条件——卡罗什-库恩-塔克(KKT)条件。 凸优化条件: 特别分析在凸规划问题中,KKT条件如何成为充分最优条件的。 拉格朗日乘子法的求解策略及其在敏感性分析中的意义。 第六章 序列二次规划与内点法 针对非线性约束优化(NLP),本章介绍了现代求解器广泛采用的高效算法。 罚函数法: 介绍外点法和内点法的基础思想,如何将约束问题转化为一系列无约束或简单约束问题。 序列二次规划(SQP): 详细阐述SQP算法的迭代过程,即每一步迭代中,利用当前点的Hessian信息求解一个二次规划子问题(Quadratic Subproblem),并通过牛顿步逼近KKT点。 内点法基础: 介绍障碍函数(Barrier Function)方法,特别是Primal-Dual Interior Point Methods的核心思想,该方法在求解大规模优化问题中展现出卓越的性能。 第七章 序列线性规划与可行方向法 本章讨论了处理复杂约束集的经典方法。 可行方向法: 介绍如何通过求解一个线性规划子问题来确定一个改善目标函数值的可行方向。 序列线性规划(SLP): 强调通过迭代线性化约束和目标函数,将NLP转化为一系列更容易求解的线性规划问题。 --- 第四部分:特殊优化问题与应用 第四部分将理论应用于实际的特定优化场景,拓宽读者的视野。 第八章 动态规划与随机优化概述 动态规划(Dynamic Programming): 介绍贝尔曼方程(Bellman Equation),以及如何使用“最优子结构”和“无后效性”原理来分解复杂决策过程。 随机优化引言: 讨论当模型参数或约束条件包含随机性时,如何构建和求解随机规划模型,包括两阶段随机规划的概念。 第九章 启发式算法与全局优化 针对目标函数高度非凸、存在大量局部最优解的复杂问题,本书介绍了超越传统梯度方法的思路。 模拟退火(Simulated Annealing): 阐述其基于物理退火过程的概率接受机制,用以跳出局部最优。 遗传算法(Genetic Algorithms): 介绍基于生物进化的搜索策略,包括编码、选择、交叉和变异操作。 粒子群优化(Particle Swarm Optimization): 简述其群体智能搜索机制。 本书的特点在于其理论深度与计算实践的紧密结合,不仅提供了详尽的数学证明,更注重对每种算法的收敛性分析、计算复杂度和实际应用场景的评估与对比。 读者在掌握这些核心计算方法后,将具备分析和解决复杂工程优化问题的坚实能力。