python目标函数推导,python 推导

python怎么学习？

学习Python编程技术的流程与步骤，自学与参加培训学习都适用。

一、清楚学习目标

无论是学习什么知识，都要有一个对学习目标的清楚认识。只有这样才能朝着目标持续前进，少走弯路，从学习中得到不断的提升，享受python学习计划的过程。

虽然目前的编程语言有很多，但是基础语法上的概念，本质上都是相通的。可以做到一通百通。所以没有必要为了学哪门语言纠结太多。

python是目前市面上，我个人认为是最简洁最优雅最有钱途最全能的编程语言，没有之一。所以既然你决定了要学习python，那么就需要先下一个决心，至少决定要作为自己的主力语言。

python是全能语言，社区庞大，有太多的库和框架。你只需要找到合适的工具来实现想法，省去了造轮子的精力。

coder可以写尽可能少的代码来实现同等的功能。“人生苦短，我用python”是至理名言。

如果实现一个中等业务复杂度的项目，在相同的时间要求内，用java实现要4-5个码农的话，用python实现也许只需要1个。这就是python最大的优势了。

二、基本python 知识学习

1.  了解Python是什么，都能做些什么？

2.  知道什么是变量、算法、解释器

3.  Python基本数据类型

4.  列表和元组的操作方法

5.  字符串操作方法

6.  基本的字典操作方法

以上这些可以略微掌握之后就进行下一步，遇到忘记不会的可以再参考一下书和笔记。

虽然看书学编辑是效率最低的事情。且不说书的内容基本过时。就是比较较的翻译也很晦涩，照书写了代码跑不通，不断报错。是很打击学习积极性的。

不过，介绍语法的基础书，还是可以买一本，作为手册查阅之用。这类基础书籍买一本就好，找个周末休息时间，一天便可看完。

三、掌握Python的条件、循环和相关的执行语句

任何知识它的基础知识都是有些枯燥的，现在我们就可以动手来做一些逻辑层面的东西了。掌握 if、else、elif、while、for、continue、break和列表推导式等这些语句的使用，还有程序中的异常处理。

四、面对对象知识

面对对象OOP，更高层次的Python程序结构，代码的重用避免代码冗余，打包你的代码，函数的参数、作用域等。

类，可以帮助我们减少大量的开发时间，提高编程的效率，对中大型项目十分关键。

五、项目实践

在这个阶段，一定要多动手实践，查找和处理过程中遇到的错误和异常，遇到问题多上网搜索，也可以参考公众号内的一些文章，或者加上咱们文章下方的老师领取合适的项目实例。

在成功的解决了这些问题之后，会有一种很大的成就感，这样一个良性循环，才是你学习Python这类程序语言的最大动力。

以上是小姐姐总结学习Python的步骤和流程。当然参加我们的Python培训课程，可以更快速、系统全面地掌握Python的各种知识。通过课后习题，让大家动手动脑的参与，课后问题解答会让你茅塞顿开。

培训班还会有很多实用的Python项目，从零开始带领大家一块解决项目遇到的问题，避免浪费大量精力和时间。最终让大家可以自行编写想要的各种Python程序。

六：缺点

当然任何一门语言都有缺点，Python也不例外。小姐姐认为学习一门语言不仅需要清楚的知道学习步骤，做到心中有规划。也需要适当的了解一下他的缺点，也是为了更好的掌握、完善。

1、第一个缺点就是运行速度和C程序比要慢很多，因为Python是解释型语言，代码在执行时会一行一行地翻译成CPU能理解的机器码，这个翻译过程非常耗时，所以很慢。

2、第二个缺点就是代码不能加密。如果要发布你的Python程序实际上就是发布源代码，还好我们大部分用python是来写应用程序,给用户提供服务的，用户其实不需要也不关心你的源码。

如何学习Python

1、Python 介绍

学习一门新的语言之前，首先简单了解下这门语言的背景。Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。Python 在设计上坚持了清晰划一的风格，这使得 Python 成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python 具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是 C/C++)很轻松地联结在一起。

2、Python 技术浪潮

IT 行业热门技术，更新换代非常的快，技术的浪潮一波接着一波，最初的浪潮无疑是桌面时代，使用 C# 搭建桌面应用开始崭露头角，MFC 还是计算机科学专业必学会的东西。接着就是以网站搭建为应用的背景，PHP，Ruby 等语言为主的。再到近几年非常火热的以移动开发为应用背景，Java(Android 开发)或者 OC(iOS 开发)语言为主。很明显如今的浪潮就是以大数据和机器学习为应用背景，Python 语言为主。站在风尖浪口，猪都可以飞的起来。抓住这波技术浪潮，对于从事 IT 行业的人员来说有莫大的帮助。

3、Python 学习

学习一项新的技术，起步时最重要的是什么?就是快速入门。学习任何一个学科的知识时，都有一个非常重要的概念：最少必要知识。当需要获得某项技能的时候，一定要想办法在最短的时间里弄清楚都有哪些最少必要知识，然后迅速掌握它们。

对于快速入门 python 来说最少必要知识，有以下几点。

(1) Python 基础语法

找一本浅显易懂，例子比较好的教程，从头到尾看下去。不要看很多本，专注于一本。把里面的例程都手打一遍，搞懂为什么。推荐去看《简明python教程》，非常好的一本 Python 入门书籍。

(2)Python 实际项目

等你对 Python 的语法有了初步的认识，就可以去找些 Python 实际项目来练习。对于任何计算机编程语言来说，以实际项目为出发点，来学习新的技术，是非常高效的学习方式。在练习的过程中你会遇到各种各样的问题：基础的语法问题(关键字不懂的拼写)，代码毫无逻辑，自己的思路无法用代码表达出来等等。这时候针对出现的问题，找到对应解决办法，比如，你可以重新查看书本上的知识(关于基础语法问题)，可以通过谷歌搜索碰到的编译错误(编辑器提示的错误)，学习模仿别人已有的代码(写不出代码)等等。已实际项目来驱动学习，会让你成长非常的快。Python 实际项目网上非常的多，大家可以自己去搜索下。合理利用网络资源，不要意味的只做伸手党。

(3) Python 的学习规划

当你把上面两点做好以后，你就已经入门了 Python，接下来就是规划好自己的以后的学习规划。能找到一个已经会 Python 的人。问他一点学习规划的建议，然后在遇到卡壳的地方找他指点。这样会事半功倍。但是，要学会搜索，学会如何更好地提问，没人会愿意回答显而易见的问题。当然如果你身边没有人会 Python，也可以在网上搜索相应的资料。

Python 可以做的事非常的多，比如：Python 可以做日常任务，比如自动备份你的MP3;可以做网站，很多著名的网站像知乎、YouTube 就是 Python 写的;可以做网络游戏的后台，很多在线游戏的后台都是 Python 开发的。每个人都有自己感兴趣的方向，有的对网站开发比较感兴趣，有的对数据处理感兴趣，有的对后台感兴趣。所以你们可以根据自己感兴趣的方向，网上搜索相关资料，加以深入的学习，规划好自己未来的方向。只要坚持，你就能精通 Python，成为未来抢手的人才。

支持向量机—从推导到python手写

笔者比较懒能截图的地方都截图了。

支持向量机分为三类：

（1）线性可分支持向量机，样本线性可分，可通过硬间隔最大化训练一个分类器。

（2）线性支持向量机，样本基本线性可分，可通过软间隔最大化训练一个分类器。

（3）非线性支持向量机，样本线性不可分，可通过核函数和软间隔最大化训练一个分类器。

上面最不好理解的恐怕就是硬间隔和软间隔了，

说白了硬间隔就是说存在这么一个平面，可以把样本完全正确无误的分开，当然这是一种极理想的情况，现实中不存在，所以就有了软间隔。

软间隔说的是，不存在一个平面可以把样本完全正确无误的分开，因此呢允许一些样本被分错，怎么做呢就是加入松弛变量，因为希望分错的样本越小越好，因此松弛变量也有约束条件。加入松弛变量后，问题就变为线性可分了，因为是每一个样本都线性可分，因此松弛变量是针对样本的，每一个样本都对应一个不同的松弛变量。

其实感知机说白了就是找到一条直线把样本点分开，就是上方都是一类，下方是另一类。当然完全分开是好事，往往是不能完全分开的，因此就存在一个损失函数，就是误分类点到这个平面的距离最短：

这里啰嗦一句，误分类点y*(wx+b)0，所以加个负号在前边。

一般情况下||w||都是可以缩放，那么我们把它缩放到1，最后的目标函数就变成了

间隔就是距离，我们假设分离超平面为 ，那么样本点到这个平面的距离可以记为 。我们都知道通过感知机划分的点，超平面上方的点 ，下方的点 ，然后通过判断 的值与y的符号是否一致来判断分类是否正确。根据这个思路函数间隔定义为：

支持向量的定义来源于几何间隔，几何间隔最直接的解释是离分隔超平面最近点的距离，其他任何点到平面的距离都大于这个值，所以几何间隔就是支持向量。然后呢同样道理，w和b是可以缩放的，所以定义支持向量满足如下条件：

再通俗一点说，支持向量是一些点，这些点到分隔平面的距离最近，为了便于表示，把他们进行一下缩放计算，让他们满足了wx+b=+-1.

核函数是支持向量机的核心概念之一，它存在的目的就是将维度转换之后的计算简化，达到减少计算量的目的。我们都知道支持向量机求的是间距最大化，通常情况下我们求得的alpha都等于0，因此支持向量决定了间距最大化程度。

核函数的形式是这样的

其中x(i)和x(j)都是向量，他们两个相乘就是向量内积，相乘得到一个数。刚才说了目标函数一般只和支持向量有关，因此在做核函数计算之前，实际就是选择的支持向量进行计算。

这个写完下面得再补充

我们知道了支持向量的概念，那么支持向量机的目标函数是要使这两个支持向量之间的距离尽可能的远，因为这样才能更好地把样本点分开，当然支持向量也要满足最基本的约束条件，那就是分类正确，还有就是其他点到分隔平面的距离要大于等于支持向量到分隔平面的距离。

这种凸优化问题都可以通过拉格朗日算子进行优化，就是把约束条件通过拉格朗日系数放到目标函数上。这部分基础知识，就是拉格朗日算法可以将等式约束和不等式约束都加到目标函数上，完成求解问题的转换，但是要满足一些约束条件，也就是我们后边要说的kkt条件。

这里有个细节就是转换时候的加减号问题，这个和目标函数还有约束的正负号有关。一般这么理解，就是求最小化问题时候，如果约束是大于0的，那么拉个朗日算子可以减到这一部分，这样一来目标函数只能越来越小，最优解就是约束为0的时候，这个时候和没有约束的等价，再求最小就是原问题了。

这里是最小化问题，直接减掉这部分约束，然后后半部分永远大于等于0所以这个式子的值是要小于原来目标函数值的。我们知道当x满足原问题的约束条件的时候，最大化L就等于那个原目标函数。所以我们可以把这个问题转化为：

把它带回去原来的目标函数中，整理一下。

这个时候只要求最优的α，就可以求出w和b了。我们上边做了那么一堆转换，这个过程要满足一个叫做kkt条件的东西，其实这个东西就是把一堆约束条件整理到一起。

（1）原有问题的可行性，即h(x )=0,g(x )0

放到这里就是：

SMO算法的核心思想是求出最优化的α，然后根据之前推导得到的w,b,α之间的关系计算得到w和b，最后的计算公式是：

现在的问题就是怎么求α了。

SMO算法总共分两部分，一部分是求解两个α的二次规划算法，另一部分是选择两个α的启发式算法。

先说这个选择α的启发式算法部分：大神可以证明优先优化违反kkt条件的α可以最快获得最优解，至于咋证明的，就先不看了。

在讲支持向量机的求解算法时候，直接给出了核函数K，那么怎么去理解核函数呢。核函数的作用是解决样本点在高维空间的内积运算问题，怎么理解呢，通常的分类问题都是有很多个特征的，然后为了达到现线性可分，又会从低维映射到高维，样本量再一多计算量非常大，因此先通过函数进行一个转换，减少乘法的计算量。

要理解核函数，先理解内积运算，内积运算实际是两个向量，对应位置相乘加和，比如我有x1 = [v1,v2], x2=[w1,w2]，那么x1和x2的内积计算方法就是：v1w1+v2w2。

如果上面那种情况线性不可分，需要到高维进行映射，让数据变得线性可分，然后数据变为五维的，即v1 2+v2 2+v1+v2+v1v2，然后再进行一次内积计算，数据变为 。

稍作变换，可以变为 ，形式展开和上边那个长式子差不多，然后其实可以映射内积相乘的情况，所以可以进行核函数的变化。

问题在于，当你需要显式的写出来映射形式的时候，在维度很高的时候，需要计算的量太大，比如x1有三个维度，再进行映射就有19维度了，计算很复杂。如果用核函数，还是在原来低维度进行运算，既有相似的效果（映射到高维），又低运算量，这就是核函数的作用了。

核函数的种类：

这部分的核心在于SMO算法的编写。有待补充。

xgboost公式推导

boosted tree作为有监督学习算法有几个重要部分：模型、参数、目标函数、优化算法

模型

模型指给定输入x如何去预测输出y

参数

参数指我们需要学习的东西，在线性模型中，参数指我们的线性系数w

目标函数

目标函数：损失 + 正则，教我们如何去寻找一个比较好的参数

一般的目标函数包含下面两项:

Bias-variance tradeoff，Bias可以理解为假设我们有无限多数据的时候，可以训练出最好的模型所拿到的误差。而Variance是因为我们只有有限数据，其中随机性带来的误差。

误差函数尽量去拟合训练数据，正则化项则鼓励更加简单的模型。因为当模型简单之后，有限数据拟合出来结果的随机性比较小，不容易过拟合，使得最后模型的预测更加稳定。

优化算法

给定目标函数之后怎么学的问题

CART会把输入根据输入的属性分配到各个叶子节点，而每个叶子节点上面都会对应一个实数分数。

一个CART往往过于简单无法有效地预测，因此一个更加强力的模型叫做tree ensemble。

用两棵树来进行预测。我们对于每个样本的预测结果就是每棵树预测分数的和。

tree ensemble

预测函数:

目标函数：

第一部分是训练误差，第二部分是每棵树的复杂度的和。

每一次保留原来的模型不变，加入一个新的函数f到我们的模型中。

如何选择每一轮加入什么f呢？

选取一个f来使得我们的目标函数尽量最大地降低(加入f后的预测结果与实际结果误差减少)。

对于l是平方误差时：

对于l不是平方误差的情况：

采用如下的泰勒展开近似来定义一个近似的目标函数

移除常数项(真实值与上一轮的预测值之差)，目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数

以上是目标函数中训练误差的部分，接下来定义树的复杂度。

对于f的定义做一下细化，把树拆分成结构函数q(输入x输出叶子节点索引)和叶子权重部分w(输入叶子节点索引输出叶子节点分数)，结构函数q把输入映射到叶子的索引号上面去，而w给定了每个索引号对应的叶子分数是什么。

定义一棵树的复杂度如下：

一棵树里面叶子节点的个数，以及每个树叶子节点上面输出分数的L2模平方。

目标函数改写：

其中I被定义为每个叶子上面样本集合Ij={i|q(xi)=ji} (每个叶子节点里面样本集合)；

f(xi)等价于求出w(q(xi))的值(每一个样本所在叶子索引的分数) ；T为叶子节点数量。

定义Gj(每个叶子节点里面一阶梯度的和)Hj(每个叶子节点里面二阶梯度的和)：

目标函数改写：

求偏导得出：

Obj代表了当我们指定一个树的结构的时候，我们在目标上面最多减少多少，可叫做结构分数(structure score)，Obj计算示例：

exact greedy algorithm 贪心算法获取最优切分点

利用这个打分函数来寻找出一个最优结构的树，加入到我们的模型中，再重复这样的操作。

常用的方法是贪心法，每一次尝试去对已有的叶子加入一个分割。对于一个具体的分割方案，计算增益：

对于每次扩展，如何高效地枚举所有的分割呢

假设我们要枚举所有 x

优化这个目标对应了树的剪枝， 当引入的分割带来的增益小于一个阀值的时候，我们可以剪掉这个分割。

这样根据推导引入了分裂节点的选取计算分数和叶子的惩罚项，替代了回归树的基尼系数与剪枝操作。

缩减，每一个树生成结果乘以一个步长系数 防止过拟合

列采样样 类似随机森林每个树特征抽样 防止过拟合

贪心算法

算法1 exact greedy algorithm—贪心算法获取最优切分点

approximate algorithm近似算法

算法2 利用Sk

核心思想:

通过特征的分布，按照分布式加权直方图算法确定一组候选分裂点，通过遍历所有的候选分裂点来找到最佳分裂点。

在寻找split point的时候，不会枚举所有的特征值，而会对特征值进行聚合统计，然后形成若干个bucket(桶)，只将bucket边界上的特征值作为split point的候选，从而获得性能提升。

Weighted Quantile Sketch—分布式加权直方图算法

如何找Sk

统计每个特征里面点的权值确定候选切割点(理解为按照一定顺序排成直方图相邻候选点不超过阈值控制直方图每个宽度)

参考

处理稀疏特征分裂算法

对于稀疏性的离散特征，在寻找split point的时候，不会对该特征为missing的样本进行遍历统计，只对该列特征值为non-missing的样本上对应的特征值进行遍历，通过这个工程技巧来减少了为稀疏离散特征寻找split point的时间开销。在逻辑实现上，为了保证完备性，会分别处理将missing该特征值的样本分配到左叶子结点和右叶子结点的两种情形。可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率，paper提到50倍。

并行化处理

在训练之前，预先对每个特征内部进行了排序找出候选切割点，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行，即在不同的特征属性上采用多线程并行方式寻找最佳分割点。

特征列排序后以块的形式存储在内存中，在迭代中可以重复使用；虽然boosting算法迭代必须串行，但是在处理每个特征列时可以做到并行。

优化导致每个样本的梯度信息在内存中不连续，直接累加有可能会导致cache-miss，所以xgboost先将样本的统计信息取到线程的内部buffer，然后再进行小批量的累加。

按照特征列方式存储能优化寻找最佳的分割点，但是当以行计算梯度数据时会导致内存的不连续访问，严重时会导致cache miss，降低算法效率。paper中提到，可先将数据收集到线程内部的缓存中，然后再计算，提高算法的效率。

官方

常用参数：

一般参数:

booster[default=gbtree]选择基分类器 gbtree、gblinear 树或线性分类器

silent [default=0] 是否输出详细信息 0不输出 1输出

nthread [default to maximum number of threads available if not set]线程数默认最大

Tree Booster参数：

1. eta [default=0.3]:shrinkage参数，用于更新叶子节点权重时，乘以该系数，避免步长过大。参数值越大，越可能无法收敛。把学习率 eta 设置的小一些，小学习率可以使得后面的学习更加仔细。

2. min_child_weight [default=1]:这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。

3. max_depth [default=6]: 每颗树的最大深度，树高越深，越容易过拟合。

4. gamma [default=0]：在树的叶子节点上作进一步分区所需的最小损失减少。越大，算法越保守。[0,∞]

5. max_delta_step [default=0]：这个参数在更新步骤中起作用，如果取0表示没有约束，如果取正值则使得更新步骤更加保守。可以防止做太大的更新步子，使更新更加平缓。 通常，这个参数是不需要的，但它可能有助于逻辑回归时，类是非常不平衡。设置它的值为1-10可能有助于控制更新。

6. subsample [default=1]：样本随机采样，较低的值使得算法更加保守，防止过拟合，但是太小的值也会造成欠拟合。

7. colsample_bytree [default=1]：列采样，对每棵树的生成用的特征进行列采样.一般设置为： 0.5-1

8. lambda [default=1]：控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。

9. alpha [default=0]:控制模型复杂程度的权重值的 L1 正则项参数，参数值越大，模型越不容易过拟合。

10. scale_pos_weight [default=1]如果取值大于0的话，在类别样本不平衡的情况下有助于快速收敛。

11. tree_method[default=’auto’]可选 {‘auto’, ‘exact’, ‘approx’} 贪心算法(小数据集)/近似算法(大数据集)

学习任务参数：

objective [ default=reg:linear ]定义最小化损失函数类型

最常用的值有：

binary:logistic 二分类的逻辑回归，返回预测的概率(不是类别)。

multi:softmax 使用softmax的多分类器，返回预测的类别(不是概率)。

在这种情况下，你还需要多设一个参数：num_class(类别数目)。

multi:softprob 和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。

seed [ default=0 ]随机种子

eval_metric[根据目标objective默认]

对于有效数据的度量方法。

对于回归问题，默认值是rmse，对于分类问题，默认值是error。

典型值有：

rmse 均方根误差( ∑Ni=1ϵ2N‾‾‾‾‾‾‾√ )

mae 平均绝对误差( ∑Ni=1|ϵ|N )

logloss 负对数似然函数值

error 二分类错误率(阈值为0.5)

merror 多分类错误率

mlogloss 多分类logloss损失函数

auc 曲线下面积

命令行参数:

num_round 迭代次数/树的个数

Python怎么做最优化

最优化

为什么要做最优化呢？因为在生活中，人们总是希望幸福值或其它达到一个极值，比如做生意时希望成本最小，收入最大，所以在很多商业情境中，都会遇到求极值的情况。

函数求根

这里「函数的根」也称「方程的根」，或「函数的零点」。

先把我们需要的包加载进来。import numpy as npimport scipy as spimport scipy.optimize as optimport matplotlib.pyplot as plt%matplotlib inline

函数求根和最优化的关系？什么时候函数是最小值或最大值？

两个问题一起回答：最优化就是求函数的最小值或最大值，同时也是极值，在求一个函数最小值或最大值时，它所在的位置肯定是导数为 0 的位置，所以要求一个函数的极值，必然要先求导，使其为 0，所以函数求根就是为了得到最大值最小值。

scipy.optimize 有什么方法可以求根？

可以用 scipy.optimize 中的 bisect 或 brentq 求根。f = lambda x: np.cos(x) - x # 定义一个匿名函数x = np.linspace(-5, 5, 1000) # 先生成 1000 个 xy = f(x) # 对应生成 1000 个 f(x)plt.plot(x, y); # 看一下这个函数长什么样子plt.axhline(0, color='k'); # 画一根横线，位置在 y=0

opt.bisect(f, -5, 5) # 求取函数的根0.7390851332155535plt.plot(x, y)plt.axhline(0, color='k')plt.scatter([_], [0], c='r', s=100); # 这里的 [_] 表示上一个 Cell 中的结果，这里是 x 轴上的位置，0 是 y 上的位置

求根有两种方法，除了上面介绍的 bisect，还有 brentq，后者比前者快很多。%timeit opt.bisect(f, -5, 5)%timeit opt.brentq(f, -5, 5)10000 loops, best of 3: 157 s per loopThe slowest run took 11.65 times longer than the fastest. This could mean that an intermediate result is being cached.10000 loops, best of 3: 35.9 s per loop

函数求最小化

求最小值就是一个最优化问题。求最大值时只需对函数做一个转换，比如加一个负号，或者取倒数，就可转成求最小值问题。所以两者是同一问题。

初始值对最优化的影响是什么？

举例来说，先定义个函数。f = lambda x: 1-np.sin(x)/xx = np.linspace(-20., 20., 1000)y = f(x)

当初始值为 3 值，使用 minimize 函数找到最小值。minimize 函数是在新版的 scipy 里，取代了以前的很多最优化函数，是个通用的接口，背后是很多方法在支撑。x0 = 3xmin = opt.minimize(f, x0).x # x0 是起始点，起始点最好离真正的最小值点不要太远plt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300); # 起始点画出来，用圆圈表示plt.scatter(xmin, f(xmin), marker='v', s=300); # 最小值点画出来，用三角表示plt.xlim(-20, 20);

初始值为 3 时，成功找到最小值。

现在来看看初始值为 10 时，找到的最小值点。x0 = 10xmin = opt.minimize(f, x0).xplt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300)plt.scatter(xmin, f(xmin), marker='v', s=300)plt.xlim(-20, 20);

由上图可见，当初始值为 10 时，函数找到的是局部最小值点，可见 minimize 的默认算法对起始点的依赖性。

那么怎么才能不管初始值在哪个位置，都能找到全局最小值点呢？

如何找到全局最优点？

可以使用 basinhopping 函数找到全局最优点，相关背后算法，可以看帮助文件，有提供论文的索引和出处。

我们设初始值为 10 看是否能找到全局最小值点。x0 = 10from scipy.optimize import basinhoppingxmin = basinhopping(f,x0,stepsize = 5).xplt.plot(x, y);plt.scatter(x0, f(x0), marker='o', s=300);plt.scatter(xmin, f(xmin), marker='v', s=300);plt.xlim(-20, 20);

当起始点在比较远的位置，依然成功找到了全局最小值点。

如何求多元函数最小值？

以二元函数为例，使用 minimize 求对应的最小值。def g(X): x,y = X return (x-1)**4 + 5 * (y-1)**2 - 2*x*yX_opt = opt.minimize(g, (8, 3)).x # (8,3) 是起始点print X_opt[ 1.88292611 1.37658521]fig, ax = plt.subplots(figsize=(6, 4)) # 定义画布和图形x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, g((X, Y)), 50) # 等高线图ax.plot(X_opt[0], X_opt[1], 'r*', markersize=15) # 最小点的位置是个元组ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax) # colorbar 表示颜色越深，高度越高fig.tight_layout()

画3D 图。from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfig = plt.figure()ax = fig.gca(projection='3d')x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)surf = ax.plot_surface(X, Y, g((X,Y)), rstride=1, cstride=1, cmap=cm.coolwarm, linewidth=0, antialiased=False)cset = ax.contour(X, Y, g((X,Y)), zdir='z',offset=-5, cmap=cm.coolwarm)fig.colorbar(surf, shrink=0.5, aspect=5);

曲线拟合

曲线拟合和最优化有什么关系？

曲线拟合的问题是，给定一组数据，它可能是沿着一条线散布的，这时要找到一条最优的曲线来拟合这些数据，也就是要找到最好的线来代表这些点，这里的最优是指这些点和线之间的距离是最小的，这就是为什么要用最优化问题来解决曲线拟合问题。

举例说明，给一些点，找到一条线，来拟合这些点。

先给定一些点：N = 50 # 点的个数m_true = 2 # 斜率b_true = -1 # 截距dy = 2.0 # 误差np.random.seed(0)xdata = 10 * np.random.random(N) # 50 个 x，服从均匀分布ydata = np.random.normal(b_true + m_true * xdata, dy) # dy 是标准差plt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');

上面的点整体上呈现一个线性关系，要找到一条斜线来代表这些点，这就是经典的一元线性回归。目标就是找到最好的线，使点和线的距离最短。要优化的函数是点和线之间的距离，使其最小。点是确定的，而线是可变的，线是由参数值，斜率和截距决定的，这里就是要通过优化距离找到最优的斜率和截距。

点和线的距离定义如下：def chi2(theta, x, y): return np.sum(((y - theta[0] - theta[1] * x)) ** 2)

上式就是误差平方和。

误差平方和是什么？有什么作用？

误差平方和公式为：

误差平方和大，表示真实的点和预测的线之间距离太远，说明拟合得不好，最好的线，应该是使误差平方和最小，即最优的拟合线，这里是条直线。

误差平方和就是要最小化的目标函数。

找到最优的函数，即斜率和截距。theta_guess = [0, 1] # 初始值theta_best = opt.minimize(chi2, theta_guess, args=(xdata, ydata)).xprint(theta_best)[-1.01442005 1.93854656]

上面两个输出即是预测的直线斜率和截距，我们是根据点来反推直线的斜率和截距，那么真实的斜率和截距是多少呢？-1 和 2，很接近了，差的一点是因为有噪音的引入。xfit = np.linspace(0, 10)yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

最小二乘（Least Square）是什么？

上面用的是 minimize 方法，这个问题的目标函数是误差平方和，这就又有一个特定的解法，即最小二乘。

最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小，这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。

关于最小二乘估计的计算，涉及更多的数学知识，这里不想详述，其一般的过程是用目标函数对各参数求偏导数，并令其等于 0，得到一个线性方程组。具体推导过程可参考斯坦福机器学习讲义 第 7 页。def deviations(theta, x, y): return (y - theta[0] - theta[1] * x)theta_best, ier = opt.leastsq(deviations, theta_guess, args=(xdata, ydata))print(theta_best)[-1.01442016 1.93854659]

最小二乘 leastsq 的结果跟 minimize 结果一样。注意 leastsq 的第一个参数不再是误差平方和 chi2，而是误差本身 deviations，即没有平方，也没有和。yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

非线性最小二乘

上面是给一些点，拟合一条直线，拟合一条曲线也是一样的。def f(x, beta0, beta1, beta2): # 首先定义一个非线性函数，有 3 个参数 return beta0 + beta1 * np.exp(-beta2 * x**2)beta = (0.25, 0.75, 0.5) # 先猜 3 个 betaxdata = np.linspace(0, 5, 50)y = f(xdata, *beta)ydata = y + 0.05 * np.random.randn(len(xdata)) # 给 y 加噪音def g(beta): return ydata - f(xdata, *beta) # 真实 y 和 预测值的差，求最优曲线时要用到beta_start = (1, 1, 1)beta_opt, beta_cov = opt.leastsq(g, beta_start)print beta_opt # 求到的 3 个最优的 beta 值[ 0.25525709 0.74270226 0.54966466]

拿估计的 beta_opt 值跟真实的 beta = (0.25, 0.75, 0.5) 值比较，差不多。fig, ax = plt.subplots()ax.scatter(xdata, ydata) # 画点ax.plot(xdata, y, 'r', lw=2) # 真实值的线ax.plot(xdata, f(xdata, *beta_opt), 'b', lw=2) # 拟合的线ax.set_xlim(0, 5)ax.set_xlabel(r"$x$", fontsize=18)ax.set_ylabel(r"$f(x, \beta)$", fontsize=18)fig.tight_layout()

除了使用最小二乘，还可以使用曲线拟合的方法，得到的结果是一样的。beta_opt, beta_cov = opt.curve_fit(f, xdata, ydata)print beta_opt[ 0.25525709 0.74270226 0.54966466]

有约束的最小化

有约束的最小化是指，要求函数最小化之外，还要满足约束条件，举例说明。

边界约束def f(X): x, y = X return (x-1)**2 + (y-1)**2 # 这是一个碗状的函数x_opt = opt.minimize(f, (0, 0), method='BFGS').x # 无约束最优化

假设有约束条件，x 和 y 要在一定的范围内，如 x 在 2 到 3 之间，y 在 0 和 2 之间。bnd_x1, bnd_x2 = (2, 3), (0, 2) # 对自变量的约束x_cons_opt = opt.minimize(f, np.array([0, 0]), method='L-BFGS-B', bounds=[bnd_x1, bnd_x2]).x # bounds 矩形约束fig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X,Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 没有约束下的最小值，蓝色五角星ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 有约束下的最小值，红色星星bound_rect = plt.Rectangle((bnd_x1[0], bnd_x2[0]), bnd_x1[1] - bnd_x1[0], bnd_x2[1] - bnd_x2[0], facecolor="grey")ax.add_patch(bound_rect)ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

不等式约束

介绍下相关理论，先来看下存在等式约束的极值问题求法，比如下面的优化问题。

目标函数是 f(w)，下面是等式约束，通常解法是引入拉格朗日算子，这里使用 ββ 来表示算子，得到拉格朗日公式为

l 是等式约束的个数。

然后分别对 w 和ββ 求偏导，使得偏导数等于 0，然后解出 w 和βiβi，至于为什么引入拉格朗日算子可以求出极值，原因是 f(w) 的 dw 变化方向受其他不等式的约束，dw的变化方向与f(w)的梯度垂直时才能获得极值，而且在极值处，f(w) 的梯度与其他等式梯度的线性组合平行，因此他们之间存在线性关系。（参考《最优化与KKT条件》）

对于不等式约束的极值问题

常常利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中。有兴趣的可以参阅相关资料，这里不再赘述。def f(X): return (X[0] - 1)**2 + (X[1] - 1)**2def g(X): return X[1] - 1.75 - (X[0] - 0.75)**4x_opt = opt.minimize(f, (0, 0), method='BFGS').xconstraints = [dict(type='ineq', fun=g)] # 约束采用字典定义，约束方式为不等式约束，边界用 g 表示x_cons_opt = opt.minimize(f, (0, 0), method='SLSQP', constraints=constraints).xfig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X, Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 蓝色星星，没有约束下的最小值ax.plot(x_, 1.75 + (x_-0.75)**4, '', markersize=15)ax.fill_between(x_, 1.75 + (x_-0.75)**4, 3, color="grey")ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 在区域约束下的最小值ax.set_ylim(-1, 3)ax.set_xlabel(r"$x_0$", fontsize=18)ax.set_ylabel(r"$x_1$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

scipy.optimize.minimize 中包括了多种最优化算法，每种算法使用范围不同，详细参考官方文档。

欠定问题的解法

在前面3.1节介绍的一维直流电测深最小二乘反演中，如果模型参数的个数多于观测数据的个数，则方程的个数少于未知数的个数，这样的反问题就是欠定问题，是不适定的，因此解不是唯一的，有无限多个能拟合观测数据的解。为了使反问题有唯一解并使解稳定，需要增加额外的条件——“先验信息”。

我们可以在目标函数中以模型参数长度最小的条件为主，引入拉格朗日算子λ(向量)兼顾数据的拟合，建立如下目标函数[1，2]:

ψ=mTm+λT(d-d*) (3.27)

把d*线性化，Δm变为(m-m0)，令

地球物理反演教程

有

地球物理反演教程

目标函数对m取极值有

地球物理反演教程

所以

地球物理反演教程

在真实模型附近，近似有

地球物理反演教程

把式(3.31)带入式(3.32)得

地球物理反演教程

式(3.33)两边乘以(J·JT)-1可以获得λ的解:

地球物理反演教程

将式(3.34)代入式(3.31)得

地球物理反演教程

由式(3.35)可得欠定问题的解，当然这也是一个迭代的过程，一般不能一次获得符合精度要求的反演结果。这里需要计算逆阵，一般用奇异值分解法计算可以获得稳定的解。

注意:这里的推导与有的书不同，若正演计算表示为如下线性系统:

d=Gm (3.36)

式中:d为观测数据向量;m为模型向量;G为线性算子矩阵(数据核)。目标函数的推导都是利用式(3.36)进行的，然而一般来说难以写出以上线性方程。但是如果利用泰勒公式进行线性化可以获得如下线性方程:

d=d0+J·m-J·m0 (3.37)

移项得

d-d0+J·m0=J·m (3.38)

令

，得

地球物理反演教程

式(3.39)就是一个线性系统，在真实模型附近是比较准确的。只要把观测数据d用

代替，线性算子G用偏导数矩阵J代替，利用式(3.39)就和采用式(3.36)的推导过程完全一样。