https://chosenone75.github.io/tags/smo/ Recent content in smo on Ran's Blog https://chosenone75.github.io/papermod-cover.png https://chosenone75.github.io/papermod-cover.png Hugo -- gohugo.io Sun, 27 Aug 2017 11:08:41 +0000 https://chosenone75.github.io/posts/2017-08-27-%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA-4-%E4%B8%80%E7%82%B9%E5%B0%8Fbuff/ Sun, 27 Aug 2017 11:08:41 +0000 https://chosenone75.github.io/posts/2017-08-27-%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA-4-%E4%B8%80%E7%82%B9%E5%B0%8Fbuff/ <h2 id="前言">前言</h2> <p>在之前的几篇文章中，我们简单介绍了 <em>SVM</em> 的来龙去脉，从想要最大化分类间隔出发，然后将问题整理为一个QP问题，并在这个过程中引入了 <em>Kernel Trick</em>，最后将整理后的原始问题的求解转化为其对应的对偶问题的求解，对偶问题仍然是一个QP问题，可以使用一些现成的工具包来求解，到这里就可以说自己已经掌握了 <em>SVM</em> 这个算法的核心思想了，但是不知道大家是否和我一样心里会有一点别扭的地方：由于 <em>QP</em> 问题的求解需要依赖工具包，貌似我不能完全从头实现一个 <em>SVM</em> ,除非我自己去实现一个求解 <em>QP</em> 问题的工具包：），而这似乎不太现实。 我记得以前看过一句话，“what I can&rsquo;t create it, I don&rsquo;t understand it.”, 所以，我们还是要坚持自己去实现它，那应该怎么办呢？很简单，<em>QP Solver</em> 很难实现，那咱们就换一种求解方法呗，这就是本文提到的 <em><strong>Sequential Minimal Optimization Algorithm</strong></em>(序列最小优化算法)，在下文中将其简单记为<em><strong>SMO</strong></em>，顺便说一句，在真正的 <em>SVM</em> 工业级实现像LIBSVM 中，往往也是采用的<em>SMO</em> 算法。</p>