而這個罰項可以看出，它是針對相鄰點的差距來進行懲罰的。 換句話說，如果你的值變化的頻繁，變化的幅度大，對應的罰項就大，這樣的話就一定程度上使得曲線變成了分段的直線。 因此事實上\lambda越大，曲線就越來越不可能有值的變化，這也就是下面的圖所展現的趨勢。 這裏S表示是起點（Source），D表示是終點（Destination）。 這個優化問題直接來看是很抽象的，我們畫張圖解釋一下。
工慾善其事必先利其器，爲了打基礎，我需要系統地學習下最優化理論。 可是，之前研究生課《最優化理論》早就被我忘得一乾二淨(事實上，我不確定上過這門課)。 凸速成2025 翻開當年的課本，清華大學陳寶林的《最優化理論與算法》，滿頁的公式對於非數學系的我真是相當不友好。
凸速成: 凹凸點打”倉頡”?
2、彎曲模：使板料毛坯或其他坯料沿着直線（彎曲線）產生彎曲變形，從而獲得一定角度和形狀的工件的模具。 凸速成 W3C《中文排版需求書》規定，破折號可用兩條U+2014 — EM 凸速成2025 DASH（顯示如「——」）表示，也可用U+2E3A ⸺ TWO-EM DASH表示。 [3]前者為現時網上常用的方法，與後者相比更方便輸入。 但是f(x, y)顯然是一個線性映射，所以保凸性，因此這就完成了證明。
這個問題就是機器學習中的主成分分析，形式上可能不同地方寫的不一樣，這裏給大家放一個我錄的視頻作爲輔助理解。 從圖像上看就是$x$到$y$的弦在函數$f$的圖像上方。 如果上述不等式嚴格 成立，就說函數是嚴格凸的。 （1）凸集： 凸集的概念簡單來說就是把集合中任意兩點用線段連接起來，如果該 線段上的所有點仍屬於這個集合，則該集合是凸的。 從圖像上來看就 是沒有“凹陷”的集合，示例如下圖所示。
凸速成: hkcards 倉頡字典
在原始設計中，凸包與折彎邊距離太近，凸包會影響折彎的質量；在改進設計中，凸包與折彎邊的距離E≥2t，凸包不會影響鈑金的折彎質量。 1、衝剪模具：是以剪切作用完成工作的，常用的形式有剪斷沖模、下料沖模、衝孔沖模、修邊沖模、整緣沖模、拉孔沖模和衝切模具。 凸速成2025 4、成形模：是將毛坯或半成品工件按圖凸、凹模的形狀直接複製成形，而材料本身僅產生局部塑性變形的模具。 如脹形模、縮口模、擴口模、起伏成形模、翻邊模、整形模等。
後來才知道，這本書是美國加州大學伯克利分校上課的教材，作者Laurent El Ghaoui確實瞭解學生學習的難度。 但是一個關鍵的地方在於空集，單點集也是凸集。 比方說對於空集，因爲\emptyset是集合的元素，而空集的線性組合自然也是空集，所以這是符合凸集的定義的。 所以看似你在討論一個“不存在”的概念，但這個“不存在”其實是“存在”於任何一個集合中的。 所以到此爲止，我們也算是介紹完了凸優化的一些基本場景和設定。 和最優化不同的是，我們不會立刻長驅直入進入到介紹算法的環節，而是會先用大量的理論和展示來介紹與凸性有關的一些內容。
凸速成: Re: 凹凸點打”倉頡”?
這裏的等式約束和不等式約束都是線性的，因此可行域是凸集。 根據核函數的性質，我們可以證明目標函數是凸函數。 如果讀者感興趣，我們後面的公衆號文章中會給出證明過程。 凸速成 對於目標函數，我們限定是凸函數；對於優化變量的可行域（注意，還要包括目標函數定義域的約束），我們限定它是凸集。
- 前面在將廣義不等式和凸集的時候，我們講過最小元和極小元的概念，這兩個概念是不是已經忘得差不多啦！
- 究其原因在於，對於初學者來說，如此厚重的書有時卻不一定友好，因爲不知道哪些東西該跳過（或者可以跳過），只能硬着頭皮從頭看到尾，生怕錯過了什麼重要部分。
- 如果讀者感興趣，我們後面的公衆號文章中會給出證明過程。
- 於是就出現了題主所說的“看第二章的時候就看暈了，優化的部分都還沒看到，一大堆概念感覺很多都不會”。。
- 對於凸優化，我們最容易產生的疑惑就是它與最優化（數值優化）有什麼區別？
- 這裏強烈推薦 CMU 的青年才俊 Ryan Tibshirani 開設的《Convex Optimization》的課程。
凸包是依靠材料的延伸使鈑金件形成局部凹陷或凸起的衝壓工序。 較長的凸包可以作爲加強肋提高零件的強度和減小零件變形，另外可以利用凸包來獲得與鈑金基準平面不同高度的特徵，橋狀的凸包也可以作爲卡扣對零件進行固定。 接着再次翻看Boyd的《凸優化》，突然發現貌似沒有以前那麼難了，很多概念能模模糊糊地看懂了。 本來我的課題是多目標優化，主要研究內容是將智能優化算法擴展到多目標優化領域。 涉及的優化算法主要是遺傳算法，差分進化，粒子羣算法等。
凸速成: 理解凸優化
說到數值優化，都會提一下內點法（Interior Point 凸速成2025 Method）。 內點法是1984年由Karmarkar完善。 而之後的很多優化的發展，都關注在了內點法的很多細節上。 隨着時間的發展，到了二戰的前後，其實出現了很多有趣的發展。
凸速成: 9 向量優化
中 間不是凸集，因爲把左上角和左下角的點相連，中間缺的那部分並不 在集合內。 同樣的，我們可以證明這個函數的Hessian矩陣半正定，事實上，如果正則化項的係數大於0，它是嚴格正定的。 凸速成2025 前面在將廣義不等式和凸集的時候，我們講過最小元和極小元的概念，這兩個概念是不是已經忘得差不多啦！ 反正我基本全忘了……讓我們來複習一下。 我所在的組是做純優化的，但我的研究方向更多偏向機器學習中的優化，paper也都發在NIPS等機器學習相關的會議上。
凸速成: Re: 凹凸點打”倉頡”?
而且，居然能體會到，理論之美，前人怎麼會有這樣的想法，真的是太棒了。 凸速成2025 另外，Youtube上還有Boyd教授的上課視頻作爲補充（課程代號EE364A），雖然我認爲他講的課沒有書寫的好。 草草地地翻看完這本書之後，感覺相逢恨晚——這真的是凸優化學習之路上的第一本書啊。 整本書好像知道初學者哪裏不會，哪裏不懂似的，總是在你理解有困難的時候提供幫助。 而且，本書在最開始還提供了線性代數的相關知識，對於後續課程的學習大有裨益，這也是Boyd的書所缺乏的。
凸速成: hkcards 倉頡字典
其它機器學習、深度學習算法的全面系統講解可以閱讀《機器學習-原理、算法與應用》，清華大學出版社，雷明著，由SIGAI公衆號作者傾力打造。 在發明倉頡輸入法之前，世上還未有能以英文鍵盤快速輸入中文漢字的方法，所以發明倉頡輸入法是中文電腦發展的其中一項突破。 Ryan 的英語比較純正，沒什麼口音，配合 YouTube 的字幕和 slides 看，聽懂問題不大。 不過課程後半段有個印度裔老師，說的英語我就聽得不太懂。。 這裏強烈推薦 CMU 的青年才俊 Ryan Tibshirani 開設的《Convex Optimization》的課程。
凸速成: 9 向量優化
所以在這個領域下，就會湧現出很多有趣而獨特的理論與算法。 判斷一個函數是否是凸函數的方法 有很多種，可以通過定義、一階導或者二階導來判斷。 凸函數最好的性質是它只有一個極值點，局部極值就是全局極值。
凸速成: 凹凸點打”倉頡”?
除此之外，機器學習中還有很多問題是凸優化問題，限於篇幅，我們不能一一列出。 由於是凸優化問題，這些算法是能保證找到全局最優解的。 而神經網絡訓練時優化的目標函數不是凸函數，因此有陷入局部極小值和鞍點的風險，這是之前長期被人詬病的。 之所以凸優化問題的定義要求目標函數是凸函數而且優化變量的可行域是凸集，是因爲缺其中任何一個條件都不能保證局部最優解是全局最優解。 根據凸函數的定義，很容易證明該集合是一個凸集。 這個概念的用途在於我們需要確保優化問題中一些不等式約束條件定義的可行域是凸集，如果是凸函數構成的不等式，則是凸集。
凸速成: 理解凸優化
而分體字如「前」、「花」等，則因為筆劃不相連而可分成字首、字身的部分，有些字更可細分出次字首和次字身。 日常生活中不論是工作或閒聊，打倉頡時偶爾會卡在某些常用字，不懂拆碼無法順利「我手寫我心」。 凸速成 TOPick集合了幾個熱門的倉頡難打字，先簡述一下倉頡的拆字規則。 凸包與凸包、凸包與鈑金邊緣、凸包與折彎邊的距離不宜太近，至少應保證兩個鈑金厚度以上的距離，否則凸包成形會存在質量問題，或者凸包會影響鈑金的折彎質量。
對於優化問題，有時候我們的參數比如 a_i,b_i 等都是不確定的，他們可能是在一定範圍內屬於某個集合，也可能是一個隨機變量，這個時候就引入了魯棒優化的概念。 擬凸函數跟凸函數有一些相似的性質，尤其是擬凸函數的任意下水平集都是凸集，因此很多時候對於擬凸問題，也可以用凸優化的一些方法有效解決。 看完之後，再看Boyd的圖書，就暢通無阻了。 什麼對偶理論，KKT條件，原本面目可憎，居然親切起來。
凸速成: 理解凸優化
所以我兩邊都比較瞭解，以上是以我自身體會給題主的建議。 4、成形模具：指用各種局部變形的方法來改變毛胚的形狀，其形式有凸張成形沖模、卷緣成形沖模、頸縮成形沖模、孔凸緣成形沖模、圓緣成形沖模。 至於凸優化的應用，包絡信號處理，圖像處理，計算金融，控制，幾何問題，試驗設計等等。
凸速成: 9 向量優化
所以一個重要的思想就是：求解方程的根和優化函數的極小值，二者很多時候可以等價。 這個思想在《數值優化》中也被多次提及過。 類似的方法也被Gauss-Seidel和Jacobi所利用（對，就是數值分析裏面的那兩種求解線性方程組的迭代法），它們是爲了求解這樣的一個問題。 如果一個局部最優解不是全局最優解，在它的任何鄰域內還可以找到函數值比該點更小的點，這與該點是局部最優解矛盾。 對於多元函數，如果它是凸函數，則其Hessian矩陣爲半正定矩陣。
在上圖中可行域不是凸集，中間有斷裂，目標函數還是凸函數。 在曲線的左邊和右邊各有一個最小值，不能保證局部最小值就是全局最小值。 可以很容易把這個例子推廣到3維空間裏的2元函數（曲面）。 由於凸優化的的目標函數是凸函數，Hessian矩陣半正定，因此不會出現鞍點，所以找到的梯度爲0的點一定是極值點。 前面介紹的所有優化問題的目標函數都是標量（儘管約束可能會出現廣義不等式），如果目標函數爲向量怎麼辦呢？ 前面的章節中我們介紹了廣義的凸函數，同樣也是基於錐定義的（實際上高維空間中“比大小”我們一般都需要通過錐來定義）。
凸速成: hkcards 倉頡字典
學習完陸老師的課之後，就接觸了凸優化領域相當著名的一本書，美國斯坦福大學Boyd教授(2017年當選中國工程院院士)所著的《Convex Optimization》。 懷着激動地心情翻開前幾頁，心情down到了谷底，這TM都講的什麼？ 相對內點，對偶範數，凸錐，逐點上確界等等概念接踵而至，劈頭蓋臉，我怎麼感覺自己什麼都不會了？ 中的單純形法的話，你就會明白爲什麼線性規劃中的單純形法，是通過找集合的extreme point來尋找極值的了。 當然瞭如果深究細節還是有些不同，但是通過凸優化的這個性質，可以初見端倪。 如果去掉後面的罰項部分，那麼就是一個最小二乘迴歸問題。
凸速成: hkcards 倉頡字典
經過上述學習過程，對凸優化理論的認識就比較深刻了。 比方說你能夠對支持向量機（Support Vector Machine）的對偶形式（Duality）不再陌生。 能夠理解KKT條件中各條件的涵義，並能給出幾何解釋。 但是，我發現以上所學習的也只是初級知識，內容大概是斯坦福大學的EE364A和加州大學伯克利分校EE127AT的內容，它們分別還有後續課程EE364B和EE227BT兩門課。 這兩門課涉及的內容主要是次梯度法，近鄰算子，ADMM等近現代優化算法，這算法主要是針對機器學習當中的問題而提出的，學習的難度也是不小，目前爲也在學習當中（學無止境呀）。 這是一個不帶約束的優化問題，同樣的可以證明這個目標函數是凸函數。
凸速成: 凹凸點打”倉頡”?
這裏附上這門課的目錄，有興趣的同學可以看看。 這門課基本覆蓋了機器學習裏面能用到的優化算法，像是 SVM 裏面需要用到的 Duality，以及很多基於梯度的優化算法。 學完這門課，基本上機器學習相關論文裏遇到的優化部分都沒太多問題。
凸速成: 9 向量優化
注意這種帶有廣義不等式約束的凸優化問題與普通凸優化問題有着相同的性質，比如可行集爲凸的，局部最優解就是全局最優解等。 顯然，這些不等式約束都是線性的，因此定義的可行域是凸集，另外我們可以證明目標函數是凸函數，因此這是一個凸優化問題。 Boyd的《凸優化》分分爲三部分：理論，應用和算法。
（陸老師2016年在我校講授過機器學習的課程，當時沒得到消息，沒去聽課，甚是遺憾）。 在《數值優化》中，我們根據問題是否有約束條件，會把問題拆分成無約束優化問題和帶約束優化問題。 同時在數值優化中，我們的重點放在了數值上，我們介紹了很多實際的算法，然後需要通過編程來實際解決問題。 但是其實優化本身的思想，和它發展的源頭，事實上遠比我們想象的要早，儘管主要的潮流認爲，優化學科在二戰得以興起。 對於凸優化，我們最容易產生的疑惑就是它與最優化（數值優化）有什麼區別？ 雖然它們倆本質上都是優化，但是凸優化的研究範圍更窄，可以看出對“凸”的要求更高。
1978年，「形意檢字法」改名為「倉頡輸入法」。 1982年，朱邦復先生登報公開放棄倉頡輸入法專利權，不收取專利費免費開放給人使用，所以主流的中文作業系統都有內置倉頡輸入法。
凸速成: hkcards 倉頡字典
對於凸優化問題，可以使用的求解算法很多，包括最常用的梯度下降法，牛頓法，擬牛頓法等，它們都能保證收斂到全局極小值點。 梯度下降法在之前的文章中已經介紹，牛頓法和擬牛頓法在接下來將會介紹，請關注SIGAI的公衆號。 上圖中優化變量的可行域是整個實數集，顯然是凸集，目標函數不是凸函數，有兩個局部最小值，這不能保證局部最小值就是全局最小值。 然而，古人云“天下大事，分久必合，合久必分”，近幾年，多目標優化領域最新的研究方向就是將智能優化算法與傳統的優化算法相結合。 在這個方向上，華人學者張青富提出的MOEA/D是典型代表，該算法的核心思想是將多目標優化問題通過權重向量轉化爲多個單目標優化問題，並同時求解。
