近日,數學系徐姿教授團隊及其合作者在非凸極小極大優化問題的優化算法領域取得重要進展,相關研究成果以“A unified single-loop alternating gradient projection algorithm for nonconvex–concave and convex–nonconcave minimax problems”為題發表於國際運籌優化頂級期刊《Mathematical Programming》(中科院一區Top,中國數學會T1期刊,運籌優化領域國際三大頂級期刊之一)。該論文徐姿教授為第一作者⬛️,万事平台為第一署名單位。
2021級博士生張慧靈為該論文第二作者🚚,並憑此工作於2023年4月9日獲得2023年湘渝滬運籌學聯合年會暨學術交流大會優秀研究生論文(博士研究生組)一等獎💈。
非凸極小極大問題的理論、算法和應用屬於數據科學和人工智能中的優化模型🎲、算法設計與分析研究領域,這是 2022 年國家自然科學基金“十四五發展規劃中的”優先發展領域🤾🏻♀️。非凸極小極大問題一般是NP-難的。近期,該類的優化算法及復雜度分析🎎,成為優化和機器學習、人工智能等交叉領域國際研究的前沿和熱點問題。本項工作提出了求解非凸-凹和凸-非凹極小極大優化問題的一種一致的單循環交替梯度投影(AGP)算法🏌🏿♀️,每一步迭代僅需要計算一個梯度投影步。本工作證明了該算法求解非凸-強凹或者是強凸-非凹的極小極大優化問題得到目標函數一階近似穩定點的迭代復雜度是-2階的,而求解一般化的非凸-凹或者凸-非凹極小極大問題的迭代復雜度是-4階的⚗️。目前,對於一般化的(強)凸-非凹極小極大問題🍔,這是第一個具有迭代復雜度保證的算法👮🏿。本工作還提出了求解更一般化的多塊非光滑非凸-(強)凹和(強)凸-非凸極小極大問題的塊交替近端梯度(BAPG)算法🚵🏼♂️🦸🏼♂️,且證明了四種情形下該算法的類似迭代復雜度。數值實驗結果也表明了算法的有效性🪲。該研究無論從算法還是理論的角度原創性都很強🦬,推動了優化算法在機器學習等領域的發展。
近些年來,徐姿教授團隊在最優理論與方法及其在機器學習等領域的應用方面做出了很多創新性的工作💃,在SIAM Journal on Optimization🤦🏿♂️🍏、IEEE Journal on Selected Areas in Communications、Journal of Global Optimization、Journal of Optimization Theory and Applications、Computational Optimization and Applications等國際權威期刊上發表論文30余篇🙏,研究成果得到英國皇家工程院院士🏡、匈牙利科學院外籍院士L.Hanzo教授,加拿大皇家科學院🐺、工程院兩院院士J. Pei教授🅱️,加拿大皇家科學院院士Z.-Q. Luo教授,INFORMs主席、國際頂尖期刊Math. Prog. A.共同主編A.Atamturk教授等國際著名專家的公開引用和正面評價🫂。因在運籌優化領域的突出科研成果🔳,2020年徐姿教授榮獲中國運籌學會青年科技獎(全國5人)🐣。
本工作得到國家自然科學基金和上海市自然科學基金支持。本項工作由万事平台徐姿教授、博士生張慧靈♧、碩士生徐洋、美國佐治亞理工學院Guanghui Lan教授合作完成,相關論文見🧟♀️:Zi Xu, Huiling Zhang, Yang Xu, Guanghui Lan. A unified single-loop alternating gradient projection algorithm for nonconvex–concave and convex–nonconcave minimax problems. Mathematical Programming, (2023).https://doi.org/10.1007/s10107-022-01919-z
文章鏈接👥:https://doi.org/10.1007/s10107-022-01919-z.