誤差如何被數(shù)學(xué)控制?。悍稊?shù)與 Banach 空間 | 泛函分析第五講

導(dǎo)語

集智學(xué)園聯(lián)合東京都市大學(xué)賈伊陽老師共同開設(shè)了「」課程，本系列課程將以嚴(yán)謹(jǐn)?shù)睦碚撏茖?dǎo)為核心，逐步建立泛函分析的基礎(chǔ)架構(gòu)。第一階段將探討從有限維跨越到無限維的動機與基礎(chǔ)；第二階段將重點建立度量與完備性，掌握 Banach 空間與不動點定理的精髓；第三階段將深入探討 Hilbert 空間的幾何結(jié)構(gòu)與對偶空間的映射體系。最終，在第四階段，將梳理完整的結(jié)構(gòu)總覽與應(yīng)用地圖，透視這些純粹的數(shù)學(xué)工具如何作為底層基石，廣泛應(yīng)用于現(xiàn)代物理、復(fù)雜系統(tǒng)模擬與前沿計算科學(xué)中。

作為系列課程的第五講，賈伊陽老師將以「范數(shù)與 Banach 空間」為主題，這一節(jié)中范數(shù)是“選擇關(guān)心哪種誤差”的語言，而Banach 空間的完備性，保證這種選擇在極限處仍然成立，本節(jié)課程將聚焦誤差控制與算子穩(wěn)定性場景，系統(tǒng)闡述范數(shù)的定義及常見的??與C[a,b]空間。課程將深入解析Banach空間的完備賦范屬性，體會其作為“確保解存在性的核心數(shù)學(xué)舞臺”的意義。正式分享將于5月10日（周日）19:00-20:30進行。

主題：函數(shù)空間作為向量空間

課程簡介

神經(jīng)網(wǎng)絡(luò)的譜范數(shù)歸一化為何能穩(wěn)定 GAN 的訓(xùn)練？最大均值差異（MMD）如何把兩個概率分布的比較轉(zhuǎn)化為一個函數(shù)空間的范數(shù)計算？這些機器學(xué)習(xí)的技術(shù)細節(jié)，根植于同一套數(shù)學(xué)結(jié)構(gòu)：范數(shù)與 Banach 空間。

本系列課程第五講，以“誤差為什么重要”為起點建立范數(shù)直覺：不同范數(shù)衡量不同類型的誤差，算子穩(wěn)定性取決于誤差能否被控制在可接受范圍內(nèi)。在此基礎(chǔ)上引入 Banach 空間的完備性，解釋為何理論上許多算法必須在完備空間中才有意義。

課程內(nèi)容直接錨定一線研究文獻。Gretton 等人（JMLR 2012）用 RKHS 范數(shù)實現(xiàn)兩樣本檢驗；Bartlett 等人（NeurIPS 2017）用譜范數(shù)建立神經(jīng)網(wǎng)絡(luò)的泛化界。課程逐步拆解這兩篇論文背后的數(shù)學(xué)機制，并延伸至 Path norm、Wasserstein 距離、Sobolev 范數(shù)等當(dāng)代學(xué)習(xí)理論的核心工具。理論補充部分討論算子范數(shù)的代數(shù)性質(zhì)、有界線性算子的連續(xù)性、組合算子的誤差傳播，以及 Ban 作為 enriched category 的結(jié)構(gòu)視角。

學(xué)完本講，你能夠準(zhǔn)確理解不同范數(shù)選擇背后的誤差幾何，讀懂涉及譜范數(shù)和 RKHS 范數(shù)的機器學(xué)習(xí)論文，并在完備性假設(shè)的背景下評價算法的穩(wěn)定性保證。

課程大綱

1. 為什么很多算法在理論上需要完備性？

a. 目標(biāo)：理解三個問題：

1. 如何用范數(shù)度量誤差？

2. 算子為什么可能放大誤差？

3. Banach 空間為什么是討論穩(wěn)定性的基本空間？

2. 場景驅(qū)動：誤差為什么重要

3. 論文1：概率密度作為范數(shù)

a. Gretton et al. (2012), A Kernel Two-Sample Test, JMLR.

4. 論文2：譜范數(shù)（算子范數(shù)）控制算子穩(wěn)定性與復(fù)雜度

a. Bartlett, Foster, Telgarsky, “Spectrally-normalized margin bounds for neural networks”, NeurIPS 2017

5. 其他相關(guān)文獻

6. 關(guān)于Banach空間的補充

關(guān)鍵術(shù)語

• Banach 空間：完備的賦范線性空間；Cauchy 序列的極限必須仍在空間內(nèi)，許多收斂性定理以此為前提。

• 算子范數(shù)（譜范數(shù)）：線性算子將單位球映射出的最大拉伸倍數(shù)，衡量算子對輸入誤差的放大程度。

• RKHS（再生核 Hilbert 空間）：由核函數(shù)定義的函數(shù)空間，每個點處的函數(shù)值可通過核的內(nèi)積表示。

• 最大均值差異（MMD）：用 RKHS 范數(shù)定義的概率分布距離，可直接由樣本估計，無需密度估計。

• 譜歸一化（Spectral Normalization）：將權(quán)重矩陣除以其譜范數(shù)，將網(wǎng)絡(luò)的 Lipschitz 常數(shù)控制在 1 以內(nèi)。

• 有界線性算子：滿足 ‖Ax‖ ≤ C‖x‖ 的線性映射，有界與連續(xù)在賦范空間中等價。

• Path norm：ReLU 網(wǎng)絡(luò)中沿激活路徑積的范數(shù)，對參數(shù)的重縮放變換不變，更準(zhǔn)確刻畫網(wǎng)絡(luò)復(fù)雜度。

• Wasserstein 距離：基于最優(yōu)傳輸?shù)母怕史植季嚯x，在生成模型（WGAN）理論分析中廣泛使用。

• Sobolev 范數(shù)：同時控制函數(shù)值與各階導(dǎo)數(shù)大小的范數(shù)，用于度量函數(shù)的光滑性與對擾動的穩(wěn)定性。

• Enriched category（豐化范疇）：Ban 的代數(shù)結(jié)構(gòu)視角；態(tài)射集本身構(gòu)成 Banach 空間，保留線性與度量信息。

課程信息

課程主題：范數(shù)與 Banach 空間

課程時間：2026年5月10日（周日） 19:00-20:30

課程形式：騰訊會議（會議信息見群內(nèi)通知）；集智學(xué)園網(wǎng)站錄播（3個工作日內(nèi)上線）

課程主講人

賈伊陽，東京都市大學(xué)講師、前日本女子大學(xué)助理教授，前日本成蹊大學(xué)助理教授。研究重點是計算復(fù)雜性，算法，以及范疇相關(guān)理論。集智學(xué)園《》課程講師。

課程適用對象

• 做微分方程、數(shù)值算法、反問題、信號處理、控制的學(xué)習(xí)者與研究者

• 做優(yōu)化、機器學(xué)習(xí)、統(tǒng)計推斷，希望理解正則化與泛化的結(jié)構(gòu)來源的研究者

• 讀量子/數(shù)學(xué)物理文獻，希望把 Hilbert 空間與算子語言用順手的研究者

• 更廣義地：經(jīng)常處理“函數(shù)作為未知量”的問題、并且想要一套可遷移框架的研究者

1. 面對一個新問題，你能先問對問題：該在哪個空間里解？該用哪個范數(shù)衡量誤差？需要什么完備性？算子是否有界？

2. 你能理解常見方法背后的統(tǒng)一邏輯：迭代為何收斂、正則化為何穩(wěn)定、最小二乘為何等價于投影、弱解為何成立。

3. 你會獲得一套“抽象但可落地”的語言：寫證明、讀論文、做建模時，能把碎片化技巧收束到結(jié)構(gòu)層面。

1. 課程形式：騰訊會議直播，集智學(xué)園網(wǎng)站錄播。本系列課程不安排免費直播。

2. 課程周期：2026年3月29日-2026年6月14日，每周日晚19點-21點進行。

3. 課程定價：原價499

   1. 早早鳥價299，截止時間：2026年3月22日中午12點

   2. 早鳥價399，截止時間：2026年3月30日中午12點

課程鏈接：https://campus.swarma.org/v3/course/5700?from=wechat

付費流程：

2. 課程頁面添加學(xué)員登記表，添加助教微信入群；

3. 課程可開發(fā)票。

課程共創(chuàng)任務(wù)：課程字幕

為鼓勵學(xué)員深度參與、積極探索，我們致力于形成系列化知識傳播成果，并構(gòu)建課程知識共建社群。為此，我們特別設(shè)立激勵機制，讓您的學(xué)習(xí)之旅滿載收獲與成就感。

課程以老師講授為主，每期結(jié)束后，助教會于課程群內(nèi)發(fā)布字幕共創(chuàng)任務(wù)。學(xué)員通過參與這些任務(wù)，不僅能加深對內(nèi)容的理解，還可獲得積分獎勵。積分可兌換其他讀書會課程或?qū)嵨铼勂罚δ某掷m(xù)成長。