什么是Meta Learning？#

在之前的机器学习任务中，我们训练的都是下图中f∗f^*的部分，即完成某项任务的模型，在训练之前我们需要定义一系列的超参数（学习率、初始化方式……）。而Meta Learning（元学习），则是去让模型学习自己去找出合适的超参数。

image-20230208172611143

为什么需要Meta Learning？#

image-20230208174042217

Meta Learning的实现#

定义function#

image-20230208174230826

确定loss#

image-20230208175107102

优化#

image-20230208175248763

Framework of Meta Learning#

image-20230208174804700

ML v.s. Meta#

不同#

Goal#

image-20230208175335647

Training Data#

image-20230208175422174

Training and Testing#

image-20230208175513108 image-20230208175613248

Loss#

image-20230208175812650

相同#

Meta Learning可以学到什么？#

image-20230208182852879

Initialization#

image-20230208182937966

Optimizer#

image-20230208183038182

Network Architecture Search (NAS)#

image-20230208183131060

Data Augmentation#

image-20230208183238305

Sample Reweighting#

image-20230208183305697

Beyond Gradient Descent#

Applications#

image-20230208180207294 image-20230208180337771

本文采用CC-BY-SA-3.0协议，转载请注明出处
作者: 核子