PolynomialDecay 类keras.optimizers.schedules.PolynomialDecay(
initial_learning_rate,
decay_steps,
end_learning_rate=0.0001,
power=1.0,
cycle=False,
name="PolynomialDecay",
)
一种使用多项式衰减调度的 LearningRateSchedule。
通常观察到，经过仔细选择的单调递减学习率，其变化程度，会带来性能更好的模型。该调度函数对优化器步数应用多项式衰减函数，给定一个 initial_learning_rate，在给定的 decay_steps 中达到 end_learning_rate。
它需要一个 step 值来计算衰减的学习率。您只需传递一个在每个训练步骤中递增的后端变量。
该调度是一个单参数可调用对象，当传入当前优化器步骤时，它会产生一个衰减的学习率。这对于在优化器函数不同调用之间更改学习率值非常有用。它的计算方式如下：
def decayed_learning_rate(step):
step = min(step, decay_steps)
return ((initial_learning_rate - end_learning_rate) *
(1 - step / decay_steps) ^ (power)
) + end_learning_rate
如果 cycle 为 True，则使用 decay_steps 的倍数，第一个大于 step 的倍数。
def decayed_learning_rate(step):
decay_steps = decay_steps * ceil(step / decay_steps)
return ((initial_learning_rate - end_learning_rate) *
(1 - step / decay_steps) ^ (power)
) + end_learning_rate
您可以将此调度直接作为学习率传递给 keras.optimizers.Optimizer。示例
使用以下方法在 10000 步内将模型从 0.1 衰减到 0.01：
sqrt (即 power=0.5)
...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = keras.optimizers.schedules.PolynomialDecay(
starter_learning_rate,
decay_steps,
end_learning_rate,
power=0.5)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
学习率调度也可以使用 keras.optimizers.schedules.serialize 和 keras.optimizers.schedules.deserialize 进行序列化和反序列化。
参数
1.0。"PolynomialDecay"。返回
一个接受一个参数的可调用学习率调度，该参数为当前的优化器步数，并输出衰减后的学习率，一个与 initial_learning_rate 类型相同的标量张量。