在神经网络的训练过程中,损失函数是衡量模型预测结果与真实值之间差异的核心指标.通过优化损失函数,模型能够逐步调整参数,提升预测准确性.
为了更灵活地控制训练过程,我们引入了一种概率化的损失动态调整机制.该机制通过引入成功概率和损失调整比例,模拟真实训练中可能遇到的不确定性,从而更全面地评估模型的鲁棒性和收敛性.
我们有一个训练过程,初始损失值归一化为 L0=1,作为基准参考,在第 t 轮迭代中:
1.有 p 的概率成功,当前轮次的损失函数 Lt=Lt−1×(1−c%)(即降低 c% 的损失函数).
2.有 1−p 的概率失败,当前轮次的损失函数 Lt=Lt−1×(1+d%)(即提高 d% 的损失).
我们需要计算经过 T 次迭代后,损失期望值 LT,并对 998244353 取模.
定义有理数的模:若期望值 LT=QP,其中 P 和 Q 为整数且 Q 不等于 0,则在模 MOD 下的结果为:P×Q 的逆元,其中 Q 的逆元满足: Q×Q 的逆元