在大数据时代，训练数据规模大并且增长快，导致经典的批量式学习计算效率低、不能实时更新。在线学习假设训练数据持续到来，通常利用一个样本更新模型，降低了学习算法的计算复杂度，成为大数据分析的重要技术。传统的在线学习将算法的性能和固定模型比较，以最小化遗憾为目标，无法处理动态环境中存在的模型漂移问题。针对动态环境，我们研究了自适应遗憾和动态遗憾这两种新的优化目标。首先，我们提出了只需要一次梯度查询的在线学习算法，证明了该算法能够最小化自适应遗憾，并支持不同的函数类型。其次，我们从理论上揭示了自适应遗憾和动态遗憾之间的关系，证明了自适应算法能够取得最优的动态遗憾。