随着大数据的到来和计算机硬件性能的提高,深度神经网络在许多领域取得了空前的成功。深度神经网络具有良好的表达能力的同时,其庞大的模型参数给储存和计算带来了很大的负担。这些问题阻碍着深度学习的发展以及应用,需要模型轻量化来降低模型复杂度,减少过拟合,提高学习器的表现效果;减少训练时所需的计算,加快模型训练过程,使得算法更好的广泛和实时应用。为了达到轻量化模型的目的,我们采用正则化的方法来稀疏深度神经网络的权重。考虑到非凸的惩罚项在正则化效果方面往往有好的表现,我们选用非凸正则项从而有效地去掉冗余的权重,同时做到不减少神经元来避免减弱网络的表示能力。我们还提出了一种随机方法来求解该结构风险最小化问题。实验表明,该正则项在稀疏化方面的作用以及该随机算法都有很好的表现。