*明强 李 (中国电科认知与智能实验室)
挖掘数据未知结构是机器学习领域的热点问题,从观测数据中获取数据表示方法有助于揭示数据隐藏的结构或有效信息。本文从神经集群理论出发,构建逐层互信息最大化的数据逐层表达模型。针对高维输入和输出问题,构建香农互信息的近似模型并通过逐层优化获得一个初始解。算法从初始解出发,通过梯度下降算法对全局目标函数进行优化。该算法可以从输入数据中快速学习完备基、过完备基及欠完备基向量。数值实验表明,与现有的一些无监督学习方法相比,该方法在训练速度和鲁棒性方面具有明显的优势。
Math formula preview: