在人工智能和深度学习的世界里,神经网络架构搜索(NAS)一直是一个令人兴奋yet耗时巨大的领域。传统的NAS方法需要训练和评估大量的候选网络,往往需要数千个GPU天才能完成搜索。但是,一项新的突破性研究可能会彻底改变这个游戏规则。
来自RMIT大学和悉尼科技大学的研究人员提出了一种名为SWAP-NAS的新方法,可以在短短几分钟内完成高质量的神经网络架构搜索。这项研究将发表在即将举行的ICLR 2024会议上,标题为"SWAP-NAS:用于超快速NAS的样本级激活模式"。
神经网络架构搜索(NAS)的目标是自动为特定任务构建高性能的神经网络。然而,传统的NAS方法存在一些明显的缺点:
为了解决这些问题,研究人员提出了各种"无训练"指标,试图在不进行网络训练的情况下评估网络性能。但是,现有的无训练指标也面临着一些挑战:
为了克服这些限制,研究人员提出了一种全新的高性能无训练指标 – 样本级激活模式(Sample-Wise Activation Patterns,简称SWAP-Score)。
SWAP-Score的核心思想是通过检查网络在一批输入样本上的激活模式来衡量网络的表达能力。与现有方法不同,SWAP-Score关注的是样本级的激活模式,而不是标准的激活模式。
具体来说,给定一个ReLU深度神经网络N,一组固定的网络参数θ(随机初始化的权重和偏置),以及一批包含S个样本的输入,SWAP-Score定义如下:
A ˆ N , θ = { p ( v ) : p ( v ) = 1 ( p s ( v ) ) s = 1 S , v ∈ { 1 , . . . , V } } Aˆ_{N,θ} = \{p^{(v)} : p^{(v)} = 1(p^{(v)}_s)^S_{s=1}, v ∈ \{1, …, V\}\} AˆN,θ={p(v):p(v)=1(ps(v))s=1S,v∈{1,…,V}}
其中 p s ( v ) p^{(v)}_s ps(v)表示第s个样本在第v个中间值处的单个后激活值。1(x)是指示函数,用于识别唯一的激活模式。在ReLU网络的上下文中,可以采用符号函数作为指示函数,将正的非零值转换为1,同时保持零值不变。
SWAP-Score Ψ则定义为SWAP集合的基数:
Ψ N , θ = ∣ A ˆ N , θ ∣ Ψ_{N,θ} = |Aˆ_{N,θ}| ΨN,θ=∣AˆN,θ∣
这种新的度量方法具有以下优势:
研究人员将SWAP-Score与进化算法相结合,提出了一种新的NAS方法 – SWAP-NAS。这种方法结合了SWAP-Score的效率和基于种群的进化搜索的有效性。
SWAP-NAS的表现令人印象深刻:
- 在CIFAR-10数据集上,仅需6分钟(0.004个GPU天)就能完成搜索,同时在速度和性能上都超越了最先进的NAS方法。
- 在ImageNet数据集上直接搜索仅需9分钟(0.006个GPU天),就能达到最先进的NAS性能。
这种惊人的速度提升主要得益于SWAP-Score避免了耗时的网络训练过程。与此同时,SWAP-NAS还保持了极具竞争力的性能,这证明了SWAP-Score作为性能指标的有效性。
研究人员在多个基准数据集和搜索空间上进行了广泛的实验,以验证SWAP-Score和SWAP-NAS的有效性:
这些结果充分展示了SWAP-Score和SWAP-NAS在速度和性能方面的巨大优势。它们不仅大大缩短了神经网络架构搜索的时间,还保持了极具竞争力的性能。
SWAP-NAS的出现可能会对深度学习研究和应用产生深远的影响:
SWAP-NAS的出现无疑是神经网络架构搜索领域的一个重大突破。它不仅解决了传统NAS方法的效率问题,还在多个基准测试中展现了卓越的性能。这项技术有望彻底改变我们设计和优化神经网络的方式,为AI研究和应用开辟新的可能性。
随着这项技术的进一步发展和应用,我们可以期待看到更多令人兴奋的创新和突破。SWAP-NAS的诞生,标志着人工智能研究进入了一个新的时代 – 一个更快、更高效、更可持续的时代。
参考文献:
[1] Peng, Y., Song, A., Fayek, H. M., Ciesielski, V., & Chang, X. (2024). SWAP-NAS: Sample-Wise Activation Patterns for Ultra-Fast NAS. In International Conference on Learning Representations (ICLR) 2024.
原文链接：https://blog.csdn.net/weixin_36829761/article/details/141336227?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522bcdffe4c3e164d58b445b95efacaac28%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=bcdffe4c3e164d58b445b95efacaac28&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-2-141336227-null-null.nonecase&utm_term=%E6%9E%81%E7%A9%BA%E9%97%B4nas
