document.write('
')

十年前,AlexNet就预定了今天的NeurIPS 2022时间检验奖

2022-11-24 18:48:48 围观 : 167次 来源 : 教育论文网 作者 : 永强

作为当前全球最负盛名的 AI 学术会议之一,NeurIPS 是每年学界的重要事件,通常在每年 12 月举办。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。

今年 NeurIPS 已是第 36 届,将于 11 月 28 日至 12 月 9 日举行,为期两周。第一周将在美国新奥尔良 Ernest N. Morial 会议中心举行现场会议,第二周改为线上会议。今年 NeurIPS 官方收到了 10411 篇论文投稿,其中 2672 篇获接收,。

今日,大会公布了各类奖项,包括 Main Track 杰出论文奖、数据集和基准 Track 杰出论文奖以及时间检验奖。其中,Main Track 杰出论文奖共授予 13 篇论文,数据集和基准 Track 杰出论文奖授予了 2 篇论文,时间检验奖授予了大名鼎鼎的 AlexNet 论文。

Main Track 杰出论文

论文 1:Is Out-of-Distribution Detection Learnable?

机构:悉尼科技大学、威斯康星大学麦迪逊分校等

作者:Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu

论文地址:https://openreview.net/forum?id=sde_7ZzGXOE

获奖理由:这项工作提供了分布外 (OOD) 检测的理论研究,重点关注此类模型可学习的条件。该工作使用 PAC(probably approximately correct)学习理论表明 OOD 检测模型仅在数据分布空间和预测模型空间的某些条件下是 PAC 可学习的。该研究还提供了 3 个具体的不可能定理,可以用来确定 OOD 检测在实际环境中的可行性,为现有的 OOD 检测方法提供了理论基础。这项工作还提出了新的理论问题,例如关于 near-OOD 检测的可学习性。该研究将在 OOD 检测这个重要的研究领域产生广泛的理论和实践影响。

论文 2:Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

机构:谷歌研究院

作者:Chitwan Saharia、William Chan、Saurabh Saxena等

论文地址:https://openreview.net/forum?id=08Yk-n5l2Al

获奖理由:基于扩散过程的高质量图像生成模型已在机器学习领域产生巨大的影响。该研究代表了此类模型的 SOTA 水平之一,并创新性地展示了独立训练的大型语言模型与大规模图像解码器的有效结合。这种实用的解耦很可能成为大规模文本到图像模型的主导范例。该研究的成果令人印象深刻。

论文 3:Elucidating the Design Space of Diffusion-Based Generative Models

机构:NVIDIA

作者:Tero Karras、Miika Aittala、Timo Aila、Samuli Laine

论文地址:https://openreview.net/forum?id=k7FuTOWMOc7

获奖理由:这篇论文通过调查思考,将先前的研究组织成一个连贯的共同框架,以促成新的建模改进,这是该研究的研究方法。该研究的重点是包含某种形式扩散过程的图像生成模型,尽管训练此类模型存在困难,但这种模型最近变得非常流行。这篇论文对基于扩散过程的模型的理解和实现做出了重要贡献。

论文 4:ProcTHOR: Large-Scale Embodied AI Using Procedural Generation

机构:艾伦人工智能研究院、华盛顿大学

作者:Matt Deitke、Eli VanderBilt、Alvaro Herrasti等

论文地址:https://openreview.net/forum?id=4-bV1bi74M

获奖理由:这项工作提出了一种新框架,用于在大量数据上训练具体的 AI 智能体,为这些智能体创造从扩展中受益的潜力,类似于语言和图像生成模型。该框架的核心是一个引擎,用于构建程序生成的、支持物理的环境,智能体可以与环境交互。该引擎与大量数据和环境控制相结合,可以生成大量不同的环境组合。研究者证明该框架可用于为多个具体 AI 任务训练 SOTA 模型。此外,该研究已将框架和代码开源。

论文 5:Using natural language and program abstractions to instill human inductive biases in machines

机构:普林斯顿大学神经科学研究所、DeepMind 等

作者:Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等

论文地址:https://openreview.net/forum?id=buXZ7nIqiwE

获奖理由:该研究表明程序抽象(program abstraction)和自然语言的共同训练可以将人类偏见纳入机器的学习过程。研究者提出了一种结合人类偏见的 clean 方法,该方法对程序抽象也很稳健。

论文 6:A Neural Corpus Indexer for Document Retrieval

机构:微软、清华大学等

作者:Yujing Wang、Yingyan Hou、Haonan Wang等

论文地址:https://openreview.net/forum?id=fSfcEYQP_qc

获奖理由:这项工作提出了一种神经索引器,它将查询作为输入,并通过解码器结合集束搜索(beam search)输出与索引中相关文档对应的 ID 列表。这种新方法加入了一个小型但不断增长的研究系列,这种新范例允许使用标准深度学习算法和框架对目标应用程序的索引器进行基于梯度的优化。该研究提出的方法引入了架构和训练选择,与之前的工作相比,这些选择带来了显著改进。该研究阐明了神经索引器的广泛应用前景。

论文 7:High-dimensional limit theorems for SGD: Effective dynamics and critical scaling

作者:Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath

论文地址:https://arxiv.org/pdf/2206.04030.pdf

相关文章

论文专题