使用全息和自稳当编码器的超维研讨 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11037243/夫妻性爱技巧
Hyperdimensional computing with holographic and adaptive encoder
河南专技在线超维研讨（HDC）的中枢想想是用全息和高维默示看成咱们大脑中的神经行为
阐述最小化对于 θ 的 ℒ尽头于最大化具有参数 (θ， w) 的后验漫衍的对数似然下界
（1）生成信得过稳当手头西宾数据的原子超向量，（2）有用优化下流任务的 HDC 默示，而且（ 3）保留了HDC的主要优点，即全息默示。
这种方法不需要咱们显式地使用核函数或概率密度，也不需要实施不菲的傅立叶变换。这使得 FLASH 的编码经由与静态编码经由相似高效，除了用于优化的一次性支出除外。
VFA 编码表面中可以得到一些着急的教养：
等式（2）中的 HDC 编码通过余弦激活归并了高维非线性映射。
由于 RFF，它因循超空间中特地想风趣的相似性度量，而无需量化各个特征或生成迂缓的相干基础超向量。
证据博赫纳定理，核 K 和测度 p(x) 之间存在对应关系。这意味着咱们可以应用该度量来测度内核相似性。
线性化固有的非线性回首任务
这种架构为咱们提供了相等丰富的生成器系列 ℱ ，它们的评估资本和西宾资本齐很低
先容. (数学标记太多，请参考原论文)
类脑研讨已成为一个新兴范畴，越来越多的责任专注于开发算法，使机器学习在功能层面更接近东说念主脑。看成有出路的地点之一，超维研讨（HDC）的中枢想想是用全息和高维默示看成咱们大脑中的神经行为。这种默示是 HDC 的效能和稳健性的基本激动者。关联词，现存的基于 HDC 的算法受到编码器内的猖狂。在某种进程上，它们齐依赖于手动遴荐的编码器，这意味着生成的默示弥远不会稳当手头的任务。
方法
在本文中，咱们提倡了 FLASH，一种新颖的超维学习方法，它衔尾了自稳当和可学习的编码器联想，旨在获取更好的全体学习性能，同期保抓 HDC 默示的邃密特点。刻下的 HDC 编码器应用立时傅里叶特征 (RFF) 进行内查对应并启用局部性保留编码。咱们建议通过梯度下落来学习编码器矩阵漫衍，并有用地颐养内核以获取更合适的 HDC 编码。
收尾
咱们对各种回首数据集的实验标明，颐养 HDC 编码器可以较着提升准确性，超过刻下基于 HDC 的算法，并提供比其他基线（包括基于 RFF 的核岭回首）更快的推理。
收尾标明自稳当编码器和定制高维默示在 HDC 中的着急性。
要津词:类脑研讨， 超维研讨， 全息默示， 向量函数架构， 高效机器学习 VSA
1 简介
东说念主脑仍然是有史以来最复杂且最有用的学习模块。咱们的大脑以与灯泡相似的功率运行，肃肃日常生存中简直扫数的学习和推理任务，具有特别高的样本效能和容错才气。相悖，许多泛泛应用的机器学习（ML）算法尽管在完成实践任务方面取得了长足的高出，但在效能和鲁棒性方面却无法与之比拟。
因此，生物视觉、领略面容学和神经科学的筹商催生了一个新兴范畴的要津成见，即类脑研讨。在这一范畴，畴前几年中也曾开发了几种新颖的研讨范式，这些范式要么在生物学上合理，要么在功能水平上更接近东说念主脑（Roy 等东说念主，2019 年；Karunaratne 等东说念主，2020 年）。特别是，超维研讨（HDC）在高维空间（即 HDC 中的超空间）中学习和推理时效法东说念主脑功能，其动机是不雅察到东说念主脑在高维神经表征上运行。雷同地，在受大脑启发的 HDC 中，基于高维向量的默示被联想来默示不同的原子成见，举例字母、物体、传感器读数和一般特征。频繁，HDC 编码器会将原始低维空间的输入编码为具特别千维的极高维向量（即 HDC 中的超向量）。以超向量为中心，HDC 还或者通过一组为超向量联想的 HDC 操作来描摹对象的位置、它们的关系以及多个单独成见的结构化组合（更多详服气息请参见第 2 节）。
看成 HDC 的基本构建块，超向量领有几个私有的属性，这些属性对于实践应用至关着急，特别是在默示和操作原子标记方面。具体来说，超向量默示是（1）全息的，信息均匀漫衍在超向量的各个构成部分（Kleyko et al.， 2023），（2）鲁棒性，超向量看成超向量冗余的天然收尾具有极高的耐噪性（Kanerva， 2009；Poduval 等东说念主，2022b；Barkam 等东说念主，2023a），以及（3）爽脆，只需轻量级操作即可实施学习任务（Hernandez-Cane 等东说念主，2021；Ni 等东说念主，2022b） 。此外，超向量通过爽脆算术进行标记运算的才气使 HDC 或者以透明和组合的样子实施领略任务，举例顾忌、学习和瞎想（Poduval 等东说念主，2022a；Hersche 等东说念主， 2023）。鉴于上述属性的着急性，大大齐 HDC 框架齐有一个专用且专门联想的 HDC 编码器，用于将原始输入映射到相应的超向量。编码的超维默示的质地对于学习和领略任务的阐发至关着急。
天然 HDC 编码器有许多变体（Rachkovskij，2015；Kleyko 等东说念主，2018、2021；Imani 等东说念主，2019；Frady 等东说念主，2021），但大大齐齐在编码决策上进行了立异，即编码样子标记上不同的实体被编码在整个。一个常见的例子是位置 ID 编码（Thomas et al.， 2020）：每个特征齐被分拨一个（要津）超向量来默示其在向量中的位置，而且特征的值被量化为一组龙套级别并分拨相应的（级别或值）超向量。因此，特征向量的默示是多个绑定键值对的系结。尽管上述编码取得了胜利，但原子超向量的 HDC 默示质地并不解确：由于默示时势的丰富性（Park 和 Sandberg，1991）和实践中的性能（Ge 和 Parhi，2020）也曾具有竞争力，因此它们的联想简直莫得被估量。举例，在位置 ID 编码的情况下，假定要津超向量互相独处，而值超向量则保抓互相龙套的线性相似性。这种手动遴荐的相似性度量、线性映射和龙套原子构成天然衰退活泼性。缔结到这一差距，咱们在本文中提倡了改换 HDC 学习的一个基本问题：奈何为原子数据生成邃密的 HDC 默示？另外，咱们奈何创建一个稳当刻下问题的编码决策？
最近的筹商提倡了向量函数架构（VFA）（Kleyko et al.， 2021; Frady et al.， 2022）（VFA），它为更好地默示超空间中的妥洽数据和函数提供了通用方法。它的编码器不是为原始空间中的每个特征预设龙套的相似度级别，而是平直针对整个超空间中特地想风趣的相似度，举例高斯径向基函数。为此，VFA 依赖于分数功率编码和立时傅立叶特征（Rahimi 和 Recht，2007）（RFF），通过预界说的立时漫衍由高维编码矩阵参数化。由此产生的超空间领有高维和非线性默示，以更详尽的粒度守护距离关系。咱们看重到，HDC 默示质地在很猛进程上依赖于超空间映射和相似性度量的遴荐，这些平直通过对编码矩阵的每个重量进行采样的漫衍来体现。缔结到这种估量，咱们期望遴荐一个稳当任务的漫衍将从骨子上提升 HDC 编码器的质地以及学习性能。
在本文中，据咱们所知，咱们将 FLASH 引入了第一个快速、可学习、自稳当且保抓全息的 HDC 默示时势。FLASH 带来了一种立异的超维回首算法，具有可优化的 HDC 编码器。与之前扫数将自身猖狂为前缀原子超向量或静态编码机制的算法不同，咱们的方法（1）生成信得过稳当手头西宾数据的原子超向量，（2）有用优化下流任务的 HDC 默示，而且（ 3）保留了HDC的主要优点，即全息默示。咱们从之前的 VFA 责任中罗致灵感，提倡了一种新颖的机制，通过找到从中抽取立时矩阵的最好漫衍来增强超空间的默示。此外，这种方法不需要咱们显式地使用核函数或概率密度，也不需要实施不菲的傅立叶变换。这使得 FLASH 的编码经由与静态编码经由相似高效，除了用于优化的一次性支出除外。
咱们的实验收尾标明，FLASH 的推理速率比基于 RFF 的岭回首快约 5.5 倍，同期提供尽头或更好的精度。咱们还测试了一种名为“Accurate FLASH”的变体，该变体针瞄准确性进行了优化，这种方法恒久优于其他 ML 基线，包括之前着手进的 HDC 回首算法（Hernández-Cano 等东说念主，2021 年） VFA。与此同期，咱们不雅察到咱们的方法相对于数据会聚的样本数目呈线性增多，使得该建议特别稳当大范畴数据。
本文的其余部分组织如下。在“HDC布景”部分中，描摹了HDC的基础学问。而且在“回首”部分对现存工夫的基于VFA的超维回首算法进行了分析。咱们提倡的 FLASH 在“主要方法”部分中阐发。“实验收尾”部分先容了在多元回首数据集上进行的实验的收尾。临了，“论断”部分对本文进行了总结。
2 相干作品
在畴前的几年中，先前的 HDC 筹商责任已将 HDC 的类脑功能应用于多种应用，举例异常值检测（Wang 等东说念主，2022）、生物信号处理（Rahimi 等东说念主，2020；Ni 等东说念主） .， 2022c；Pale 等东说念主，2022）、语音识别（Hernandez-Cane 等东说念主，2021）和手势识别（Rahimi 等东说念主，2016）。除了分类学习任务外，它还应用于基因组测序（Zou et al.， 2022; Barkam et al.， 2023b）、非线性回首（Hernández-Cano et al.， 2021; Ni et al.， 2023b）、强化学习（Chen 等东说念主，2022；Issa 等东说念主，2022；Ni 等东说念主，2022a，2023a）和图推理（Poduval 等东说念主，2022a；Chen 等东说念主，2023）。不管有或莫得硬件加速，这些 HDC 算法齐可以为每个应用带来较着的效能上风，促进在线西宾、小样本学习和边际友好操作。关联词，它们的性能不可幸免地受到优化欠安的编码经由的猖狂。超空间的映射要么是为特定任务手动联想的，要么平直重用 VFA 等固定联想（Rahimi 等东说念主，2020；Hernández-Cano 等东说念主，2021）。在本文中，咱们重心柔顺改换 HDC 编码器联想，从而通过提倡一种可优化和自稳当的新式编码器来学习性能。
3 向量函数架构回首
在本节中，咱们最初简要回顾一下 VFA 中提倡的超维编码工夫。正如简介中提到的，VFA 编码装配到超空间的界阐明确且妥洽的映射。然后咱们估量其在刻下着手进的 HDC 回首算法中的用法，并指出该方法由于静态编码而存在的局限性。
3.1 VFA中的超维编码
看成一种标记范式，许多 HDC 算法在一组不同的原子超向量上运行，这些超向量是立时生成的且接近正交，假定标记根底不相干。关联词，该假定并不老是稳当实践任务。因此，咱们也曾看到 HDC 算法在处理生物信号和图像时，显式地垄断原子超向量之间的相似性，举例爱护一组龙套的相似性级别。关联词，这些超向量的手动分拨可能存在问题，这不可幸免地会导致量化经由中的信息丢失，更毋庸说这种大肆假定的相似关系可能对学习莫得匡助。
为了解释 VFA 编码奈何拿获数据之间的关系，咱们看重到这种编码与立时傅立叶特征 (RFF) 编码一致，这是核方法的有用近似。Salomon Bochner (1899-1982) 的以下定理是这种明确界说的相似关系的基础 (Rudin， 2017)。
夫妻性爱技巧
Rahimi和Recht（2007）提倡了一组替代的立时傅里叶特征（RFF），使得编码向量的重量是实数，且核近似敛迹速率疏浚。为了构建实值RFF，咱们可以应用这种高维映射看成HDC编码器，如下所示：
从上头估量的 VFA 编码表面中可以得到一些着急的教养：
等式（2）中的 HDC 编码通过余弦激活归并了高维非线性映射。
由于 RFF，它因循超空间中特地想风趣的相似性度量，而无需量化各个特征或生成迂缓的相干基础超向量。
证据博赫纳定理，核 K 和测度 p(x) 之间存在对应关系。这意味着咱们可以应用该度量来测度内核相似性。
天然刻下的VFA方法带来了好多克己，但该方法最大的过错是 ψ D (x) 骨子上是静态映射，这使得编码的稳当性较差。咱们的责任旨在应用博赫纳定理的见地，通过其立时傅里叶特征自稳当地学习内核。
3.2 静态 HDC 编码器上的回首
期许情况下，咱们期望 HDC 编码器提供有用的高维默示，有助于分手数据点以进行分类或线性化固有的非线性回首任务。特别是在超维回首中，咱们感酷好的是找到最好的超向量 w∈ℝ D ，使得编码 y(x) = ϕ(x) T w 后的线性回首为，整个西宾集的平均值，在 ℓ 2 范数方面尽可能接近果然标签。此外，咱们引入了 ℓ 2 正则化总计 λ 以获取更沉静的测度量。因此赔本函数是阻尼最小二乘，可以默示为
在之前的 HDC 回首方法中（Hernández-Cano 等东说念主，2021；Kleyko 等东说念主，2021），模子超向量w 以迭代样子学习，其中超向量在回首舛误的教悔下系结在整个。关联词，他们面对着遴荐稳当的超参数以竣事最高预计质地的问题。另一方面，等式（3）中的赔本函数有一个已知的最小化器ˆ ，称为岭测度器：
在本文中，咱们应用这种统计方法在学习经由中获取更好的沉静性和更平直的参数颐养。
正如咱们在上一节中提到的，VFA 中的编码，方程（5）中的闭塞解假定 Z 上的回首问题是线性可解的，看成映射到超空间的收尾。关联词，对于大肆回首任务，静态 VFA 编码（由于固定的 K(Δ) 和 p(ω)）很可能变得次优。这项责任旨在通过提倡自稳当 HDC 编码器联想来处罚这个问题。
4 主要方法
在本文中，咱们提倡了FLASH，这是一种在处罚超维空间中的回首任务之前学习邃密的编码函数 phi(x) 的方法。
在图 1 中，咱们展示了咱们提倡的 FLASH 的轮廓，包括 HDC 推理和编码器学习经由。在推理经由中，咱们从原始空间❶中的查询数据点x∈ℝ M 初始，然后通过编码模块❷得到编码数据点z∈ℝ D这里描摹的全体推理经由雷同于基于 VFA 的回首；FLASH 与现存算法的区别在于，编码模块（具体为 Ω 矩阵）是通过参数化漫衍 p θ 获取的。在编码器学习❹时期，p θ 中的参数证据等式（3）中界说的回首赔本的反应进行更新。鄙人面的部分中，咱们将先容奈何从这个参数化漫衍中采样并学习其参数。
4.1 生成编码矩阵
联想 HDC 编码器时必须预防，因为它需要确保守护超向量的眩惑东说念主的特点。为了确保全息默示，咱们需要编码器的立时实例化，因此咱们不可平直对实例化的编码矩阵实施梯度下落，因为它可能会阻滞两者：关总计据的信息可能局部漫衍在输出向量中，而且经过西宾的编码用具有最小的立时性。
为了幸免这个问题，咱们从 VFA 责任中罗致灵感，该责任强调了编码器与内核的对应关系以及遴荐稳当漫衍 p(ω) 的着急性。追忆一下 3.1 节，核 K 和测度 p(x) 之间存在对应关系。此外，它还引入了由漫衍中的样本参数化的编码器系列{ ϕD}D∈ℕ ，使得编码向量之间的内积近似于内核。跟着编码器（共域）维度的增多，这种近似效能越来越好。通过学习对编码矩阵进行采样的漫衍，咱们将或者构建一个自稳当 HDC 编码器，该编码器提供更合适的超维默示，从而增多现存的眩惑东说念主的 HDC 属性。
在 FLASH 中，咱们界说了一系列参数函数 ℱ={::ℝ→ℝ，∈} ，它们被称为生成器。收到立时输入后，它可用于对编码函数所需的立时向量 ω 1 、...、 ω D 进行采样（公式 4）。与参数化漫衍（举例高斯再行参数化方法）比拟，该方法封装了更具阐发力的漫衍族。由于博赫纳定理，探索 ℱ 尽头于探索一组相应的妥洽移位不变核，
秉承自 RFF 方法，这种安排的一个主要克己是 FLASH 编码不需要咱们显式使用内核 K(Δ) 函数，也不需要概率密度 p(ω)，也不需要实施不菲的傅里叶变换。咱们的打算是找到 ∈ℱ，它很有可能给出处罚刻下回首问题的最好或接近最好的编码矩阵；这确保了其生成的编码器的质地和鲁棒性。
4.2 学习编码器矩阵漫衍
为了有用地学习漫衍，咱们将 ℱ 猖狂为:ℝ→ℝ 可微神经会聚系列，即会聚输入大小便是输出大小。为了使用 fθ对 ωs 进行采样，咱们最初绘画一个立时向量~(0，) 看成输入，然后使用 ω = fθ(ϵ)。采样 D i.i.d.立时噪声并将它们传递给生成器可以为咱们提供一个基本超向量矩阵（即 Ω），可用于实施编码。这可以通晓为广义的再行参数化，咱们学习代理函数 fθ(ϵ)。请看重，为了便捷起见，咱们遴荐从设施正态漫衍中采样噪声向量，但也可以作念出不同的遴荐。这种架构为咱们提供了相等丰富的生成器系列 ℱ ，它们的评估资本和西宾资本齐很低，咱们将在接下来的几节中看到。另外，由于 ϵ 是立时向量，是以 ω = fθ(ϵ) 亦然 1，这意味着存在概率密度（或质地）函数 pθ(ω ) 对于每个生成器 fθ。
在 FLASH 中，咱们的打算是最大适度地提升编码器性能，为回首任务生成数据的邃密 HDC 默示。特别是，咱们遴荐使用等式（3）中提倡的赔本函数来评估学习的编码器。关联词，由于生成编码时触及立时采样，因此咱们遴荐最小化期望值。请看重，该期望值是针对扫数可能的编码 Φ 取的，其编码矩阵 Ω 和偏移超向量 b 是立时采样的。因此，在等式 6 中，咱们寻求找到 fθ中的参数，以最小化以下赔本项以稳当 HDC 编码器：
4.3 通过生成器西宾来颐养编码器
到现在为止，咱们也曾先容了奈何参数化和学习采样漫衍。这就为FLASH配备了一个适配邃密的编码模块。尽管如斯，东说念主们可能想知说念通过梯度下落学习编码矩阵 Ω 和偏移量 b 是否是一个可以的遴荐。咱们承认这可能是一种更平直的措施，可是，它会危及 HDC 的全息特点，因为它不可保证编码矩阵是独处同漫衍的。这意味着编码后的超向量中的信息不再均匀漫衍，编码经由中的异常或噪声将因衰退超维冗余而导致更高的性能赔本。咱们提倡的措施将确保 FLASH 在颐养编码器后保抓全息 HDC 默示。
4.4 均衡培训资本
FLASH 中的西宾是一个两阶段的经由，咱们最入门习生成器 fθ(ϵ)，即代替从 pθ(ω)) 采样。基于第一个西宾阶段，咱们然后实施给出回首超向量 w 的模子西宾。在第二阶段，编码器将使用 fθ生成并保抓静态，因为它已被优化。请看重，这两个西宾阶段的维度 D 可以疏浚或不同。正如上一节提到的，咱们的生成器西宾优化方法是明确界说的；但在实践中，可以进一步近似以获取更快的敛迹速率。多种算法已被泛泛用于加速岭测度器的研讨（Paige 和 Saunders，1982；Defazio 等东说念主，2014）。关联词，在编码器学习的每次迭代入网算 ℒ() 最终会增多支出。追忆一下，在之前的 HDC 算法中（Hernandez-Cane 等东说念主，2021；Hernandez-Cano 等东说念主，2021；Ni 等东说念主，2022a），D 应该是高维，以便模子超向量具有更大的容量。在 FLASH 中，咱们建议将高维要求与编码器/生成器西宾解耦，因为生成器 fθ自己在 ℝ M 中运行。当西宾 fθ时，咱们将数据编码为 ℝ D ′，其中 D′ < D 以加速经由。对于回首经由，咱们使用稍大的维数D以获取更好的回首精度。事实上，最初给与HDC编码器也会裁减对模子超向量维数D的要求，从而裁减西宾资本。咱们的实验收尾标明，具有较低维数的 FLASH 具有与之前的 HDC 方法尽头的回首质地。
4.5 时期复杂度
在本节中，咱们估量西宾咱们提倡的方法的时期复杂度。底下咱们概述地描摹了咱们的方法所需的设施。
1. 西宾代理采样函数 fθ。
(a) 将数据编码到 D' 维空间。
(b) 研讨赔本 ℒ() 。
(c) 研讨梯度并更新 fθ中的参数。
(d) 迭代此经由直至敛迹。
2. 使用 fθ生成编码矩阵 Ω 。
3. 使用适配的 HDC 编码器将数据编码为 D 维。
4. 学习回首超向量 w。
在第一步中，当咱们将数据编码到 D' 维空间时，研讨 ℒ 的支出被以为很小，从而猖狂了研讨测度器ˆ 。生配置时基 ω i = fθ(ε i ) 需要 fθ的 D 次前向传递，这将给出超维映射。
对数据=(;，)=2‾‾√cos.(+) 进行编码，需要 () 运算，对应于最勤劳的渐近运算 - N 的矩阵乘法×M 矩阵 X 和 M×D 矩阵 Ω T ，其中 N 是样本数，M 是原始空间中的特征数。
证据实验评估，临了一步，研讨 w = (Z T Z+λI)−1Z T y 是咱们联想中最耗时的设施。表面时期复杂度以Z T Z乘法和逆运算为主，需要 (2) 和 (3)
值得运气的是，阻尼线性最小二乘赔本（公式 3）也曾得到潜入筹商，而且存在几种近似其解的算法，举例 LSQR（Paige 和 Saunders，1982 年）。此外，实验评估标明，使用相对较小的D值（500 ≤ D ≤ 2000），咱们可以获取相等准确的预计（如图所示图 5）；通过这种配置，咱们不雅察到样本数目的线性西宾时期。
4.6 编码赔本的时势化推导
在本节中，咱们阐述最小化对于 θ 的 ℒ尽头于最大化具关系节参数 (θ， w) 的后验漫衍的对数似然下界。
追忆一下，给定独处不雅测数据集 ，立时参数 θ∈θ 具有先验漫衍 θ~p(θ) 后验漫衍为 (∣) ，证据贝叶斯定理可以默示为 (∣)∝(∣)()，其中 (∣) 称为可能性。
在回首分析中，咱们假定关系 y = Xw+ε，其中 ε 是立时的未不雅察到的噪声。普通最小二乘回首将可能性开垦为正态漫衍∣∣~(，2) 。如公式 9 所示，最大化对数似然尽头于最小化普通舛误赔本：
为了在高维空间中责任，咱们必须将编码添加到方程中，或者在本例中添加生成器参数 θ。相悖，咱们假定关系 y = Zw+ε，其中 Z = Φ(X; Ω， b)。由于回首总计取决于 Ω 和 b，因此咱们使用条目似然∣∣，，~(，2) 。咱们在 θ 和 b 之间添加独处性假定。在公式 10 中，最大对数后验表露为使用 Jensen 不等式有界：
5 实验收尾
5.1 实验开垦
咱们在 Intel Core i7-12700K CPU 平台上使用 Python 竣事了所提倡的联想。适配编码器的中枢经由是使用Pytorch竣事的，回首经由基于Scikit-Learn提供的竣事。咱们在表 1 中列出的几个实践回首数据集上评估了咱们联想的准确性，其中包含多达 20，000 个样本和 80 个特征。表 2 描摹了用于与咱们的联想进行比较的基线模子，包括也应用 RFF 近似的岭回首和之前着手进的基于 HDC 的回首算法 RegHD。在实验经由中，咱们测试了联想的两种开垦（FLASH 和 A-FLASH），模子大小和维度略有不同。第二个开垦的称号代表“Accurate FLASH”，它具有更大的维度和模子尺寸。在表 3 中，咱们提供了实验顶用于不同回首模子的超参数。
5.2 综合数据上的阐发
从这个实验中，咱们得出论断，咱们对编码器赔本 ℒ 的优化建议在实践中效能很好，而且每个数据集的学习漫衍的时势各不疏浚。此外，咱们不雅察到咱们的建议稳当不同的数据范畴，与 SVR 有着彰着的区别。举例，第一个预计函数 f(x) = 10x 2 ，其中 SVR 彰着低于 |x|>1.1 的情况。
5.3 回首质地和效能比较
在本节中，咱们使用多个回首数据集将 FLASH（以及 A-FLASH）与几种基线回首算法的性能进行比较。咱们在每个数据会聚实施 5 次重叠的 5 倍交叉考据，并禀报平均预计质地、置信区间、较着性统计检修以及每次折叠所需的运行时期。咱们使用网格搜索遴荐 SVR 和联想中最着急的超参数。咱们的收尾总结在图 3 中。
咱们不雅察到，咱们的方法在准确性上恒久与其他着手进的方法尽头。咱们方法的准确版块 (A-FLASH) 恒久名列三甲。特别是，因为咱们的编码器是可学习的且稳当性强，是以咱们频繁比应用静态编码器或固定内核的其他算法更准确。与之前基于 HDC 的方法比拟，A-FLASH 竣事了较着更好的质地，而无需增多较着的推理支出。此外，咱们方法的快速版块（FLASH）频繁是最快的模子之一。在推理经由中，它比其他基线更快，包括经典的基于内核的方法，举例 SVR 和 Kernel Ridge。这是因为咱们的预计复杂度相对于样本数目是恒定的。平均而言，FLASH 的推理速率比 RegHD 快约 3.7 倍，比 kernel ridge/RFF ridge 快 5.5 倍，比 SVR 快 13.75 倍。
5.4 可推广性收尾
在本节中，咱们创建具有越来越各种本的弗里德曼回首数据集（Friedman，1991），以测试所提倡算法的可推广性并将其与其他方法进行比较。咱们不雅察到，咱们的方法相等稳当大范畴数据，因为咱们的西宾时期和推理时期齐呈线性趋势。与此同期，由于研讨复杂度较高，西宾 SVR 和核岭等经典核方法所需的时期彰着加速。咱们的收尾总结在图 4 中。最左边的图表露，即使样本数目很少，咱们的方法亦然竣事高预计质地的最快方法；事实上，当西宾集增万古，FLASH 束缚获取更好的准确率。在推理速率方面，在 5000 个西宾样本下，FLASH 简陋是其他方法的两倍，而且两者之间的差距还在延续扩大。
5.5 维度的影响
在本节中，咱们将探讨维数 (D) 在咱们对各种数据集的联想中的影响。图 5 表露了咱们在预计质地 (MSE) 和针对不同 D 值西宾模子所需时期方面的收尾。在“时期复杂度”部分中，咱们得出了咱们方法的时期复杂度为 ，这与咱们的实验收尾一致。关联词，值得一提的是，即使对于相对较小的维度（举例，D = 500），进一步增多维度的精度增益也不较着。因此，即使该方法的表面复杂性很大，在实践中，咱们也可以快速获取可接受的收尾。
六，论断
在本文中，咱们提倡了一种新颖的 HDC 算法，该算法具有自稳当且可学习的编码器联想。与之前仅柔顺模子超向量学习的 HDC 责任不同，咱们的责任还旨在提供更稳当刻下任务的超维默示。咱们不是平直学习编码器夫妻性爱技巧，而是构建一个参数化漫衍，有助于保留 HDC 编码的全息特点。几个回首任务的收尾标明，咱们提倡的算法可以较着提升准确性，超过现存的基于 HDC 的工夫并提供更短的推理时期。
