1 Computing on Functions Using Randomized Vector Representations (in brief）浆果儿 女同
2 Computing on Functions Using Randomized Vector Representations 33页版块
https://arxiv.org/abs/2109.03429
向量的加法对应于函数的加法，向量的绑定对应于函数的卷积。
咱们设计VFA 框架将有助于构建⼀种⼈⼯智能，它使⽤散播式、可解释的表⽰，何况不错通过具有明确界说的诡计真义的代 量运算进⾏处理。这种⼈⼯智能⽅法不错结合神经⽹络、概率推理和璀璨⼈⼯智能的优点；也等于说，学习的能⼒，在散播式硬件上可 执⾏的能⼒，以及具有基于端正的推理能⼒来详尽和推断先验学问的能⼒。咱们折服该⽅法还可能有助于深⼊了解⼤脑中⾼度散播 的表征，举例内嗅⽪层和海⻢体。
将KLPE和VSA相结合，产生了一个咱们称之为向量函数架构（VFA）的诡计框架VFA的先决条件是与VSA绑定操作兼容的KLPE。咱们当今关爱一种特定的LPE，分数幂编码（FPE）
后续论文：
摘要：
用于通过有时向量对璀璨进行编码的璀璨处理的向量空间模子仍是在默契科学和联结主义社区中被提议， 名 称为向量璀璨架构(VSA)， 同义地为超维(HD) 诡计[22，31，46 ] 。在本文中， 咱们通过将连气儿值数据映射到向量空间中，将 VSA 扩充到函数空间，使得苟且两个数据点示意之间的内积近似示意相似核。类比VSA， 咱们将这种新的函数编码和诡计框架称为向量函数架构(VFA)。在VFA中，向量不错示意各个数据点以及函数空间(再现内核希尔伯特空间) 的元素。从VSA接管的代数向量运算对应于函数空间中明确界说的运算。此外， 咱们研究了先前提议的一种用于编码连气儿数据的按序， 即分数幂编码(FPE)， 该按序使用有时基向量的求幂来生成数据点的有时示意， 并得志换取 VFA 的内核属性。咱们标明， 对基向量的重量进行采样的散播决定了 FPE 内核的神志， 这反过来又引 发了用于使用带限函数进行诡计的 VFA。极度是， VFA 提供了一个代数框架， 用于已毕具有有时特征的大界限内核机器， 膨大了[51]。终末， 咱们演示了 VFA 模子在图像识别、 密度忖度和非线性转头问题中的几种应用。
咱们的分析和收尾标明，VFA 组成了⼀ 个强⼤的新框架，⽤于表⽰和左右散播式神经系统中的功能，在⼈⼯智能中具有⽆数的应⽤。
8 斟酌
8.1 收尾总结
咱们的主要孝顺是对向量函数架构（VFA）进行了雅致的形容，这是一种通过操作高维有时向量来诡计函数的新框架。这项职责扩充了向量璀璨架构（VSA）模子用于璀璨推理，何况它还雅致化了一些早期使用VSA处理亚璀璨数据的建议（见下文8.4.1节）。咱们的收尾不错归纳为以下述说：
• 结合与VSA绑定操作兼容的KLPE不错产生向量函数架构（VFA），即在其中函数由向量示意，何况不错通过变成示意空间上代数的向量操作来操作的再生核希尔伯特空间（RKHS）。代数目子操作不错践诺以下函数操作：点评估、积分、加法、平移和卷积（定理1）。
• 在VSA中，两个璀璨示意的向量绑定变成一个璀璨对的示意，抒发璀璨之间举例键值或变装填充者的关联。道理的是，在VSA框架中，函数向量的绑定抒发函数卷积。卷积已被讲明是函数的首要组合/解析操作，正如卷积神经网络（Bengio等东谈主，2021）的收效所示范。
• 基于VSA绑定操作的分数幂编码（FPE），一种现存的LPE按序，为一维和多维数据空间换取VFAs。核神志取决于FPE基向量的有时结构。均匀采样的基向量产生具有通用核神志的VFAs，即sinc函数，与底层绑定操作无关。因此，收尾VFA中的向量不错示意带限函数（定理2）。
• 形容了如安在VFA中塑造核的按序。具体来说，任何具有在[-1/2， 1/2]内带限的傅里叶密度的核都不错通过相应地采样FPE基向量在VFA中产生。极度地，展示了怎样构建对各式应用有效的VFE核，举例高斯核、非笛卡尔多维sinc核、周期性网格核等。
• 像传统的璀璨VSAs一样，VFAs需要一种检测、解码和去噪示意的机制。提议了一种电路机制来已毕这一主张。
• 展示了一些使用VFA进行核诡计的例子，图像处理、密度忖度和非线性转头。
• 其他类型的LPEs（曩昔曾与VSA沿途使用），如浮点编码、有时向量结合和有时投影，也不错换取RKHS函数空间。关联词，这些其他的LPEs莫得一种能换取VFA，因为它们不包括与编码决议兼容的绑定操作，见补充材料C。
8.2 VFA的技能应用
除了由底下8.4.1节中的早期商量职责始创的VFA应用以外，这里提供的函数空间和代数函数运算的精准界说为好多新颖的应用铺平了谈路。它们包括:
•VSAs/超维诡计:VFA提供了一个代数的，表面上的按序来膨大VSAs超维诡计技能到函数诡计。关联应用示例，请参见第7.1节。
•大界限内核机器:VFA为大界限已毕内核按序提供了特征示意和向量运算。通过将核示意为特征向量的内积来克服传统核按序(Bach，2019)的维数横祸的想法仍是在(Rahimi和Recht，2007)中指出，参见第8.4.2节。关联VFAs内核应用的示例，请参见第7.2节。
•概率数据结构/草图:概率数据结构或草图是由数据点变成的数学对象的简化示意(Mitzenmacher和Upfal，2017)。这种简化的示意比存储通盘单个数据点在诡计和存储方面更高效。骨子上，VFA向量不错被视为一个紧凑的概率数据结构或一个函数(7.2节)或一个对象(7.1节)的草图。道理的是，vfa给概率数据结构增多了新的功能。具体来说，单个VFA向量不错已毕内核机器的功能，超出了草图的规范应用领域，如成员测试(布鲁姆过滤器(布鲁姆，1970))或频率忖度(计数-最小草图(Cormode和Muthukr- ishnan，2005))–举例，参见第7.2节。
•储层诡计:之前仍是强调过，储层诡计不错在递归采麇集已毕VSAs的代数框架(Frady等东谈主，2018cKleyko等东谈主，2020a)。将输入编码从惯例储层诡计中的有时投影按序变嫌为KLPEs将产生一类新的递归网络，用于在明确界说的函数空间中以透明的样式进行诡计。
•神经网络:据推测，神经采麇集绑定操作的缺失是其短缺数据成果、泛化和鲁棒性的根源(Greff等东谈主，2020)。通过VFAs将VSA绑定倡导从璀璨域扩充到函数域是开采具有绑定操作的神经网络按序的重要按序。此外，通过将函数示意为向量，VFA为电流型神经网络处理函数提供了一个道理的输入接口。此外，内核和深度学习之间存在已知的商量，具体而言，基于梯度的学习不错凭据所谓的旅途内核(Domingos，2020)，神经切线内核的膨大(Jacot等东谈主，2018)来制定。这种核是否不错用VFAs示意，是改日研究的一个盛开问题。
•动态默契建模:为了对大脑的默契功能进行建模，仍是提议了举例(Port和Van Gelder，1995；Eliasmith，1996)，将破碎璀璨推理映射到连气儿能源系统，极度是动态神经场模子(Amari，1977；厄门特劳特和麦克劳德，1993年；吉尔萨和哈肯，1996年；Erlhagen和Sch oner，2002)。这些模子引入了一个连气儿的低维拓扑空间当作里面或“精神”导航空间。仍是强调了向量璀璨倡导怎样大要构建动态默契模子，但是挑战性的逆问题仍然存在，即怎样适应地设计精神空间和恰当处治给定默契问题的神经能源学(Beim Graben和Potthast，2009；Widdows和Cohen，2015)。使用VFA大要在热情空间中变成相似性结构，这可能为处治具有挑战性的默契任务的逆问题提供新的按序。
8.3神经科学的VFA模子
VFA当作大脑中神经元编码模子的展望重要取决于编码/结合按序的礼聘。经典VSA的结合操作，Hadamard乘积和轮回卷积，结巴易映射到生物神经元回路的功能上。它们还需要密集的示意向量，这似乎与神经纪录中疏淡举止模式的不雅察不相容(Rachkovskij和Kussul，2001；弗雷迪等东谈主，2021年)。关联词，道理的是，Hadamard FPE中使用的相量矢量不错天然地用尖峰来示意，其中复相位由周期性尖峰模式的定时来示意(Frady和Sommer，2019)。东谈主们不错在相量码中引入群体疏淡性，并为神经元子聚合具有模拟相位角的模式构建高容量逸想驰念网络(Frady和Sommer，2019)。块局部轮回卷积(第4.2.3节)是一种不错用这种代码操作的绑定操作。潜在地，这种结合按序不错通过生物学机制已毕(Frady等东谈主，2021)，举例，应用活性树突和适应检测(Schaefer等东谈主，2003)。
以前曾尝试使用Fractional Power Encoding (FPE）开采海马/内皮层的模子。具有尖峰定时相位码的这些模子之一展示了与实验不雅察一致的满足，
举例位置场和相位进动(Frady等东谈主，2018a)。另一个基于速度编码和轮回卷积结合的模子(Komer和Eliasmith，2020)标明，模子神经元不错阐述出网格细胞样的响应。推测海马和内嗅皮层是否大要已毕和应用全部VFA功能是很道理的。海马/内嗅皮层的VFA模子将展望举止模式不错代表环境空间的功能，如奖励和改日旅途的概率密度。尽管基于速度的模子已毕了完好意思的VFA，但是在率先的出书物中莫得应用示意函数的才智。相位编码海马体模子(Frady等东谈主，2018a)可通过添加绑定操作(如第4.2.3节所述的块局部轮回卷积)膨大至全VFA。
VFA揭示了神经编码的潜在诡计作用。神经编码每每被视为对嗅觉信号的内在结构进行统计学习的收尾。举例，信源编码(Shannon，1949年)或冗余减少(Barlow，2001年)的指标每每不错导致维数减少，但当与疏淡性结合时，也会导致维数增多(Olshausen和Field，1996年)。神经编码的其他表面是基于有时抽样，而不是学习，举例，使用有时突触投射。此类模子的诡计指标包括哈希运算，以变成膨大的地址空间，从而改善信号检测(Babadi和Sompolinsky，2014年；Fusi等东谈主，2016；达斯古普塔等东谈主，2017)，或压缩感知(多诺霍，2006；Cand`es等东谈主，2006)，用于优化布线经管下的神经通讯(Isely等东谈主，2010；希拉和索默，2015；Ganguli和Sompolinsky，2012年)。
VFA长入了基于学习和基于有时的神经编码表面。
一个VFA表面作念出如下展望:
a)极度想的低维嗅觉信号流形被索取出来(这里不斟酌)，然后通过高维有时举止模式从头编码。高维示意空间中的内积近似于数据流形上的相似性核。
b)高维向量空间不错示意和左右数据流形上的点和函数。点和可用函数空间之间的相似性由核决定。
c)学习是核函数空间中的近似。
d)向量之间的绑定使得大要通过卷积从仍是学习的函数原语合成新函数。
e)神经商量性和“信号搀和”的作用，如前边蒙眬界说的，不错变得明确:群体举止中的商量性编码信息，该信息不错通过将群体举止向量与驰念向量进行比较来解码。信号不错以不同的样式搀和，通过绑定保握相似性，或者通过绑定破损相似性。
脑功能的大部分诡计表面，如贝叶斯推理、展望编码等。，需要神经元群体举止的功能编码。可能最接近VFA倡导的是总体编码(Pouget等东谈主，2000年；Barber等，2003)，如贝叶斯总体码(马等，2006)。在这些模子中，每个神经元每每在编码流形上有一个高斯神志的感受野。这导致内积核随距离衰减何况是平移不变的。因此，贝叶斯总体代码换取核函数空间。关联词，它们短缺绑定操作(至少咱们不知谈)来践诺VFA可能的代数函数操作。
1 简介：
⼈⼯智能 (AI) 领域近期令⼈印象深远的成等于由诡计嵌⼊⾼维向量空间中的数据表⽰的模子驱动的，迄今为⽌最引⼈注⽬的是神 经⽹络（Bengio 等⼈，2021）。⼀旦提供了输⼊数据和监控信号（如若适⽤），神经⽹络就会提供强⼤的端到端试验机制来优化 给定任务的性能。然⽽，首先进的神经⽹络仍然⾯临两个基本问题。⼀是所学学问的应⽤很脆弱，何况结巴易推⼴到试验集以外的新环境。有⼈合计，这个问题部分是由于⽆法进⾏变量绑定（Fodor 和 Pylyshyn，1988；Greff 等⼈，2020），这对于使在⼀个领域 学到的学问大要分离并活泼地应⽤于其他领域⾄关首要（Smolensky，1990）。刻下神经⽹络的第⼆个固有问题是缺 乏透明度。也等于说，神经⽹络中的向量表⽰和变换在诡计⽅⾯都莫得明确的解释。尽管通过加权和和阈值组合信号的显式诡计对 于⽹络中的每个神经元都得到了很好的指定和不息，但通盘这个词系统每每被视为⿊匣⼦，⽽莫得深⼊了解所学习的表⽰的数学结构或底层诡计由通盘这个词⽹络执⾏的功能。短缺透明度是使⽤神经⽹络当作⼤脑功能解释模子以及分析、不息或解释神经⽹络在特定应⽤环 境中的决策的进军。
比年来，咱们和其他⼈在推动称为⽮量璀璨架构 (VSA) 或同义超维 (HD) 诡计的⽮量空间诡计框架⽅⾯赢得了进展，该框架既 ⽀握变量绑定⼜完全透明（Plate，1994a；Kanerva，1996） ；盖勒，1998a；Eliasmith 和 Thagard，2001；Rachkovskij 和 Kussul，2001）。在 VSA 中，璀璨、数据或其他实体通过将它们有时映射到固定维度的向量空间来表⽰。这些向量的代数由加法、乘 法和陈设组成，分袂已毕了系结、结合和排序操作（Kleyko 等⼈，2021）。当今，这种⽅法有多个收效的例⼦应⽤于⽂分内析 （Jones and Mewhort，2007；Joshi 等，2016a；Recchia 等，2015）、EEG 和 EMG 信号解码（Rahimi 等，2019；Moin）等⼈， 2021）、序列学习（Hannagan 等⼈，2011；Frady 等⼈，2018c）和机器⼈技能（Neubert 等⼈，2019）。然⽽，迄今为⽌，⼤多数 这些应⽤规范仅限于破碎数据，举例⽂本、单词或其他标记，或者通过破碎化骨子上基本连气儿的数据，从⽽忽略数据中首要的拓扑相似关系（Edelman，1998）。
在本⽂中，咱们斟酌如安在向量空间中表⽰连气儿数据和函数，以及怎样通过 VSA 代数来操作它们的问题。咱们开采了⼀种新的向 量空间函数诡计框架，与 VSA 类⽐，咱们将其称为向量函数架构 (VFA)。与 VSA ⼀样，VFA 是完全透明的。向量不错表⽰各个数据点 以及被明确界说为再现核希尔伯特空间的函数空间的元素。函数的域不错对数据中的连气儿值量进⾏编码，举例位置、时候或波⻓。函数通过 VSA 的向量运算进⾏操作：向量的加法对应于函数的加法，向量的绑定对应于函数的卷积。函数域通过对固定有时基向量取幂 进⾏编码这种编码之前已当作分数幂编码引⼊，这些编码和操作共同掀开了⼀种强⼤的新数据诡计⽅式的⼤⻔，举例图像、声⾳波形和⽆数其他类型的连气儿信息流，⼈们但愿在这些 数据流中左右函数（就像⽬前在璀璨诡计中所作念的那样）。
除了与 VSA 的关系以外，VFA 还不错被视为更⼤类算法的⼀部分，这些算法利⽤有时性来膨大维度，举例散列（Cormen 等 2009 年；Dasgupta 等⼈，2008 年）、有时诡计（Alaghi 和Hayes，2018）、储层诡计（Frady 等⼈，2018c；Cuchiero 等⼈，202 或降维举例压缩感知（Cand`es 等⼈，2006；Donoho，2006；Frady 等⼈， 2021）。极度是，VFA 提供了⼀个代数框架，⽤于 已毕具有有时特征的⼤界限内核机器，包括和膨大 Rahimi 和 Recht (2007)。另⼀⽅⾯，VFA 与通盘这些⽅法的区别在于，它包含⼀ 个基于数学的框架，⽤于诡计高纬示意。
咱们设计VFA 框架将有助于构建⼀种⼈⼯智能，它使⽤散播式、可解释的表⽰，何况不错通过具有明确界说的诡计真义的代 量运算进⾏处理。这种⼈⼯智能⽅法不错结合神经⽹络、概率推理和璀璨⼈⼯智能的优点；也等于说，学习的能⼒，在散播式硬件上可 执⾏的能⼒，以及具有基于端正的推理能⼒来详尽和推断先验学问的能⼒。咱们折服该⽅法还可能有助于深⼊了解⼤脑中⾼度散播 的表征，举例内嗅⽪层和海⻢体。
本文其余部分的组织如下。第2节追想了经典的VSA模子，并述说了功能分析的收尾，这些收尾对本文至关首要。在第3节中，咱们用内积核从头表述璀璨VSA，并将这些核扩充以形容通过局部保握编码（LPE）映射到向量的实值数据的相似性。在一定条件下，得到的向量空间模子阐述出透明性，并变成VFA，即向量代表界说函数空间中的函数，VSA向量运算在函数空间中践诺特定运算。第4节形容了使用称为分数幂编码或分数绑定（Plate，1992，1994b）的现存LPE按序构建VFA。咱们将分数幂编码扩充以产生具有相量值、实值和疏淡示意的VFAs，以及不错高效地在硬件中已毕的代数运算。在第5节中，咱们分析了VFA中可能的核神志。值得注意的是，通过在FPE中非均匀采样基向量，不错粗略构建具有各式不同应用的VFA的核。在第6节中，咱们形容了如安在VFA中解码和去噪给定的向量。解码提供了VFA诡计的透明性。去噪，近似于VSA，对于驻扎来自模拟诡计机的误差积聚至关首要。在第7节中，咱们展示了VFAs的应用。终末，第8节的斟酌总结了咱们的收尾，并解释了对技能应用和神经科学的影响，以及与先前文件的关系。
2 布景
2.1 璀璨VSA模子
如安在高维向量空间中示意和处理信息的问题不仅在默契神经科学（Gayler，2003；Günther等东谈主，2019）有着悠久的传统，而且在谈话处理（Van Rijsbergen，2004；Widdows，2004）中亦然如斯。这里，咱们的起点是用于璀璨默契推理的向量模子，称为向量璀璨体系结构（VSA）或超维诡计（Plate，1995；Kanerva，1997；Gayler，1998a；Rachkovskij，2001）。
VSA是具有向量示意的璀璨推理模子，具有两个区别属性。第一个是璀璨由有时的n维向量示意。在经典的VSA模子中，璀璨由其重量从指定散播中独处同散播抽取的向量编码。这种编码政策确保了不同璀璨的示意是精好意思分离的，其中璀璨的相似性每每通过向量之间的内积来斟酌，或者内积的浅显函数，如余弦相似性。在这里，咱们每每使用带有模子依赖的归一化因子的内积来示意相似性。为了书写便捷，以下将不祥归一化因子。在VSA中，通过将向量与存储在码本中的璀璨示意向量进行比较来解码向量。解码和基于驰念的去噪是VSA诡计经过中的一个首要按序，因为它驻扎了模拟诡计中无益的误差积聚（Marsocci，1956）。
不同的VSA模子使用不同类型的有时向量。举例，二进制散斑码使用二进制向量（Kanerva，1997），全息缩减示意使用实值向量（Plate，1995），频率域全息缩减示意使用复值向量（Plate，1995）。大多数VSA模子不支握疏淡示意（但请参见Rachkovskij（2001）），在能量糟践和突触驰念使用方面，疏淡示意具有上风。最近，有东谈主提议了使器具有块结构的疏淡向量的VSA模子（Laiho等东谈主，2015；Frady等东谈主，2021），这与模块化复合示意VSA模子（Snaider和Franklin，2014）关联。
VSA的第二个基本属性是，通盘诡计都不错通过少许的基本向量运算来组合，这些运算连同向量示意空间沿途变成一个代数环结构。VSA至少具有两个基本的二元运算，它们将两个（或两个以上，通过连气儿践诺）向量映射到一个新的向量。系结操作：
每每用于示意璀璨结合（Kleyko等东谈主，2020c），并浅显地是相应璀璨向量的重量和（重迭）。不错通过在结合示意和单个璀璨示意之间变成内积来读取由s示意的结合的元素。凭据向量维度，不错通过高内积精准检测结合的元素；对于这种“读出”的表面分析，请参见Frady等东谈主（2018c）；Thomas等东谈主（2020）；Kleyko等东谈主（2020d）。
相背，绑定操作：
每每用来示意两个向量之间的关联，如键值对（Kanerva， 2009）。绑定的一个首要属性是存在逆操作，即解绑，它从由（2）变成的复合数据结构z中索取出其一个因素：
这里的示意 x 在绑定方面的逆。存在一些天然组合的有时向量类型和特定的绑定操作，即那些绑定操作保握向量类型的组合。举例，对于双极（Kanerva， 2009）或相位向量（Frady et al.， 2018c），哈达玛德积保握了向量类型，而对于二进制向量（Kanerva， 1997）则是逐位 XOR 操作。对于实数或复数值的有时向量（Plate， 1995），圆周卷积保握了向量类型，对于块疏淡向量，则块局部圆周卷积（Frady et al.， 2021）作念到了这一丝。二元向量操作和璀璨示意的结合使得 VSA（向量空间代数）模子大要示意和查询一系列令东谈主印象深远的数据结构（见 Kleyko et al. (2021) 的概述），举例键值对（Kanerva， 2009）、结合（Kleyko et al.， 2020c）、直方图（Joshi et al.， 2016b）、序列（Hannagan et al.， 2011）、树（Rachkovskij 和 Kussul， 2001; Frady et al.， 2020）、栈（Yerxa et al.， 2018）、景色自动机（Osipov et al.， 2017）等。VSA 仍是通过将璀璨和代数特质与局部性保握编码（LPE）按序相结合来膨大处理实数值数据，这些按序在应用中表示出了远景（Plate， 1992; Weiss et al.， 2016; Rahimi et al.， 2017; Frady et al.， 2018b; Komer et al.， 2019），但之前短缺表面基础。为了提供坚实的表面基础，咱们基于函数分析的基本收尾，这些收尾不才一节中形容。2.2 将VSA膨大到实数值数据的泛函分析收尾为了处理连气儿流形上的数据，VSA仍是与局部性保握编码（LPE）按序相结合（Plate， 1992; Weiss et al.， 2016）。在第3.1节中，咱们将展示璀璨VSA中的编码怎样以内积相似性核的时势表述。在第3.2节中，咱们扩充了璀璨VSA的内积相似性核来形容LPE。在本文中，咱们将要点关爱核局部性保握编码（KLPE），即具有平移不变性、正定性、平滑衰减相似性核的LPE（见第3.2节中的界说）。将KLPE和VSA相结合，产生了一个咱们称之为向量函数架构（VFA）的诡计框架，在其中不仅璀璨，而且实数值数据和函数不错以透明的样式被示意和操作。底下的泛函分析的界说和收尾对于不息VFA中所代表的对象至关首要。界说：如若对于苟且有限点集{x1， x2， ...， xm}，文法矩阵K(xi， xj)是正定的（即，通盘特征值都曲直负的），则核K(x1， x2)是正定的。定理：通盘内积核都是正定的（Schöolkopf et al.， 2002; Hofmann et al.， 2008）。咱们的第一个中心收尾，定理1，VFA中示意和操作的数学解释，将应用Nachman Aronszajn（1907-1980）的以下定理。定理（Aronszajn， 1950）：每个正定核界说了一个再生核希尔伯特空间（RKHS）。
以下有名的Salomon Bochner（1899-1982）定理将被用来分析VFAs并设计具有所需相似性核神志的模子。
讲明：对于这个定理的表述和讲明，请参见Rudin（1962年）。核按序率先由Aizerman等东谈主（1964年）在非线性模式识别中使用，并在1990年代成为机器学习的一个基石。对于核按序的泛函分析以过甚在机器学习中应用的优秀教科书，见Schöolkopf等东谈主（2002年）。
3 向量函数架构（VFA）在这一部分，咱们界说并形容了VSA的一种详尽，用于诡计函数，它与第2.1节中形容的原始璀璨VSA分享其透明度。咱们对VSA的详尽从从头制定璀璨VSA启动，以底下末节中形容的内积相似性核的时势表述。3.1 璀璨VSA的核
在VSA诡计中，这些误差的改良以过甚他泉源的噪声是一个首要部分——它驻扎了不可限度的误差累积，这是模拟诡计机的一个主要问题（Marsocci， 1956）。在VSA中进行误差改良时，出当今输入中或在代数推理经过中的向量与分拨给璀璨的基础向量进行比较。在璀璨VSA中，每每通过内容寻址存储器完成检测和去噪（Plate， 1995; Gritsenko et al.， 2017）。检测经过的正确性取决于噪声量，何况不错通过信号检测表面来展望（Frady et al.， 2018c）。
3.2 保握局部性的核编码典型的VSA示意使用独处有时向量仅通过内积编码二元信息，即“雷同”与“不同”，对于编码对象之间关系的。要在对象之间编码品级相似性信息，需要一种专门的局部性保握编码（LPE）按序。LPE为流形上的点产生向量示意，以便向量的内积反应了点之间的关系。这允许数据在数据流形的凹凸文中被抒发和操作。
其中，核函数K(d)是实值的，在d = 0处达到最大值，并迟缓在|d|较大时达到零。在相等广博的条件下，（8）中的经管是快速的：
3.3 VFA 的界说和属性
基于第2.2节中提到的Aronszajn定理（1950年），咱们不错爽直地界说VSA和KLPE的结合并形容其属性。咱们从以下界说启动：
界说2：KLPE与VSA绑定操作 ∘ ∘ 兼容，如若编码变量的两个值的加法不错通过绑定值的个别示意来示意：
函数的逐点加法（14）泉源于内积核的线性。
函数平移（15）泉源于RKHS的性质，见VFA界说，以及KLPE与绑定（10）的兼容性。
函数卷积（16）不错诡计为：
4 VFA与分数幂编码（FPE）前一节界说并形容了VFA的一般情况。VFA的先决条件是与VSA绑定操作兼容的KLPE。咱们当今关爱一种特定的LPE，分数幂编码（FPE），它基于绑定操作，并在早期的VSA文件中仍是先容过（Plate，1994a）。咱们形容了FPE的不同时势，展示了它们是与绑定兼容的KLPE。这些发现标明，将VSA与FPE结合的早期模子如实适应VFA的规范 - 尽管它们示意和操作函数的才智并莫得被明确地应用。4.1 Plate分数幂向量的详尽FPE是分数幂向量（Plate，1992， 1994a）的详尽，这是一种基于圆周卷积绑定的拓扑空间编码的LPE按序。这里咱们将倡导详尽到其他VSA绑定操作。FPE从自绑定启动，即绑定一个基向量，一个有时向量 \( z \sim p(z) \)，自乘 i 次，这为整数界说了一个编码政策：
4.2 现存的绑定操作导致不同类型的VFA
FPE 重要依赖于 VSA 绑定操作，图 1 所示向量集的属性取决于单个绑定操作。接下来，咱们基于先前提议的绑定操作（哈达玛积、轮回卷积或局部块轮回卷积）界说并分析 FPE 的属性。对于相应的 VFA，这些界说产生了用于诡计定理 1 中的函数操作以及图 1 所示结合的具体公式。
4.2.1 基于Hadamard乘积的VFA
两个向量之间的Hadamard乘积是向量重量相乘得到的向量：
这种关系将不才文顶用于细目哈达玛 FPE 的核神志。哈达玛 FPE 需要一个复杂的景色空间。一个常用的 VSA 框架 (Gayler， 1998b; Kanerva， 2009) 使器具有哈达玛积绑定的实值重量，其中保握范数的向量是双极性向量。关联词，不行基于哈达玛积界说变成实值向量的 FPE。起始，r 的通盘偶数和奇数次方都映射到雷同的示意向量。其次，r 的非整数值会产生复数向量。请注意，双极性向量是具有特定采样散播的复数向量的特例；咱们将回到斟酌不同散播怎样影响 VFA 的属性。4.2.2 具有轮回卷积的 VFA轮回卷积是破碎有限傅里叶变换 F 中使用的规范卷积操作，它不错用于从两个输入向量 x 和 y 生成一个向量：
对于傅里叶域中具有相位角的苟且相位向量。如若傅里叶空间中的相位向量是从平坦的相位散播（27）中采样的，傅里叶逆变换将产生复数值的向量重量，其中实部和虚部看起来像高斯有时变量散播。关联词，按照 Plate（1991）率先形容的，通过从高斯散播中独当场采样每个重量来产生基向量，并不是一个好政策，因为这些向量不太可能是完全酉性的。酉向量的一个显耀子集是 one-hot 相位向量，它们是酉性的，因为它们的傅里叶变换是密集的相位向量：其中， 是破碎傅里叶矩阵的第 l 列。因此，当傅里叶向量是破碎傅里叶矩阵的列（具有恒定相位偏移）时，相应的基向量是单热的。此外，每每但愿轮回卷积中使用的基向量是纯实值的。这需要傅里叶域中采样的有时向量具有厄米对称性，即负频率的相量条款必须是相应正频率相量条主张共轭复数 (Komer et al.， 2019)。4.2.3 具有块局部轮回卷积的 VFA迄今为止形容的 VFA 的 FPE 基向量在具有哈达玛积绑定的模子中是完全宽绰的相量，或在具有轮回卷积绑定的模子中不错是最大疏淡的，即单热相量。不错在中间构建 VFA，其中 FPE 基相量向量具有期望的疏淡度级别 k < n。在这种结构中，基向量是疏淡块向量，具有 k 个大小相等的隔间，每个隔间是一个单热相量。以前，使用这种疏淡块向量的 VSA 被提议，使用所谓的块局部轮回卷积 (LCC) 当作绑定操作 (Frady et al.， 2021)：
5 FPE的核咱们在第4节中看到，VSA和FPE的结合换取了一个VFA。尽管这种模子之前仍是被形容过，但它们在示意某些类别的函数和显式操作它们方面的才智并莫得被充分应用。在本节中，咱们分析了在这种VFA模子中不错已毕的核属性。5.1 具有均匀采样基向量的FPE具有通用核时势上，FPE对于绑定操作的不同已毕看起来绝顶不同。凭据已毕情况，它也需要不同的基向量。尽管如斯，FPE具有一个通用的相似性核，如下定理所述。定理2：假定有一个FPE，其基向量是均匀采样的，这是采样VSA向量的典型经过。对于Hadamard FPE，这意味着基向量的相位是从均匀相位散播中采样的，而对于CC FPE和LCC FPE，这意味着基向量在傅里叶域中对应于具有均匀相位散播样本的有时相位向量。然后FPE换取了一个VFA，它是带限连气儿函数的RKHS，与绑定操作的底层已毕无关。具体来说，FPE的核是sinc函数，它界说了带限连气儿函数的RKHS。
5.2 FPEs中塑造核 5.2.1 相位散播决定核神志
左上角面板描绘了具有均匀散播和 sinc 函数核的 FPE。其他面板表示，不错得到绝顶接近举例高斯（第二行左侧面板）、拉普拉斯（第二行右侧面板）或三角形（第三行左侧面板）核的相似性核。践诺上，核的神志可甚而极复杂，举例右下角面板中的核，其中相位的散播是使用截断的 sinc 函数王人备值界说的。此外，期望核与其 FPE 近似之间的 RMSE 随 n 指数衰减。5.2.2 周期性核凭据 Bochner 定理，不错明晰地看出，周期性核将对应于破碎傅里叶变换。每每，核的周期性由每个绑定操作的单元向量根的破碎采样决定。在哈达玛绑定的情况下，周期性核是由基向量中的相量基向量产生的，其中每个重量是从破碎化的相位散播中独处采样的。举例，周期性为 l 的核是由其各个相位均匀采样自 l 个相位值的基向量产生的，zi ∼ U{ei2πj/l， ∀j ∈ {1， ...， l}}。圆形流形上的数据不错通过相位值等于 1 的 l 次方根的基向量进行编码（参见图 4 示例）。通过在傅里叶域中采样破碎相位，这些属性膨大到轮回卷积绑定。当热相量元素也破碎采样时，LCC 代码会产生轮回。轮回步履更复杂地取决于人人因数的乘积，具体取决于块大小和相位破碎化。举例，如若块代码是纯二进制的（通盘相位为 0），则轮回周期将是块大小。
5.3 通过绑定变成的多维FPEFPE不错膨大到编码多维数据空间：一种用于多维 FPE 的浅显按序是将一维 FPE 进行笛卡尔组合，这一按序以前曾被提议（Weiss et al.， 2016；Frady et al.， 2018a）。笛卡尔结构波及使用绑定操作对各个 FPE 进行正交化：
函数空间中的操作与一维VFA雷同。在大VSA维度的极限情况下，由多个具有sinc函数核的一维FPE变成的FPE的内积经管于多维笛卡尔sinc函数：其二维傅里叶变换是一个方形。在图 5 中，通过绑定 (42) 组合的 FPE 与补充材料 A 中 Smolensky 张量积 (70) 组合的 FPE 进行了比较。由于哈达玛绑定不错被视为张量积的有损压缩 (Frady et al.， 2021)，因此哈达玛积按序经管稍慢也就不及为奇了。关联词，当在雷同维度的示意上比较这些按序时，哈达玛积按序经管得稍快一些（在 sinc 带宽内），见图 5D。请注意，对于有限的 VFA 维度，功率的最大偏差发生在 sinc 核的带宽内，因此高频失真和混叠效应相对较小。
对于相对于哈达玛绑定的笛卡尔多维 FPE 的具体公式，见补充材料的第 A 节。5.4 塑造多维FPE的核多维核不错通过塑造组成它们的一维核来塑造，如第5.2节所述。进一步地，不错通过从结伴相位散播中采样不同维度的FPE的基向量来产生非笛卡尔核，该结伴相位散播不解析。5.4.1 具有非笛卡尔结构的核就像第5.2节中一维FPE的情况一样，Bochner定理不错用来塑造多维核。举例，不错产生具有非笛卡尔sinc核的FPE。Sinc核不错被详尽为Brillouin区特征函数的傅里叶变换，在倒空间中是布拉维格子的一个原胞（Ye和Entezari，2011）。举例，六角形sinc核（见图6），不错从三个2-D笛卡尔sinc核组成：
5.4.2 具有周期结构的非笛卡尔核具有周期结构的核在工程和神经生物学导航系统中饰演着首要变装。举例，在神经科学中，网格细胞是在海马体隔邻皮层纪录中广博不雅察到的满足（Hafting等东谈主，2005），当动物探索环境时，这些神经元以端正的空间阻隔放射，变成六角形晶格。在VFA中构建六角形晶格，不错应用晶体学的倡导。晶体的分子不错通过布拉维格子来形容，由一组基向量乘以整数构建的期望网格。布拉维格子的傅里叶变换被称为倒格子，典型布拉维格子的倒格子是带限和破碎的。因此，咱们不错再次使用Bochner定理以及频率与相位的从头标记来构建具有期望网格细胞样模式的LPE。践诺上，六角形晶格（图7，左上）仅仅二维布拉维格子的一种类型。通过礼聘沿其倒格子的相位，不错构建其他布拉维格子；示例见图7的前两行。
请注意，端正晶格仅仅破碎带限函数的一个子集，图7的后两行展示了其他可能性。
咱们的按序与Komer (2020)提议的生成周期性核的按序相似，但并不完全雷同。他们生成近似网格细胞核的按序是基于对基向量进行破碎相位采样，这些基向量用在公式（72）中。这种按序的一个例子在图8中展示，由于其傅里叶变换亦然带限和破碎的，它的晶格看起来与咱们在图7中展示的六角形晶格绝顶相似。关联词，存在一些阴私的各别。举例，使用Komer (2020)的按序会在核的交叉截面的峰值之间产生局部最大值，而咱们礼聘结伴相位的方律例不会产生这些额外的局部最大值。
6 VFA中的检测、解码和去噪
VFA中的解码问题并不是一个新问题。在神经科学中，线吸媒介网络被提议当作模子，用于证实神经回路怎样解码、去噪和示意实数值输入。原则上，咱们不错在VFA中使用线吸媒介。这将需要一个电路，大要踏实并去噪给定基向量FPE的通盘这个词旅途。关联词，如安在线吸媒介采麇集存储特定FPE的旅途尚不明晰。一个浅显的处治决议可能是将旅途细分得实足精良，并将得到的点存储在Hebbian逸想驰念中。但这可能会失败，因为实足精良的旅途细分可能会产生一组模式，这些模式太大，其成员之间的商量性太强，无法收效存储在Hebbian逸想驰念电路中（Lewenstein和Tarkowski，1992）。
因此，这里咱们提议了一个两步经过，用于包括粗匹配和精匹配按序的检测和诞妄改良。对于粗匹配，咱们在内容寻址存储器中存储旅途上的锚点，见图9线上的点。变成旅途的粗锚点，基向量以略小于2的阻隔进行指数化，举例，。
这种旅途的破碎化礼聘是为了使得旅途上任何点的示意，其最近的锚点与其他锚点比较具有更高的内积。粗匹配按序不错在相位逸想驰念中完成，其中通盘锚点都使用规范外积学习端正进行存储（Frady和Sommer，2019）。
一朝粗匹配按序复返最近的锚点，第二个机制就精准地解码模拟值。这个机制波及用于编码输入向量的FPE，以及一个电路，变成值s的示意和未知向量x之间的内积。
7 VFA应用示例到面前为止，咱们仍是展示了FPE在VFA中换取了示意带限函数的向量。这里咱们形容了这种类型的VFA在图像处理（第7.1节）、密度忖度（第7.2.1节）和非线性转头（第7.2.2节）方面的具体应用。
7.1 图像数据处理
咱们起始形容怎样通过高维向量示意和操作图像数据，这是一个展示重要VFA属性的示例。骨子上，咱们将字母的浅显图像视为图像域上的函数。为了浅显起见，这个演示使用Hadamard VFA。图像平面中的位置通过二维FPE编码，基向量为x和y。为了幸免平片时图像部分移出图像界限导致图像功率镌汰，咱们但愿函数空间具有环面结构，使图像界限无缝结合。为了已毕这一丝，咱们通过礼聘如第5.4.2节中形容的破碎相位散播中的基向量，来塑造一个周期性核。对于56x56像素大小的图像，x的相位从相位圆周上的56个破碎点中礼聘，y亦然如斯。
字母图像是VFA函数空间中的一个元素，函数（11）的核伸开中的每个项分袂通过整个和维持点编码像素的强度和位置，见图11的左图。多个字母不错通过添加各自的图像向量组合成场景（图11的中间图）。字母不错通过将每个图像向量与位置的分数幂编码绑定来抛弃在场景中。然后，不错通过第6节中形容的幼稚搜索对场景向量进行解码：
通盘这个词场景不错通过再次将场景向量与FPE平移向量绑定来挪动。由于函数空间的环面结构，字母会在图像周围包裹。
7.2 VFA在非参数核按序中的模子 7.2.1 密度忖度
VFA在密度忖度中的应用不错模仿早期在密度忖度中使用sinc核的职责（Davis， 1975; Davis et al.， 1977; Devroye， 1992; Glad et al.， 2003; Agarwal et al.， 2017）。
按序
其中 1 是 k 维全一向量，K 是 k 个数据点的示意向量的文法矩阵。这个优化问题波及到在 2^k 个局部最大值（每个象限一个）之间的穷尽搜索。为了幸免这种精真金不怕火的搜索，Agarwal 等东谈主（2017）提议了三种近似处治决议算法。不才面的实验中，咱们使用了 BLMLTrivial 算法。如若 p(x) 如实是带限的何况严格为正，则这个算法会渐近地经管到信得过的 BLML 忖度器。
实证评估
咱们使用 Agarwal 等东谈主（2017）的一个替代概率密度函数（pdf）的例子：
图12展示了跟着向量维度增多，VFA忖度质地的提升。
天然向量维度 n = 32 大要对举座弧线神志提供合理的忖度，但会高估尾部，对于向量维度 n = 512，即使在尾部，忖度值也接近果真情况。
因此，VFA的维度影响忖度质地。这一不雅察收尾使得进行了下一个实验，在该实验中，样本数目 k 和维度 n 被共同变化。
注意，在图12的右图中，BLMLTrivial算法的数值已毕的MISE（粗实线）跟着样本数目的增多而踏实下落。这种下落反应了跟着数据截止迟缓拆除，精度的提升。VFA模子的MISE弧线随从这条弧线，但在某个点上偏离实线并趋于牢固。在实践中，这具有以下后果。
在无穷数据的情况下，即对于广博的样本，VFA模子的精度跟着其维度的增多而稳步提升。这种随维度提升的精度在经典VSAs中也已被不雅察到，并被称为“维度的恩赐”（Gorban和Tyukin，2018）。
在数据有限的情况下，即对于少许的固定不雅测点，情况就大不雷同了。在这种情况下，具有实足大的固定维度的VFA仍是达到了数值变体的雷同性能。在这一丝之后增多维度不会进一步提升性能。因此，在数据有限的情况下，不错将VFA的维度截止在某个固定值，而不会挫伤性能。
7.2.2 非线性转头
为了演示使用VFA的非参数非线性转头，咱们不错模仿一些对于使用sinc核进行转头的先前文件（Bissantz和Holzmann，2007；Exterkate，2011；Bousselmi等东谈主，2020）。
实证评估
为了展示基于FPE的非参数非线性转头按序过甚数值对应按序，咱们使用了与Bousselmi等东谈主（2020）中雷同的合成数据（参见其中的例子1）：
撤职Bousselmi等东谈主（2020）的设立，教养投影按序的c值设定为20，而对于Tikhonov正则化按序，参数为：c = 30，λ = 0.01。
这个实验展示了两种正则化按序的VFA已毕都大要对指标函数（图13的左图）提供合理的忖度。与教养投影VFA比较，Tikhonov VFA已毕了更低的均方根误差（RMSE）。关联词，这种转换所以增多诡计资本为代价的，因为Tikhonov VFA需要处治（55）。
对于性能随可用数据点数目和VFA维度的膨大，咱们不雅察到了与密度忖度相似的趋势。误差跟着k和n的增多而减少，对于固定的k，存在一个最小的维度不错达到最好性能。道理的是，对于最好性能所需的VFA大小，Tikhonov VFA昭彰小于教养投影VFA。
8.4商量著述
金瓶梅在线播放天然咱们折服咱们是第一个雅致界说VFA模子并形容它们示意和操作函数的才智的东谈主，但是还有商量的前期职责。
8.4.1分数功率编码Fractional Power Encoding (FPE）在VSA的早期应用
早期将VSA和FPE合并的提议仍是指出了好多道理的应用。举例，Plate (1992)提议了基于轮回卷积绑定的分数幂向量，当作在递归神经采麇集示意破碎序列的机制。扩充分数功率向量，在VSA中提议了基于圆卷积的FPE，用于示意2-D空间中的连气儿轨迹(Plate (1994a)中的5.6节)。在以下应用的布景下，VSA和轮回卷积FPE4的组合在好多最近的论文中被从头斟酌:
•对二维图像的推理:Weiss等东谈主(2016年)使用这种模子来举座示意二维图像，从而提供了查询图像的可能性，即回复关系查询，如“哪个数字在2的底下和1的左边？”在包含MNIST数字数组的图像中。Frady等东谈主(2018年b)也形容了近似的图像推理模子；陆等(2019)。咱们在该应用领域中的示例演示了怎样退换VFA的核神志以最好地适合该应用，即，变成用于提供环形界限条件的周期核，参见第7.1节。
•在二维环境中导航:Weiss等东谈主(2016)展示了FPE在处治导航问题中的应用，Komer和Eliasmith (2020)进一步阐发了这一应用。
•神经形态诡计模子:有一些在神经形态诡计中使用这种模子的初步尝试。在Frady等东谈主(2018a)的研究中，Hadamard FPE被用于海马体模子，该模子将脉冲神经采麇集的诡计和基于节奏的时序模式商量起来，而Dumont和Eliasmith (2020)提议了一种通过脉冲神经元的速度已毕FPE向量的按序。
动态系统的展望:Voelker等东谈主(2021年)建议使用该模子来模拟和展望动态系统的步履。
4在Komer等东谈主(2019)中浆果儿 女同，结合这些元素的模子被称为“空间语义指针”，膨大了销毁研究小组将VSA示意称为“语义指针”的惯例(Blouw等东谈主，2016)。
