论文 | 一项关于车载网络资源配置的调查2

导读

近些年，车载网络提供越来越多的服务，在道路安全、交通效率等方面起到重要作用。为更好地提供更加精准、有效的服务，车载网络中的资源配置成为广受关注的话题。

本篇文章是车载网络资源配置的调查文章，首先带我们一起了解了三种不同类型的车载网络，并介绍了每种车载网络的资源配置。然后介绍了基于机器学习的资源配置方法，接下来又总结了未来的有前瞻性的研究方向，最后是本文的结论。

本次是第二次分享，没有看过第一次分享的，可以看如下内容：

论文 | 一项关于车载网络资源配置的调查1

本次分享为基于机器学习的资源分配算法和未来研究的方向概述。这两部分介绍了当下和未来都非常有前景的方向，可以帮助我们研究人员更好地确定研究目标。

接下来让我们一起走进今天的文章吧！

1

引言

1、背景介绍

前面我们分享了前五节的内容，其中，第一节是总述，讲解了论文探讨的背景，然后介绍了该背景下存在的一些问题与挑战，最后是本文的工作介绍，基于前面的问题，在本文做了相关的调查和总结。为了更加方便大家阅读，我做了思维导图：

第二节中是对基于DSRC、C-V2X和异构版本的车辆网络进行了高层面概述。

关于这三种类型的车辆网络的资源配置的详细文献调查分别在第三-第五节中介绍：

前面的内容是今天内容的基础。接下来我们一起来学习后面的内容：

6

基于机器学习的车载通信的RA

在车辆网络中，虽然预计车辆将采用各种设施，如先进的车载传感器，包括雷达和摄像机，甚至高性能计算和存储设施，但将产生、处理和传输大量的数据。机器学习(ML)被认为是一种有效的工具，可以分析如此巨大的数据量，并做出更多的 数据驱动决策 ，以提高车辆网络性能[116]。关于机器学习的详细信息，请参考[117-119]。

对于资源分配，传统的方法是制定一个 优化问题 ，然后根据目标性能和复杂性之间的 权衡 ，获得一个最优或次优的解决方案。然而，在信道质量和网络拓扑可以连续变化的车辆网络中，每当发生微小变化时，就可能需要重新运行传统的优化方法，从而产生巨大的开销[120]。虽然ML方法可以替代普遍的优化方法，但ML在车辆网络中的应用研究仍处于早期阶段[116]。在现有文献[109-115]中，机器学习已经应用于V2V和V2I通信的资源(如信道和功率)分配、用户关联、切换管理和虚拟 资源管理 ，同时考虑了车辆网络的 动态特性 。

[109]提出了一种 基于深度强化学习(RL) [119] 的分布式信道和功率分配算法 ，用于蜂窝V2V通信。在预先为V2I链路分配正交资源的假设下， 研究的重点是在V2V链路时延约束下对V2V链路进行资源分配，尽量减少干扰对V2I链路的影响 。V2V链接的强化学习结构如图12所示。虽然智能体与每个V2V链接相对应，但它与包括V2V链接之外的各种组件的环境进行交互。描述环境的状态被定义为一组的瞬时信道信息V2V链接和V2I链接，剩下的包括大量的交通， 满足延迟约束的剩余时间 和上一个时间段的邻居的干扰水平和选择渠道。在时刻 t，每个V2V链路作为一个智能体，观察一个状态

，并根据其策略p采取一个动作 ，其中 是所有状态的集合， 是所有可用动作的集合。一个动作是指子频带和传输功率的选择。执行该操作后，智能体收到由V2I链路容量和V2V延迟计算的奖励 。通过深度学习确定最优决策策略 。

训练数据由环境模拟器生成并存储。一开始，在训练阶段，利用生成的数据逐步完善各个V2V链路的频谱和功率选择策略。然后在测试阶段，根据经过训练的数据改进的策略选择V2V链路中的动作。这项工作在[110]中进行了扩展，包括一个广播场景。在[110]中，每辆车都被建模为一个智能体，在定义状态时，还考虑了车辆接收到消息的次数和与已广播的车辆之间的距离。然后，每个车辆通过学习机制改进消息广播和子信道选择策略。

在[111]中，研究了一种基于竞争的MAC协议，该协议使用IEEE 802.11p标准用于DSRC的V2V广播传输。在车辆少于50辆的情况下，IEEE 802.11p比LTE具有 更低的延迟和更高的数据包发送率 。然而，随着车辆密度越来越高，标准变得不能适应增加的交通。在文献[111]中，为了 克服与车辆密度相关的可扩展性问题 ，提出了一种 基于ML的方法来寻找最优竞争窗口 ，从而 在严格的可靠性要求下实现高效的数据包交换 。作为一个独立的学习智能体，每个车辆 使用学习来决定竞争窗口 的 大小 。每次数据包传输的 结果 ，无论是成功还是失败，都 会反馈并用于决定窗口大小 。与[109]相似， 两阶段RL 被认为从第一次传输开始就能获得即时的性能优势。一开始，利用模拟器生成的数据来改进策略。在测试阶段， 根据训练前的策略选择动作，同时不断完善策略 。文献[111]的作者通过仿真评估了他们提出的基于ML的方法的性能。通过图13所示的仿真结果可以看出，本文提出的基于ML的方法实现了更可靠的数据包传递和更高的系统吞吐量性能。在仿真中，假设在600m×500m范围内的所有车辆连续发送周期为100ms的广播数据包。当报文以最高优先级传输时，网络密度会发生变化。在图13a中，对于给定的包大小256字节，可以看出，本文提出的方法通过调整争用窗口的大小，减少了数据包之间的冲突，在密集的网络中获得了更好的数据包交付比(PDR)性能。在一个稀疏的网络(20辆车)中，虽然最小的窗口大小是最优的，但学习协议探索更大的窗口大小会导致包碰撞的增加。然而，在密集的网络中，所提出的方法优于IEEE 802.11p标准。在一个由80辆车组成的网络中，PDR性能提高了37.5%。在图13b中，本文算法在60辆车的网络中评估了不同数据包大小的性能。虽然提出的方法实现了更可靠的包交付，但它在512字节的包大小时提高了72.63%的吞吐量。

在[112]中，ML方法被用于 开发异构车辆网络负载均衡的用户关联算法 。考虑车网数据流在时空维度上的特征，提出了一种 两步关联算法 。 最初的关联决策 是通过 单步强化学习 方法做出的[118]。随后，一个基站(即宏单元、微单元和飞秒单元)使用历史关联模式进行关联决策。此外，基站作为学习的智能体，不断积 累反馈信息，并自适应地更新关联结果 。虽然算法以分布式方式运行，但从长远来看，实时反馈和规则的流量关联模式都有助于算法处理网络变化。

在[113]中，采用 模糊Q-学习方法 [118]设计了一种 垂直切换策略 ，用于由V2I模式补充的覆盖全球的蜂窝网络组成的异构车辆网络。从OBU一侧，各种信息，包括平均接收信号强度(RSS)水平，车辆速度和数据类型发送到RSU一侧。然后，RSU侧考虑发送的信息和业务负荷(即目标网络关联用户数)，采用模糊Q-学习方法进行 切换决策 。仿真结果表明，该算法具有 实时学习能力 ，能够在不了解切换行为的前提下确定网络的连通性，保证 无缝移动管理 。在[114]、[115]中，利用机器学习方法设计了车辆网络中的 虚拟资源分配 。垂直云[121]由各种OBUs、RSU和远程云服务器组成，可以提供一个 处理、传感、存储和通信资源池 ，可以动态地为车辆服务提供资源。[114]强调了车辆云中资源分配的重要性。设计不良的资源分配机制可能导致QoS违背或资源利用率不足，而 动态资源配置技术 是满足动态变化的QoS需求的关键。在此背景下，我们提出了一种 增强学习框架 来提供资源，以满足具有严格QoS要求的资源的动态需求。在文献[115]中，提出了一种 两阶段延迟最优动态虚拟化无线电调度方案 。在时间尺度上，该算法分为两个阶段：大时间尺度变量(流量密度)的宏观分配和短时间尺度变量(通道状态和队列状态)的微观分配。动态延迟优化问题被表述为 部分可观察马尔可夫决策过程 (POMDP)[117]，然后通过 在线分布式学习 方法求解。

表V总结了文献中基于ML的算法的特点。由于通信开销的增加和分析大量数据的计算复杂度会显著降低车辆网络的性能，上述著作考虑了一种 分布式学习方法 。选择不同的实体作为自治代理来管理它们的问题：[109]中的V2V链路[110]、[111]中的车辆、[112]中的BS、[113]中的RSU和[115]中的资源控制器。在[114]中，虽然它关注的是基于学习的动态资源供应的好处，但也考虑了一个学习框架。

在机器学习中，数据的类型(即标记或未标记)可以是决定使用学习技术的关键因素， 高质量的数据 是影响学习性能的重要因素。然而， 车辆网络可用的真实数据集的稀缺 被指出是机器学习应用的最大挑战之一[122]。不同于需要提前获得数据集的学习方法(即，有监督的，无监督的学习)，RL方法可以在不需要预先了解环境的情况下被利用。在上述研究中，RL方法在没有任何先验数据集的情况下被利用，结果表明， 在线RL方法 可以通过来自车辆动态环境的迭代反馈收敛到一个解决方案。

7

未来研究方向

在本节中，我们提出了一些有吸引力的方向，为未来的研究资源分配的车辆网络。

1、 NR-V2X和IEEE 802.11bd的RA

NR- V2X作为LTE-V2X的改进版本而出现，而IEEE 802.11bd标准最近作为IEEE 802.11p标准的升级版本而出现，以缩小DSRC和C-V2X之间的差距[123]。这两项升级后的技术预计将 支持毫米波通信 ，这就提出了一个主要的挑战，即有效利用传统波段和新的毫米波波段。因此， 需要适当的动态资源调度来利用它们独特的优势 。例如，毫米波通信提供了很高的数据速率，但它主要适用于短距离通信。因此，资源分配方法应将毫米波频带内的资源分配给那些具有近距离接收器的发射机。针对超覆盖场景，NR-V2X引入了 分布式协同调度方法 ，车辆之间可以相互帮助确定最合适的传输资源，或者由车辆为相邻车辆调度旁链路传输。在第一个场景中，需要进行彻底的调查，以确定车辆需要共享的信息类型(例如，包接收确认、通道繁忙率评估等)，以改善资源分配过程，同时 确保共享过程本身不会在车辆网络中造成拥塞 。另一方面，在后一种情况下， 集群头 (为周围车辆分配资源的车辆) 的自动选择 是一个开放的问题。例如，车辆共享的哪些信息有利于簇头的提名，如何使簇头选择算法适应不同的车辆环境(如高速公路、十字路口、城市、农村等)，同时保证簇头与其他车辆的良好连接。

2、 C-V2X高效超快速切片

在IV-F节中所讨论的 NS ，是理解 C-V2X如何与其他垂直应用争夺系统资源 、 C-V2X如何在众多车辆用例中分配和优化这些资源 ，特别是 如何在高度动态和复杂的车辆环境中进行高效和超快的数控 的关键 。例如，在高迁移率信道中，用于多种数字命理学的PHY切片 需要快速处理严重的ICI和符号间干扰 。未来一个有趣的方向是通过高效地利用边缘或云中的各种计算资源来设计 智能切片算法 。该主题的最新进展可在[124-126]中找到。

3、 使用区块链技术增强安全性

V2X网络的广泛部署在很大程度上依赖于对 大规模车载消息传播和认证的安全性 的显著提高。考虑到这一点，对V2X网络中的RA提出了新的约束。例如，关键任务信息应该具有 超弹性的安全性 ，以 应对潜在的恶意攻击或干扰 ，而多媒体数据服务更喜欢 轻量级的安全性 ，因为数据量大。这两种类型的安全导致了不同的帧结构、路由/中继策略和功率/频谱分配方法。除了IV-C中介绍的方法外，研究区块链的应用也很有趣，它最近作为一种涉及 多方的安全去中心化 交易的颠覆性技术而出现。一个优秀的区块链解决方案(例如，智能合约或共识机制)不仅应该允许访问消息的真实性，而且应该保护发送方的隐私[127]，[128]。

4、 支持机器学习的资源分配

虽然在第六节中已经讨论了机器学习在车辆网络中的应用潜力，但是如何适应和利用机器学习来 适应车辆网络和服务的特殊特性 仍然是一个很有前途的研究方向。在无线网络、网络拓扑、交通流等方面，车辆网络明显不同于机器学习已经被传统地利用的场景。如何 基于历史数据有效地学习和预测这种动态 ，从而使 通信更加可靠 ，仍然是一个未解决的问题。此外， 数据的生成和存储应该跨越车辆网络的各个单元 ，如OBUs、RSU和远程云。研究是否可以利用传统的集中式ML方法 以 分布式的方式高效地工作 是很有趣的。在具有学习能力的车载网络中进行 集体智能决策 ，需要考虑 信息共享的开销和学习算法的复杂性 。

5、 环境感知资源分配

现有的车辆网络资源分配工作主要是处理频率载波或时隙等资源块的有效分配。然而，之前关于资源分配的大部分工作并没有考虑 车辆网络中的上下文感知/按需数据传输 应用。由于按需数据传输应用程序需要满足诸如所请求数据项的期限或数据项的优先级等约束，以确保 可靠的服务 ，因此有必要进行研究，以更彻底地考虑这些约束。尽管之前针对上述约束对按需数据传播场景的性能评估有很多研究[129]、[130]，但并未涉及对5G网络至关重要的资源块分配问题。

8

结论

本文研究了车载网络中的无线电资源分配方案。我们根据车辆网络的类型将这些方案分为三类，即DSRC车辆网络、蜂窝车辆网络和异构车辆网络。对于每一类，对现有的关于资源分配的文献进行了审查和总结，同时突出了审查过的计划的优点和缺点。本文还讨论了车载网络中无线资源分配的几个开放性和挑战性的未来研究方向。预计本文将提供一个快速和全面的了解目前在车辆网络无线电资源分配策略的技术水平，同时吸引和激励更多的研究人员进入这一有趣的领域。

关键词： 资源分配 机器学习