# Abstract

多接入边缘计算(MEC)是一个分布式计算框架,在网络边缘提供计算能力和数据存储,以节省带宽和减少延迟。然而,当过多的任务被卸载执行时,MEC 系统的计算能力就会不足。为了减轻 MECS 的过重负担,挖掘 WD 的未被充分利用的资源,我们研究了混合边缘计算(HEC)网络中的计算卸载和分流问题。在本文中,我们提出了一个优化问题,以最小化总时间延迟和能源消耗的平均加权和。由于计算复杂性和维度较高,我们提出了基于深度强化学习的计算卸载和分流(DCOS)算法来解决这个问题。最后,我们验证了 DCOS 算法的收敛特性并评估了其时间复杂性。与其他算法相比,仿真结果显示,DCOS 算法可以显著降低平均加权成本。

# Introduction

为了解决资源有限的移动设备 MD 和时间敏感的应用之间的矛盾,多接入边缘计算(MEC)已被提出作为一个有前途的解决方案。MEC 计算能力和数据存储都位于数据源附近。然而,当过多的任务被卸载执行时,MEC 系统的计算能力可能不足。

为了减轻 MEC 服务器(MECSs)的过重负担,减少任务执行的时间延迟,可以利用终端设备未被充分利用的资源。通过将设备对设备(D2D)通信整合到 MEC 网络中,可以充分利用 MD 上的资源。X,其中设备可以卸载任务给附近的设备进行合作计算。在本文中,我们利用有线设备(WD)的未充分利用的资源,如台式电脑、笔记本电脑和视频游戏机来减轻 MECS 的负担。

在本文中,我们研究了混合边缘计算(HEC)网络中的计算卸载和分流问题。计算分流是指将卸载的任务按一定比例分给 MECS 和 WD。通过计算分流,可以利用 WD 的未充分利用的资源来减轻 MECS 的过重负担,并减少任务执行的时间延迟和能量消耗。因此,我们提出了一个优化问题,以找到最佳决策变量,即计算分流比率,使总时间延迟和能源消耗的平均加权和最小。为了处理高计算复杂性和维度问题,我们提出了基于 DRL 的计算卸载和分流(DCOS)算法。

# SYSTEM MODEL AND PROBLEM STATEMENT

# A. Communication and Computing Model


网络中有cdc_d MDs, cec_e WDs and csc_s MECSs,通过光纤连接,MECSs 和 WDs 分别与路由器和交换机连接。MDs 可以将计算任务卸载到具有蜂窝通信功能的小基站。部署在路由器中的 DRL 代理可以控制 MECSs 和 WDs 的分流比。

Gi,j(t)G_{i,j}(t) 是在时间段Δt\Delta tMD 设备 i 的第 j 个任务。任务的特征为计算周期Ci,j(t)C_{i,j}(t) 和数据位Bi,j(t)B_{i,j}(t)。计算周期的平均值记为C(t)\overline{C}(t)。MD 任务传输到 SBS 的速率为:Ri=Bilog2(1+pihiN0Bi)R_{i}=B_{i} \log _{2}\left(1+\frac{p_{i} h_{i}}{N_{0} B_{i}}\right),则无线传输延迟为:Ti,jw(t)=Bi,j(t)RiT_{i, j}^{w}(t)=\frac{B_{i, j}(t)}{R_{i}}

任务从 SBS 传输到 MECS 和 WD 是以小数据包的形式,表示为:Pi,j(t)=[Bi,j(t)SpSo]P_{i, j}(t)=\left[\frac{B_{i, j}(t)}{S_{p}-S_{o}}\right]Pi,j(t)P_{i,j}(t) 是包的数量,SpS_p 是包的大小,SoS_o 是开销的大小。我们主要考虑数据包传输延迟dtd_t 和数据包传播延迟dpd_p。当一个数据包被放到光纤链路上时,传输时间为dt=Sp/Rod_t = S_p/R_o,其中RoR_o 是光纤链路的带宽。为简单起见,我们假设dpd_p 在每个链路中是恒定的。有线网络的传输延迟是:

Ti,jn,s(t)=Hs(dt+dp)+(Pi,j(t)1)dtTi,jn,e(t)=He(dt+dp)+(Pi,j(t)1)dt\begin{aligned} &T_{i, j}^{n, s}(t)=H_{s}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \\ &T_{i, j}^{n, e}(t)=H_{e}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \end{aligned}

其中HsH_sHeH_e 是 SBS 分别到 MECS 和 WD 的平均跳数(hot counts)。我们用三个二进制变量表示计算方式:Li,j(t)L_{i,j}(t),Si,j(t)S_{i,j}(t),Ei,j(t)E_{i,j}(t),分别表示任务本地计算、卸载到 MECS 和卸载到 WD,当值为 1 时代表执行这种方式。
当本地计算时,本地任务计算延迟为:Ti,jl(t)=Ci,j(t)fiT_{i, j}^{l}(t)=\frac{C_{i, j}(t)}{f_{i}}。其中fif_iDiD_i 的计算频度。本地计算能量消耗表示为:Ji,jl(t)=κfi2Ci,j(t)J_{i, j}^{l}(t)=\kappa f_{i}{ }^{2} C_{i, j}(t)
远程任务计算延迟为:

Ti,jo,s(t)=Ci,j(t)fsTi,jo,e(t)=Ci,j(t)fe\begin{aligned} T_{i, j}^{o, s}(t)=\frac{C_{i, j}(t)}{f_{s}} \\ T_{i, j}^{o, e}(t)=\frac{C_{i, j}(t)}{f_{e}} \end{aligned}

分母的含义同本地计算。MDs 的远程任务计算消耗即为任务的无线传输消耗:Ji,jo(t)=piBi,j(t)RiJ_{i, j}^{o}(t)=p_{i} \frac{B_{i, j}(t)}{R_{i}}

# B. Computation Offloading and Shunting Model

在 HEC 网络中,ni(t)n_i(t) 是设备DiD_i 在时间 t 产生的任务数,可以用任务到达率为λi\lambda_i 的泊松过程Xi(t)X_i(t) 来建模。我们假设λi=λ\lambda_i=\lambdaλ\lambda 为每个 MD 上任务的平均到达率。所有的泊松过程叠加,卸载的任务表现为一个总的泊松过程Xd(t)X_d(t),其到达率为:

λd=λi=1cd(1ni(t)j=1ni(t)(Si,j(t)+Ei,j(t)))\lambda_{d}=\lambda \sum_{i=1}^{c_{d}}\left(\frac{1}{n_{i}(t)} \sum_{j=1}^{n_{i}(t)}\left(S_{i, j}(t)+E_{i, j}(t)\right)\right)

随着泊松流的分流,任务被卸载到 MECSs 和 WDs。泊松过程Xs(t)X_s(t)Xe(t)X_e(t) 表示分流到 MECS 和 WD 的任务数量,到达率分别为λs=λdPs\lambda_s=\lambda_d P_sλe=λdPe\lambda_e=\lambda_d P_ePsP_sPeP_e 表示分流到 MCES 和 WD 的任务比例。