# Abstract
多接入边缘计算(MEC)是一个分布式计算框架,在网络边缘提供计算能力和数据存储,以节省带宽和减少延迟。然而,当过多的任务被卸载执行时,MEC 系统的计算能力就会不足。为了减轻 MECS 的过重负担,挖掘 WD 的未被充分利用的资源,我们研究了混合边缘计算(HEC)网络中的计算卸载和分流问题。在本文中,我们提出了一个优化问题,以最小化总时间延迟和能源消耗的平均加权和。由于计算复杂性和维度较高,我们提出了基于深度强化学习的计算卸载和分流(DCOS)算法来解决这个问题。最后,我们验证了 DCOS 算法的收敛特性并评估了其时间复杂性。与其他算法相比,仿真结果显示,DCOS 算法可以显著降低平均加权成本。
# Introduction
为了解决资源有限的移动设备 MD 和时间敏感的应用之间的矛盾,多接入边缘计算(MEC)已被提出作为一个有前途的解决方案。MEC 计算能力和数据存储都位于数据源附近。然而,当过多的任务被卸载执行时,MEC 系统的计算能力可能不足。
为了减轻 MEC 服务器(MECSs)的过重负担,减少任务执行的时间延迟,可以利用终端设备未被充分利用的资源。通过将设备对设备(D2D)通信整合到 MEC 网络中,可以充分利用 MD 上的资源。X,其中设备可以卸载任务给附近的设备进行合作计算。在本文中,我们利用有线设备(WD)的未充分利用的资源,如台式电脑、笔记本电脑和视频游戏机来减轻 MECS 的负担。
在本文中,我们研究了混合边缘计算(HEC)网络中的计算卸载和分流问题。计算分流是指将卸载的任务按一定比例分给 MECS 和 WD。通过计算分流,可以利用 WD 的未充分利用的资源来减轻 MECS 的过重负担,并减少任务执行的时间延迟和能量消耗。因此,我们提出了一个优化问题,以找到最佳决策变量,即计算分流比率,使总时间延迟和能源消耗的平均加权和最小。为了处理高计算复杂性和维度问题,我们提出了基于 DRL 的计算卸载和分流(DCOS)算法。
# SYSTEM MODEL AND PROBLEM STATEMENT
# A. Communication and Computing Model

网络中有cd MDs, ce WDs and cs MECSs,通过光纤连接,MECSs 和 WDs 分别与路由器和交换机连接。MDs 可以将计算任务卸载到具有蜂窝通信功能的小基站。部署在路由器中的 DRL 代理可以控制 MECSs 和 WDs 的分流比。
Gi,j(t) 是在时间段ΔtMD 设备 i 的第 j 个任务。任务的特征为计算周期Ci,j(t) 和数据位Bi,j(t)。计算周期的平均值记为C(t)。MD 任务传输到 SBS 的速率为:Ri=Bilog2(1+N0Bipihi),则无线传输延迟为:Ti,jw(t)=RiBi,j(t)
任务从 SBS 传输到 MECS 和 WD 是以小数据包的形式,表示为:Pi,j(t)=[Sp−SoBi,j(t)]。Pi,j(t) 是包的数量,Sp 是包的大小,So 是开销的大小。我们主要考虑数据包传输延迟dt 和数据包传播延迟dp。当一个数据包被放到光纤链路上时,传输时间为dt=Sp/Ro,其中Ro 是光纤链路的带宽。为简单起见,我们假设dp 在每个链路中是恒定的。有线网络的传输延迟是:
Ti,jn,s(t)=Hs(dt+dp)+(Pi,j(t)−1)dtTi,jn,e(t)=He(dt+dp)+(Pi,j(t)−1)dt
其中Hs 和He 是 SBS 分别到 MECS 和 WD 的平均跳数(hot counts)。我们用三个二进制变量表示计算方式:Li,j(t),Si,j(t),Ei,j(t),分别表示任务本地计算、卸载到 MECS 和卸载到 WD,当值为 1 时代表执行这种方式。
当本地计算时,本地任务计算延迟为:Ti,jl(t)=fiCi,j(t)。其中fi 是Di 的计算频度。本地计算能量消耗表示为:Ji,jl(t)=κfi2Ci,j(t)。
远程任务计算延迟为:
Ti,jo,s(t)=fsCi,j(t)Ti,jo,e(t)=feCi,j(t)
分母的含义同本地计算。MDs 的远程任务计算消耗即为任务的无线传输消耗:Ji,jo(t)=piRiBi,j(t)
# B. Computation Offloading and Shunting Model
在 HEC 网络中,ni(t) 是设备Di 在时间 t 产生的任务数,可以用任务到达率为λi 的泊松过程Xi(t) 来建模。我们假设λi=λ,λ 为每个 MD 上任务的平均到达率。所有的泊松过程叠加,卸载的任务表现为一个总的泊松过程Xd(t),其到达率为:
λd=λi=1∑cd⎝⎛ni(t)1j=1∑ni(t)(Si,j(t)+Ei,j(t))⎠⎞
随着泊松流的分流,任务被卸载到 MECSs 和 WDs。泊松过程Xs(t) 和Xe(t) 表示分流到 MECS 和 WD 的任务数量,到达率分别为λs=λdPs 和λe=λdPe,Ps 和Pe 表示分流到 MCES 和 WD 的任务比例。