Deep Reinforcement Learning for Offloading and Shunting in Hybrid Edge Computing Network

# Abstract

多接入边缘计算（MEC）是一个分布式计算框架，在网络边缘提供计算能力和数据存储，以节省带宽和减少延迟。然而，当过多的任务被卸载执行时，MEC 系统的计算能力就会不足。为了减轻 MECS 的过重负担，挖掘 WD 的未被充分利用的资源，我们研究了混合边缘计算（HEC）网络中的计算卸载和分流问题。在本文中，我们提出了一个优化问题，以最小化总时间延迟和能源消耗的平均加权和。由于计算复杂性和维度较高，我们提出了基于深度强化学习的计算卸载和分流（DCOS）算法来解决这个问题。最后，我们验证了 DCOS 算法的收敛特性并评估了其时间复杂性。与其他算法相比，仿真结果显示，DCOS 算法可以显著降低平均加权成本。

# Introduction

为了解决资源有限的移动设备 MD 和时间敏感的应用之间的矛盾，多接入边缘计算（MEC）已被提出作为一个有前途的解决方案。MEC 计算能力和数据存储都位于数据源附近。然而，当过多的任务被卸载执行时，MEC 系统的计算能力可能不足。

为了减轻 MEC 服务器（MECSs）的过重负担，减少任务执行的时间延迟，可以利用终端设备未被充分利用的资源。通过将设备对设备（D2D）通信整合到 MEC 网络中，可以充分利用 MD 上的资源。X，其中设备可以卸载任务给附近的设备进行合作计算。在本文中，我们利用有线设备（WD）的未充分利用的资源，如台式电脑、笔记本电脑和视频游戏机来减轻 MECS 的负担。

在本文中，我们研究了混合边缘计算（HEC）网络中的计算卸载和分流问题。计算分流是指将卸载的任务按一定比例分给 MECS 和 WD。通过计算分流，可以利用 WD 的未充分利用的资源来减轻 MECS 的过重负担，并减少任务执行的时间延迟和能量消耗。因此，我们提出了一个优化问题，以找到最佳决策变量，即计算分流比率，使总时间延迟和能源消耗的平均加权和最小。为了处理高计算复杂性和维度问题，我们提出了基于 DRL 的计算卸载和分流（DCOS）算法。

# SYSTEM MODEL AND PROBLEM STATEMENT

# A. Communication and Computing Model

网络中有$c_d$ MDs, $c_e$ WDs and $c_s$ MECSs，通过光纤连接，MECSs 和 WDs 分别与路由器和交换机连接。MDs 可以将计算任务卸载到具有蜂窝通信功能的小基站。部署在路由器中的 DRL 代理可以控制 MECSs 和 WDs 的分流比。

$G_{i,j}(t)$ 是在时间段$\Delta t$MD 设备 i 的第 j 个任务。任务的特征为计算周期$C_{i,j}(t)$ 和数据位$B_{i,j}(t)$。计算周期的平均值记为$\overline{C}(t)$。MD 任务传输到 SBS 的速率为：$R_{i}=B_{i} \log _{2}\left(1+\frac{p_{i} h_{i}}{N_{0} B_{i}}\right)$，则无线传输延迟为：$T_{i, j}^{w}(t)=\frac{B_{i, j}(t)}{R_{i}}$

任务从 SBS 传输到 MECS 和 WD 是以小数据包的形式，表示为：$P_{i, j}(t)=\left[\frac{B_{i, j}(t)}{S_{p}-S_{o}}\right]$。$P_{i,j}(t)$ 是包的数量，$S_p$ 是包的大小，$S_o$ 是开销的大小。我们主要考虑数据包传输延迟$d_t$ 和数据包传播延迟$d_p$。当一个数据包被放到光纤链路上时，传输时间为$d_t = S_p/R_o$，其中$R_o$ 是光纤链路的带宽。为简单起见，我们假设$d_p$ 在每个链路中是恒定的。有线网络的传输延迟是：

$$\begin{aligned} &T_{i, j}^{n, s}(t)=H_{s}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \\ &T_{i, j}^{n, e}(t)=H_{e}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \end{aligned}$$

其中$H_s$ 和$H_e$ 是 SBS 分别到 MECS 和 WD 的平均跳数（hot counts）。我们用三个二进制变量表示计算方式：$L_{i,j}(t)$,$S_{i,j}(t)$,$E_{i,j}(t)$，分别表示任务本地计算、卸载到 MECS 和卸载到 WD，当值为 1 时代表执行这种方式。
当本地计算时，本地任务计算延迟为：$T_{i, j}^{l}(t)=\frac{C_{i, j}(t)}{f_{i}}$。其中$f_i$ 是$D_i$ 的计算频度。本地计算能量消耗表示为：$J_{i, j}^{l}(t)=\kappa f_{i}{ }^{2} C_{i, j}(t)$。
远程任务计算延迟为：

$$\begin{aligned} T_{i, j}^{o, s}(t)=\frac{C_{i, j}(t)}{f_{s}} \\ T_{i, j}^{o, e}(t)=\frac{C_{i, j}(t)}{f_{e}} \end{aligned}$$

分母的含义同本地计算。MDs 的远程任务计算消耗即为任务的无线传输消耗：$J_{i, j}^{o}(t)=p_{i} \frac{B_{i, j}(t)}{R_{i}}$

# B. Computation Offloading and Shunting Model

在 HEC 网络中，$n_i(t)$ 是设备$D_i$ 在时间 t 产生的任务数，可以用任务到达率为$\lambda_i$ 的泊松过程$X_i(t)$ 来建模。我们假设$\lambda_i=\lambda$，$\lambda$ 为每个 MD 上任务的平均到达率。所有的泊松过程叠加，卸载的任务表现为一个总的泊松过程$X_d(t)$，其到达率为：

$$\lambda_{d}=\lambda \sum_{i=1}^{c_{d}}\left(\frac{1}{n_{i}(t)} \sum_{j=1}^{n_{i}(t)}\left(S_{i, j}(t)+E_{i, j}(t)\right)\right)$$

随着泊松流的分流，任务被卸载到 MECSs 和 WDs。泊松过程$X_s(t)$ 和$X_e(t)$ 表示分流到 MECS 和 WD 的任务数量，到达率分别为$\lambda_s=\lambda_d P_s$ 和$\lambda_e=\lambda_d P_e$，$P_s$ 和$P_e$ 表示分流到 MCES 和 WD 的任务比例。