欢迎访问《控制理论与应用》期刊网站！

融入流体松弛模型的决斗双深度Q网络求解动态多重柔性作业车间调度问题

doi: 10.7641/CTA.2025.50083

聊城大学计算机学院, 山东聊城 252059

基金项目: 国家自然科学基金项目(61973203, 61803192, 62106073, 61966012), 山东省自然科学基金项目(ZR2023MF022, ZR2024MF112), 聊城大学光岳青年创新团队项目(LCUGYTD2022–03)资助.

详细信息

作者简介

杨晓宇硕士研究生,目前研究方向为智能优化调度,E-mail: yangxiaoyu01@163.com;

韩玉艳副教授,目前研究方向为进化计算、多目标优化、流水车间调度,E-mail: hanyuyan@lcu-cs.com;

王玉亭副教授,目前研究方向为数学建模、智能优化算法、软件开发,E-mail: wangyuting@lcu-cs.com;

李寰副教授,目前研究方向为智能优化、软件开发技术,E-mail: lihuan@lcu.edu.cn;

张彪副教授,目前研究方向为机器学习与智能优化,E-mail: zhangbiao@lcu-cs.com.

通信作者

韩玉艳，E-mail: hanyuyan@lcu-cs.com;Tel.:+8618864974734.

A fluid relaxation model-integrated dueling double deep Q-network for solving the dynamic multiplicity flexible job-shop scheduling problem

YANG Xiao-yu ， HAN Yu-yan ， WANG Yu-ting ， LI Huan ， ZHANG Biao

School of Computer Science, Liaocheng University, Liaocheng Shandong 252059 , China

Funds: Supported by the National Natural Science Foundation of China (61973203, 61803192, 62106073, 61966012), the Natural ScienceFoundation of Shan dong province (ZR2023MF022, ZR2024MF112) and the Guangyue Young Scholar Innovation Team of Liaocheng University (LCUGYTD2022– 03).

摘要

鉴于生产过程中订单的随机到达可能导致调度方案无法实现最优, 实时动态订单到达成为关键问题. 针对动态多重柔性作业车间调度问题(DMFJSP), 提出了多策略决斗双深度Q网络(MPD3QN)求解方法. 该问题考虑了工件订单和多类型工件的动态到达, 首先, 为了降低DMFJSP的复杂性, 提出了一个简化的流体松弛模型, 并基于流体模型设计了多指标选择策略, 用于辅助生产调度决策. 其次, 进一步构建了马尔可夫决策过程(MDP)模型, 提取了与工件和机器相关的19个状态特征, 设计了20种复合规则作为动作空间. 然后, 结合优先经验回放、软更新机制和自适应动作选择策略, 提出了MPD3QN算法. 最后, 通过81个测试算例, 将所提算法与3种现有的深度强化学习调度方法进行比较, 仿真结果验证了其优越性.

关键词

柔性制造系统 / 流体松弛模型 / 深度强化学习 / 多策略决斗双深度Q网络 / 多重性

Abstract

Due to the random arrival of orders during production, companies may face challenges that result in the execution of a scheduling plan that is not optimal. The real-time dynamic arrival of orders is a critical issue. To address the dynamic multiplicity flexible job-shop scheduling problem (DMFJSP), which involves dynamic arrivals of job orders and multiple job types, a multi-policy dueling double deep Q-network (MPD3QN) solution is proposed. Firstly, to reduce the complexity of DMFJSP, a simplified fluid relaxation model is introduced and a multi-criteria selection strategy is developed based on this model to aid production scheduling decisions. Secondly, a Markov decision process (MDP) framework is constructed by extracting 19 state features related to jobs and machines, and 20 composite rules are designed to form the action space. Then, the MPD3QN algorithm is formulated through the integration of prioritised experience replay, a soft update mechanism, and an adaptive action selection strategy. Finally, the proposed method is evaluated through 81 test instances, and its performance is compared against three existing deep reinforcement learning scheduling approaches. Simulation results confirm its superior performance in scheduling efficiency and robustness.

Keywords

flexible manufacturing systems / simplified fluid relaxation model / deep reinforcement learning / multipolicy dueling double deep Q-network / multiplicity

1 引言 2 问题描述 2.1 多重柔性作业车间调度问题 2.2 简化的流体松弛模型 2.3 基于流体松弛模型的工序和机器选择指标 3 多策略决斗双深度Q网络 3.1 马尔可夫决策过程 3.2 自适应的动作选择策略 3.3 多策略决斗双深度Q网络算法框架 4 仿真实验 4.1 测试实例和评价指标 4.2 MPD3QN训练细节 4.3 与现有算法的比较 4.4 Friedman和Wilcoxon signed-rank检验 5 结论

1 引言

柔性作业车间调度问题（flexible job-shop scheduling problem，FJSP）是传统作业车间调度问题（jobshop scheduling problem，JSP）的扩展. 与JSP不同，FJSP不仅需要对每个工件的工序进行合理排序，还需要考虑不同机器和资源的分配及其灵活性 ^[1] . 通过允许工序在多台机器上执行，FJSP可以增强生产系统的适应性和灵活性，打破对单一资源的依赖，使企业能够动态选择最优的资源配置，以优化生产效率.

在柔性作业车间中，制造系统可能需要处理不同类型的工件. 如，类型A的工件需要高精度的铣削和抛光，类型B的工件则涉及切割、焊接和装配. 每种工件类型可能需要特定的机器设置、不同的工序顺序或不同的资源约束. 此外，面对动态环境，如随机订单插入，由于无法提前确定所有工件的到达时间和数量，调度计划常常会被打乱，从而降低其可靠性，并需要调度系统不断调整 ^[2] . 上述问题可抽象为动态多重柔性作业车间调度问题（dynamic multiplicity flexible jobshop scheduling problem，DMFJSP）. “动态约束”一词指的是工件订单的动态到达，而“多重约束”指的是每个订单中包含多种类型的工件，而且每种工件类型对应着不同数量的工件需求. 它突破了传统柔性作业车间调度的局限，充分考虑工件订单动态到达和多类型工件的约束，从而能够帮助企业更合理地分配资源，应对生产过程中的不确定性，推动行业向智能化、高效化方向发展 ^[3] .

近年来，智能优化算法推动了柔性作业车间调度问题的研究 ^[4] . 如基于自适应加权和禁忌搜索策略 ^[5]、量子退火算法 ^[6]、量子粒子群优化算法 ^[7]、数据驱动进化算法 ^[8]、质量–多样性算法 ^[9] . 然而，尽管智能优化算法在动态环境的研究中取得了一定进展 ^[10-11]，但它们未能充分的虑动态事件的影响，难以有效应对实际生产中的动态挑战. 基于深度强化学习的端到端实时调度是提高调度系统快速响应动态事件的有效解决方案 ^[12] . Luo ^[13] 提出了一种基于深度Q网络（deep Q-network，DQN）的调度方法，用于解决新工件插入的动态问题. Chang等人 ^[14] 通过将双重深度Q网络（double deep Q-network，DDQN）与自适应 ε贪婪策略相结合，提高了学习效率和调度性能. Du等人 ^[15] 采用决斗双深度Q网络（dueling double deep Qnetwork，D3QN），显著提高了调度稳定性并优化了完工时间.

尽管已有优化方法为解决DMFJSP带来更多可能 ^[16]，然而，大多数现有研究集中在更简单的动态环境或单任务调度场景，其在应对复杂生产环境方面的潜力尚未得到充分探索 ^[17] . 因此，本文研究旨在通过将简化的流体松弛模型、深度强化学习算法以及创新的调度策略相结合，提高DMFJSP的求解效率和质量.本文主要贡献如下:

1）详细描述了 DMFJSP，并设计了简化的流体松弛模型来降低 DMFJSP的复杂性和实现端到端的 D3QN方法.

2）基于简化的流体松弛模型提出了工序和机器分配的多种选择指标，从而增强了模型在处理复杂系统时的灵活性和效率.

3）本文设计了与问题特征相关的19个状态特征和20个动作，提出了多策略决斗双深度Q网格（multipolicy dueling double deep Q-network，MPD3QN）框架，引入了优先经验回放、软更新机制以及自适应动作选择策略，实现了所提算法在探索与开发能力的有效平衡.

2 问题描述

2.1 多重柔性作业车间调度问题

在DMFJSP中，有ϱ台机器用于处理n种不同类型的工件. 工件类型I_i由n_i个工序组成，这些工序必须按照特定的顺序进行（即优先约束）. 每个工序O_i_，_j可以由多台机器处理，但只能在可用且兼容的机器集合中的一台机器上进行处理 ^[18] . 在机器Mk上处理的工序集合记为σ（M_k），工序O_i_，_j的加工机器集合记为M_i_，_j. 工序O_i_，_j在机器Mk上的加工时间记为p_i_，_j_，_k. 生产系统中有d个订单需要处理，订单集合表示为 S =（S₁，S₂，· · ·，S_d）. 每个订单 S_s∈ S在时间A_s到达，第1个订单在时间0到达，即A₁ = 0. 所有订单中包含的工件类型I_i的数量记为N_i.

基本的约束和假设如下: 1）加工前所有机器均处于空闲状态; 2）每台机器都有无限的缓冲区来存储已完成的工件; 3）在任何给定时间，一个工件只能由一台机器加工，且一台机器一次只能加工一个工件; 4）所有任务都应连续加工，不能被抢占或中断.

2.2 简化的流体松弛模型

流体模型由Bertsimas ^[19] 提出，通过将离散任务视为连续流体流来解决静态作业车间调度问题，但动态适应性和调度精度不足. 另一个现有模型 ^[20] 虽可在多个时间间隔内跟踪工件完成情况，却因资源分配灵活性差、约束复杂而效率受限. 相比之下，本文简化的流体松弛模型通过引入时间间隔划分和动态资源分配机制，实现了机器工作时间的精细分配和动态调整，不仅显著提升了动态适应性和调度精度，也简化了约束，提高了求解效率.

在所提的流体松弛模型，引入符号 µ_i_，_j_._k= 1/p_i_，_j_，_k，它表示机器 M_k处理工序 O_i_，_j的速率. 设 x_i_，_j（ω）为在时刻ω时简化的流体松弛模型中未完成的O_i_，_j任务数量. 由于用连续流体流替代了离散任务，所以x_i_，_j（ω）是一个非负分数，称之为时刻 ω时工序 O_i_，_j的流体水平. 时刻 ω时实际调度系统中的未加工的O_i_，_j任务数量表示为 X_i_，_j（ω）. 决策变量 T_i_，_j_，_k（ω）表示时刻ω时求解流体松弛模型得到工序O_i_，_j在机器 M_k上的总加工时间，

C_{m a x}^{f}

（ω）为时刻ω 时求解流体松弛模型得到调度的完成时间.

优化目标:

\begin{matrix} M i n i m i z e C_{m a x}^{f} (ω) = \\ \underset{M_{k} \in M}{m a x} (\sum_{O_{i, j} \in σ (M_{k})} T_{i, j, k} (ω)) . \end{matrix}

(1)

约束条件:

\begin{matrix} \sum_{M_{k} \in M_{i, j}} (μ_{i, j, k} \cdot T_{i, j, k} (ω)) = X_{i, j} (ω), \\ \forall i \in {1,2, \dots, n}, \forall j \in \{1,2, \dots, n_{i}\}, \end{matrix}

(2)

\begin{matrix} T_{i, j, k} (ω) ⩾ 0, \forall i \in {1,2, \dots, n}, \\ \forall j \in \{1,2, \dots, n_{i}\}, \forall M_{k} \in M_{i, j} . \end{matrix}

(3)

式（1）表示最小化系统中机器的最大工作量，该目标函数通过平衡和优化所有机器的工作量，实现了整体调度完成时间的缩短. 式（2）保证了每个工序的总需求与机器的处理能力相同. 式（3）表示分配给机器M_k用于加工工序O_i_，_j的加工时间必须是非负的.

图1展示了简化的流体松弛模型的流程图. 若在时刻ω有新订单到达，则计算

C_{m a x}^{f}

（ω）和T_i_，_j_，_k（ω）. 反之，在求解出时刻ω的流体模型后，可依据公式（4）求解后续时刻ω′时工序O_i_，_j的流体水平. 同时在实际制造系统中进行调度时，能够基于时刻ω′各工序的流体水平提取系统特征，以此指导调度决策.

(4)

图1流体松弛模型的流程图

Fig.1Flowchart of the fluid relaxation model

2.3 基于流体松弛模型的工序和机器选择指标

在DMFJSP中有两个关键的决策过程: 工序选择和机器分配 ^[21] . 工序选择决定在任何给定时刻应优先执行哪个工件，而机器分配则涉及由哪台机器来处理选定的工件. 在实际生产环境中，柔性作业车间调度是一个离散过程，为了生成可执行的调度计划，本文将流体松弛模型的解转化为指导工序选择和机器分配的具体规则. 在此背景下，给出以下3种工序选择指标和两种机器分配指标.

1）3种工序选择指标.

i）资源覆盖度（resource coverage degree，RCD）:

{r c d}_{i, j} (ω) = X_{i, j} (ω) - x_{i, j} (ω)

ii）流体处理速率（average fluid processing tate，AFPR）:

{a f p r}_{i, j} = (\sum_{M_{k} \in M} μ_{i, j, k}) / ϱ .

iii）流体优先率（fluid priority rate，FPR）:

{f p r}_{i, j} (ω) = x_{i, j} (ω) / {a f p r}_{i, j} .

2）两种机器分配指标.

i）机器闲置率（machine idle rate，MIR）:

{m i r}_{i, j, k} (ω) = X_{i, j, k} (ω) - x_{i, j, k} (ω),

其中X_i_，_j_，_k（ω）和x_i_，_j_，_k（ω）分别为在时刻ω时，实际制造系统中与流体松弛模型中机器M_k上属于工序O_i_，_j的未加工任务数量.

ii）机器负载率（machine load rate，MLR）:

{m l r}_{i, j, k} (ω) = (\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} \underset{i, j, k}{m i n} (ω)) / \sum_{i = 1}^{n} n_{i} .

3 多策略决斗双深度Q网络

3.1 马尔可夫决策过程

在DMFJSP中，订单的到达和处理是一个动态且复杂的过程，需要在系统状态不断变化的关键时刻做出最优调度决策. 尽管调度状态在持续变化，但对于 DMFJSP而言，决策仅在特定时刻触发: 当没有可处理的工序时，或者当有新订单到达时. 为了有效应对这种复杂性，本文将该问题建模为马尔可夫决策过程（Markov decision process，MDP），能够通过训练智能体以最大化累积奖励来优化调度策略 ^[22] .

本文提取了19个状态特征，以反映生产系统中关键点的信息以及流程的多指标特性，同时，在状态特征提取中引入了变异系数，变异系数通过消除单位和量纲影响，统一衡量不同特征的离散程度，增强模型对动态变化的敏感性，优化调度决策. 每个状态特征的定义如下:

1）机器总数: ϱ.

2）工件类型总数: n.

3）每种工件类型的平均数:

n_{a v e} = (\sum_{i = 1}^{n} N_{i}) / n .

4）每种工件类型的变异系数:

n_{c v} = \sqrt{\frac{\sum_{i = 1}^{n} {(N_{i} - n_{a v e})}^{2}}{n}} / n_{a v e}

5）每种工件类型的平均工序数:

j_{a v e} = (\sum_{i = 1}^{n} n_{i}) / n

6）每种工件类型工序的变异系数:

j_{c v} = \sqrt{\frac{\sum_{i = 1}^{n} {(n_{i} - j_{a v e})}^{2}}{n}} / j_{a v e}

7）机器的空闲率: U_ratio（t）= U （t）/ϱ.

8）机器的平均完成时间:

C_{a v e}^{M_{k}} (t) = (\sum_{M_{k} \subseteq M} C_{M_{k}} (t)) / ϱ

9）机器完成时间的变异系数:

\begin{matrix} C_{c v}^{M_{k}} (t) = \\ \sqrt{\frac{\sum_{M_{k} \subseteq M} {(C_{M_{k}} (t) - C_{a v e}^{M_{k}} (t))}^{2}}{ϱ}} / C_{a v e}^{M_{k}} (t) . \end{matrix}

10）工序的平均完成率:

C_{a v e}^{O_{i, j}} (t) = (\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} C_{O_{i, j}} (t)) / (\sum_{i = 1}^{n} n_{i}) .

11）工序完成率的变异系数:

\begin{matrix} C_{c v}^{O_{i, j}} (t) = \\ \sqrt{\frac{\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {(C_{O_{i, j}} (t) - C_{a v e}^{O_{i, j}} (t))}^{2}}{\sum_{i = 1}^{n} n_{i}}} / C_{a v e}^{O_{i, j}} (t) . \end{matrix}

12）平均资源覆盖度:

C_{a v e}^{M_{k}} (t) = (\sum_{M_{k} \subseteq M} C_{M_{k}} (t)) / ϱ .

13）资源覆盖度的变异系数:

{r c d}_{c v}^{O_{i, j}} (t) = \sqrt{\frac{\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {({r c d}_{i, j} (t) - {r c d}_{a v e}^{O_{i, j}} (t))}^{2}}{\sum_{i = 1}^{n} n_{i}}} / {r c d}_{a v e}^{O_{i, j}} (t) .

14）平均流体处理速率:

{a f p r}_{a v e}^{o_{i, j}} = (\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {a f p r}_{i, j}) / (\sum_{i = 1}^{n} n_{i}) .

15）流体处理速率的变异系数:

\begin{matrix} {a f p r}_{c v}^{o_{i, j}} = \\ \sqrt{\frac{\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {({a f p r}_{i, j} - {a f p r}_{a v e}^{o_{i, j}})}^{2}}{\sum_{i = 1}^{n} n_{i}}} / {a f p r}_{a v e}^{o_{i, j}} \end{matrix}

16）平均流体优先率:

{f p r}_{a v e}^{O_{i, j}} (t) = (\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {f p r}_{i, j} (t)) / (\sum_{i = 1}^{n} n_{i}) .

17）流体优先率的变异系数:

{f p r}_{c v}^{O_{i, j}} (t) = \sqrt{\frac{\sum_{i = 1}^{n} \sum_{j = 1}^{n_{i}} {({f p r}_{i, j} (t) - {f p r}_{a v e}^{o_{i, j}} (t))}^{2}}{\sum_{i = 1}^{n} n_{i}}} / {f p r}_{a v e}^{o_{i, j}} (t) .

18）平均机器负载率:

{m l r}_{a v e}^{i, j, k} (t) = (\sum_{M_{k} \subseteq M} {m l r}_{i, j, k} (t)) / ϱ .

19）机器负载率的变异系数:

\begin{matrix} {m l r}_{c v}^{i, j, k} (t) = \\ \sqrt{\frac{\sum_{M_{k} \subseteq M} {({m l r}_{i, j, k} (t) - {m l r}_{a v e}^{i, j, k} (t))}^{2}}{ϱ}} / {m l r}_{a v e}^{i, j, k} (t) . \end{matrix}

基于第3.2节提出的多指标策略，引入了5种工序选择规则（operation selection rule，OSR）和4种机器分配规则（machine allocation rule，MAR）. 这些规则组合，可得到包含20（5×4）条复合调度规则的动作空间. 表1详细定义了工序选择规则和机器分配规则.

表1动作空间及相应定义

Table1Action space and corresponding descriptions

由于本文的优化目标是最小化完工时间，奖励函数设计如下:

r_{t} = - (C_{t} - C_{t - 1}),

(5)

其中， C_t和C_t₋₁分别表示决策点t和t − 1的最大完工时间. 从公式中可以看出，奖励与完工时间的增加量成反比. 这种机制促使智能体去选择最佳的策略，从而最小化整体生产周期，提高生产效率.

3.2 自适应的动作选择策略

本文采用了一种自适应的动作选择策略来平衡智能体的探索行为. 在训练阶段，智能体根据动态调整的阈值概率ε来选择动作. 在每个决策点，会生成一个随机数ε′，其中ε′∈（0，1）. 如果ε′>ε，智能体将选择具有最高Q值的动作; 否则，它将随机选择一个动作. 阈值概率ε从初始值ε_start线性下降到最终值ε_end. 这种策略确保了智能体在训练初期进行更多的探索，以构建丰富的经验池，而在训练后期，它会更多地利用已学到的经验来选择最优动作. 在决策点t，ε的值记为 ε_t，其计算公式如下:

ε_{t} = m a x (ε_{end}, ε_{start} - {decay}_{t}),

(6)

其中，decay_t决定了每个决策点的衰减速率. 在本研究中，衰减速率是根据训练周期数和上一周期的决策步数动态计算的. 计算公式如下:

(7)

其中: episodes表示训练周期的总数，step表示上一周期的决策点数量.

3.3 多策略决斗双深度Q网络算法框架

DQN算法作为深度强化学习算法的重要分支 ^[23]，虽然能够利用深度网络结构对动作价值进行预测以确定智能体的行为策略，但其存在对动作价值过高估计的问题，这会导致决策偏差，影响调度效果. DDQN算法在一定程度上缓解了这一问题，通过引入在线网络Q和目标网络Q^T来减少估计偏差 ^[24]，而D3QN 算法在DDQN的基础上，进一步引入了决斗网络 ^[25] . 决斗网络的引入使得算法能够更有效地分离状态价值和动作优势，可以更准确地评估每个动作的价值.

本文设计的D3QN网络结构由3个隐藏层组成，每个隐藏层的维度均为200. 在所提取的19个状态特征中，有13个动态特征，为了更全面地捕捉系统的动态变化，提高模型对环境变化的敏感度和适应性. 本文在构建状态空间时，不仅考虑了当前观测状态 s_t 的动态特征，还加入了当前与前一次观测状态之差 s_t−s_t₋₁，因此输入是一个26维的状态向量，输出则是20种可能动作的Q值. 在上述D3QN框架的基础上，本文提出了MPD3QN，算法1（见表2）和图2均展示了应用MPD3QN来求解DMFJSP的框架流程图.

表2算法 1: MPD3QN框架

Table2Algorithm 1: MPD3QN framework

（转下表）

（接上表）

4 仿真实验

本文所提出算法及对比算法均使用 Python 3.7在PyCharm环境中实现. 实验环境为一台配备x64架构的个人计算机，该计算机拥有英特尔（Intel）酷睿（Core）i7-10700 处理器，主频为 2.90 GHz，并配备了 8.00 GB内存.

4.1 测试实例和评价指标

本文采用的测试基准实例是依据Luo ^[13] 提出的方法随机生成的. 通过机器数量、工件类型数量、新订单数量以及订单到达时间指数分布的平均值（E_ave）这4个因素进行组合，生成了81（3×3×3×3）个不同的测试实例. 为评估算法性能，除完工时间这一指标外，本文采用相对百分比增长（relative percentage increases，RPI）作为性能度量指标，如式（9）所示:

R P I = ((C_{m a x} - C_{best}) / C_{best}) \times 100,

(9)

其中: C_max表示某一算法针对某个实例所得到的完工时间，C_best表示所有参与对比的算法针对该实例所取得的最优完工时间. 此外，本文引入了胜率 ^[26] 这一重要评估指标，其指的是算法在测试实例中取得最优结果的比例.

图2MPD3QN流程图

Fig.2Flowchart of MPD3QN

4.2 MPD3QN训练细节

训练实例的规模包含15台机器、10种工件类型以及4个订单插入. 相邻两个订单的到达时间遵循均值为100的指数分布. 训练的具体参数设置如表3所示. 在整个训练过程中，记录了每个周期的累积奖励，并将其展示在图3中. 随着训练的推进，可以观察到累积奖励持续稳定增长. 这表明智能体已经有效地学会了如何在不同的生产场景中选择合适的调度策略，从而提高整体调度效率.

4.3 与现有算法的比较

本节将MPD3QN与其他现有算法进行了对比，其中包括 DRLC ^[14]，DRLL ^[13]，DRLU ^[27] 和 DRLW ^[28] . 这些均解决的是与 DMFJSP 密切相关的问题. MPD3QN和对比算法采用相同的训练方法进行训练（对比算法的关键训练参数配置依据其原始论文中的建议，如表4所示），并在81个测试算例上进行测试. 它们的平均RPI、平均C_max和算法的平均运行时间如表5所示，此外，图4展示了每种方法的胜率比例，以及在测试集上的箱线图和正态分布曲线对比.

表3训练参数

Table3The parameters of the training method

从表5中可以看出，在E_ave为50，100，200时，MPD3QN算法在81个不同规模的测试实例上实现的平均 C_max 值分别为 3 676.9，3 683.2，3 532.9，相比 DRLC，DRLL，DRLU 和DRLW均取得了显著的提高. 同时，MPD3QN在60个实例中比其他3种算法的运行时间更短或相等. 这些结果表明，MPD3QN 算法在解决DMFJSP时具有卓越的鲁棒性和优化能力. 同样，如图4（a）所示，MPD3QN在81个测试实例中的75个实例上实现了最低的RPI值，胜率高达92.6%，远远超过对比算法的胜率. MPD3QN的上述优势在图4（b）中进一步得到体现. MPD3QN 在所有测试中始终呈现出显著更低的RPI 值，且分布非常紧凑，这表明在大多数实例中性能更加稳定.

图3MPD3QN训练过程图

Fig.3Training process diagram of MPD3QN

表4DRLC，DRLL，DRLU和DRLW的关键超参数

Table4The key hyperparameters of DRLC, DRLL, DRLU and DRLW

图4所有算法得到的箱线图、正态分布曲线和胜率

Fig.4Box plots, normal distribution curve and winning rate for all obtained algorithms

表5DRLC，DRLL，DRLU，DRLW和MPD3QN的平均RPI，C_max和运行时间

Table5Average RPI, C_maxand time values for DRLC, DRLL, DRLU, DRLW and MPD3QN

4.4 Friedman和Wilcoxon signed-rank检验

为了进一步评估DRLC，DRLL，DRLU，DRLW和 MPD3QN的性能差异，本文进行了 Friedman 检验和 Wilcoxon signed-rank检验. 首先，假设各算法的性能没有显著差异，并将显著性水平设为 α = 0.05. 如果 p 值小于 α，则拒绝这一假设. 根据表 6，在RPI 指标上，MPD3QN在排名、均值、标准差、最小值和最大值方面均表现最佳，这些结果不仅证明了MPD3QN提供最优解的能力，还表明其具有较低的方差，显示出在处理DMFJSP时的高度可靠性和效率. 为了进一步验证5种算法之间的性能差异，本文对RPI和C_max指标进行了Wilcoxon signed-rank检验. 结果详细列于表7，所有81个样本数据集的p值均为0，表明在α = 0.05的显著性水平下，5种算法之间存在统计学上的显著差异.

表6RPI的Friedman检验结果（置信水平α = 0.05）

Table6Results of Friedman test (confident level α = 0.05) by RPI

表7RPI的Wilcoxon signed-rank检验结果

Table7Results of Wilcoxon signed-rank test by RPI

5 结论

本文针对DMFJSP构建了数学模型，引入简化流体松弛模型与多指标选择策略，既降低了问题复杂度，又提升了调度精度. 基于此，提出MPD3QN框架，通过优先经验回放、软更新和自适应动作选择，在动态多订单、多工件类型场景中实现高效探索与利用. 实验表明，MPD3QN显著提高了调度效率和资源利用率. 尽管MPD3QN算法在DMFJSP问题上表现良好，但仍存在局限性. 如，所提方法面向的是部分生产场景，未全面考虑带有AGV集成的实际制造环境. 未来工作将融入绿色调度理念与能耗优化，并结合图注意力机制、深度强化学习和智能优化算法，针对DMFJSP的动态多目标特性设计新的调度策略及实现方案.

图1流体松弛模型的流程图

Fig.1Flowchart of the fluid relaxation model

下载: 全尺寸图片

图2MPD3QN流程图

Fig.2Flowchart of MPD3QN

下载: 全尺寸图片

图3MPD3QN训练过程图

Fig.3Training process diagram of MPD3QN

下载: 全尺寸图片

图4所有算法得到的箱线图、正态分布曲线和胜率

Fig.4Box plots, normal distribution curve and winning rate for all obtained algorithms

下载: 全尺寸图片

表1动作空间及相应定义

Table1Action space and corresponding descriptions

下载: 全尺寸图片

表2算法 1: MPD3QN框架

Table2Algorithm 1: MPD3QN framework

下载: 全尺寸图片

表3训练参数

Table3The parameters of the training method

下载: 全尺寸图片

表4DRLC，DRLL，DRLU和DRLW的关键超参数

Table4The key hyperparameters of DRLC, DRLL, DRLU and DRLW

下载: 全尺寸图片

表5DRLC，DRLL，DRLU，DRLW和MPD3QN的平均RPI，C_max和运行时间

Table5Average RPI, C_maxand time values for DRLC, DRLL, DRLU, DRLW and MPD3QN

下载: 全尺寸图片

表6RPI的Friedman检验结果（置信水平α = 0.05）

Table6Results of Friedman test (confident level α = 0.05) by RPI

下载: 全尺寸图片

表7RPI的Wilcoxon signed-rank检验结果

Table7Results of Wilcoxon signed-rank test by RPI

下载: 全尺寸图片

图1流体松弛模型的流程图

Fig.1Flowchart of the fluid relaxation model

图2MPD3QN流程图

Fig.2Flowchart of MPD3QN

图3MPD3QN训练过程图

Fig.3Training process diagram of MPD3QN

图4所有算法得到的箱线图、正态分布曲线和胜率

Fig.4Box plots, normal distribution curve and winning rate for all obtained algorithms

表1动作空间及相应定义

Table1Action space and corresponding descriptions

表2算法 1: MPD3QN框架

Table2Algorithm 1: MPD3QN framework

表3训练参数

Table3The parameters of the training method

表4DRLC，DRLL，DRLU和DRLW的关键超参数

Table4The key hyperparameters of DRLC, DRLL, DRLU and DRLW

表5DRLC，DRLL，DRLU，DRLW和MPD3QN的平均RPI，C_max和运行时间

Table5Average RPI, C_maxand time values for DRLC, DRLL, DRLU, DRLW and MPD3QN

表6RPI的Friedman检验结果（置信水平α = 0.05）

Table6Results of Friedman test (confident level α = 0.05) by RPI

表7RPI的Wilcoxon signed-rank检验结果

Table7Results of Wilcoxon signed-rank test by RPI

图1流体松弛模型的流程图

Fig.1Flowchart of the fluid relaxation model

图2MPD3QN流程图

Fig.2Flowchart of MPD3QN

图3MPD3QN训练过程图

Fig.3Training process diagram of MPD3QN

图4所有算法得到的箱线图、正态分布曲线和胜率

Fig.4Box plots, normal distribution curve and winning rate for all obtained algorithms

表1动作空间及相应定义

Table1Action space and corresponding descriptions

表2算法 1: MPD3QN框架

Table2Algorithm 1: MPD3QN framework

表3训练参数

Table3The parameters of the training method

表4DRLC，DRLL，DRLU和DRLW的关键超参数

Table4The key hyperparameters of DRLC, DRLL, DRLU and DRLW

表5DRLC，DRLL，DRLU，DRLW和MPD3QN的平均RPI，C_max和运行时间

Table5Average RPI, C_maxand time values for DRLC, DRLL, DRLU, DRLW and MPD3QN

表6RPI的Friedman检验结果（置信水平α = 0.05）

Table6Results of Friedman test (confident level α = 0.05) by RPI

表7RPI的Wilcoxon signed-rank检验结果

Table7Results of Wilcoxon signed-rank test by RPI

LIU Chao, HAN Yuyan, YANG Xiaoyu,et al. A multi-objective cooperative coevolutionary algorithm for solving the flexible job shop scheduling problem with variable processing speeds and automated guided vehicles. Journal of Liaocheng University(Natural Science Edition),2025,38(3):317-332.(刘超, 韩玉艳, 杨晓宇, 等. 多目标协同进化算法求解具有可变加工速度和自动导引车的柔性作业车间调度问题. 聊城大学学报(自然科学版),2025,38(3):317-332.)

LI Rui, GONG Wenyin. An improved multi-objective evolutionary algorithm based on decomposition for bi-objective fuzzy flexible job-shop scheduling problem. Control Theory & Applications,2022,39(1):31-41.(李瑞, 龚文引. 改进的基于分解的多目标进化算法求解双目标模糊柔性作业车间调度问题. 控制理论与应用,2022,39(1):31-41.)

WEI L X, HE J X, GUO Z Y,et al. A multi-objective migrating birds optimization algorithm based on game theory for dynamic flexible job shop scheduling problem. Expert Systems with Applications,2023,227:120268.

LIU Chao, HAN Yuyan, WANG Yuting,et al. Optimizing multiobjective FJSP-AGVs with variable processing speed using variable neighborhood search algorithm. Control Engineering of China,2024:1-12.(刘超, 韩玉艳, 王玉亭, 等. 可变邻域搜索算法优化多目标变加速 FJSP-AGVs. 控制工程,2024:1-12.)

ZHANG J J, Lu Z P, DING J W,et al. An effective local search al-¨ gorithm for flexible job shop scheduling in intelligent manufacturing systems. Engineering,2024,50:117-127.

SCHWORM P, WU X Q, KLAR M,et al. Multi-objective quantum annealing approach for solving flexible job shop scheduling in manufacturing. Journal of Manufacturing Systems,2024,72:142-153.

XU Y X, WANG D G, ZHANG M J,et al. Quantum particle swarm optimization with chaotic encoding schemes for flexible job-shop scheduling problem. Swarm and Evolutionary Computation,2025,93:101836.

ZHAO R X, FU L X, KANG J J,et al. Data-driven evolutionary algorithms based on initialization selection strategies, POX crossover and multi-point random mutation for flexible job shop scheduling problems. Applied Soft Computing,2025,172:112901.

QIN H X, XIANG Y, LIU F Q,et al. Enhancing quality-diversity algorithm by reinforcement learning for flexible job shop scheduling with transportation constraints. Swarm and Evolutionary Computation,2025,93:101849.

ZHENG Xiaocao, GONG Wenyin. An improved artificial bee colony algorithm for fuzzy flexible job-shop scheduling problem. Control Theory & Applications,2020,37(6):1284-1292.(郑小操, 龚文引. 改进人工蜂群算法求解模糊柔性作业车间调度问题. 控制理论与应用,2020,37(6):1284-1292.)

ZHAO Dongbin, TANG Zhentao, SHAO Kun,et al. Recent progress of deep reinforcement learning:from AlphaGo to AlphaGo Zero. Control Theory & Applications,2017,34(12):1529-1546.(赵冬斌, 唐振韬, 邵坤, 等. 深度强化学习进展: 从AlphaGo到 AlphaGo Zero. 控制理论与应用,2017,34(12):1529-1546.)

LUO S. Dynamic scheduling for flexible job shop with new job insertions by deep reinforcement learning. Applied Soft Computing,2020,91:106208.

CHANG J L, YU D, HU Y,et al. Deep reinforcement learning for dynamic flexible job shop scheduling with random job arrival. Processes,2022,10(4):760.

DU J R, LI F Y, HAN H G. Dynamic stability-aware scheduling based on dueling double deep Q-network in FJSP. Chinese Control and Decision Conference(CCDC). Xi’an, China: IEEE,2024:5715-5720.

JANG Quan, WEI Jingxuan. Real-time scheduling method for dynamic flexible job shop scheduling. Journal of System Simulation,2024,36(7):1609-1620.(蒋权, 魏静萱. 用于动态柔性作业车间调度的实时调度方法. 系统仿真学报,2024,36(7):1609-1620.)

YANG Yuanyuan, HU Rong, QIAN Bin,et al. Deep reinforcement learning algorithm for dynamic flow shop real-time scheduling problem. Control Theory & Applications,2024,41(6):1047-1055.(杨媛媛, 胡蓉, 钱斌, 等. 深度强化学习算法求解动态流水车间实时调度问题. 控制理论与应用,2024,41(6):1047-1055.)

LUO Wenchong, QIAN Bin, HU Rong,et al. Hyper-heuristic crossentropy algorithm for distributed assembly flexible job-shop scheduling problem. Control Theory & Applications,2021,38(10):1551-1568.(罗文冲, 钱斌, 胡蓉, 等. 超启发式交叉熵算法求解分布式装配柔性作业车间调度问题. 控制理论与应用,2021,38(10):1551-1568.)

BERTSIMAS D, GAMARNIK D, SETHURAMAN J. From fluid relaxations to practical algorithms for high-multiplicity job-shop scheduling: The holding cost objective. Operations Research,2003,51(5):798-813.

DING L S, GUAN Z L, ZHANG Z M. A fast and efficient fluid relaxation algorithm for large-scale re-entrant flexible job shop scheduling advances in production management systems. Artificial Intelligence for Sustainable and Resilient Production Systems. Cham: Springer International Publishing,2021:396-404.

HUANG J P, GAO L, LI X Y,et al. A cooperative hierarchical deep reinforcement learning based multi-agent method for distributed job shop scheduling problem with random job arrivals. Computers & Industrial Engineering,2023,185:109650.

SHANI G, HECKERMAN D, BRAFMAN R I. An MDP-based recommender system. Journal of Machine Learning Research,2005,6(7):1265-1295.

MNIH V, KAVUKCUOGLU K, SILVER D,et al. Human-level control through deep reinforcement learning. Nature,2015,518(7540):529-533.

VAN HASSELT H, GUEZ A, SILVER D. Deep reinforcement learning with double q-learning. Proceedings of the AAAI Conference on Artificial Intelligence,2016,30(1):2029-2100.

WANG Z Y, SCHAUL T, HESSEL M,et al. Dueling network architectures for deep reinforcement learning. International Conference on Machine Learning. New York, New York, USA: PMLR,2016:1995-2003.

LIU R, PIPLANI R, TORO C. Deep reinforcement learning for dynamic scheduling of a flexible job shop. International Journal of Production Research,2022,60(13):4049-4069.

LU S J, WANG Y Q, KONG M,et al. A double deep Q-network framework for a flexible job shop scheduling problem with dynamic job arrivals and urgent job insertions. Engineering Applications of Artificial Intelligence,2024,133:108487.

WANG Z Q, LIAO W Z. Smart scheduling of dynamic job shop based on discrete event simulation and deep reinforcement learning. Journal of Intelligent Manufacturing,2024,35(6):2593-2610.