深度强化学习在动态订单拣选中的显著提升：98%订单完成率

研究背景

随着电子商务的迅猛发展和客户对快速交付期望的提高，订单拣选已成为仓库运营中的关键环节。传统方法通常依赖于静态优化算法，这些算法在固定订单集的情况下设计拣货路径。然而，这种方法在面对动态环境时显得力不从心。本研究旨在通过深度强化学习（DRL）框架解决这一问题，以适应实时变化的订单到达情况，并优化拣货路径。

订单拣选是仓库操作中的一个核心过程，直接关系到整体效率和盈利能力。近年来，随着电子商务的快速增长和市场竞争的加剧，客户对快速交付的需求日益增加。在这种背景下，高效的订单拣选变得尤为重要。例如，Charkhgard and Savelsbergh (2015) 和 Silva et al. (2020) 的研究表明，订单拣选可以占总订单处理时间的约50%。因此，如何在动态环境下优化拣货路径成为了一个亟待解决的问题。

传统的订单拣选方法往往基于静态优化算法，这些算法假设订单集合是固定的，无法应对实际仓库操作中的动态变化。例如，Ratliff and Rosenthal (1983) 设计了一种高效的算法，利用仓库图结构来优化单拣货员在单块布局中的路径。后来的改进版本如Roodbergen and De Koster (2001) 适应了不同的仓库配置，包括两块、鱼骨和锯齿形布局。尽管这些方法在静态环境中表现良好，但在动态环境中却难以有效应对。

为了克服这些挑战，本文提出了一种适用于单块仓库的深度强化学习（DRL）框架。该框架能够动态地优化拣货路径，从而显著减少订单处理时间和未完成订单的数量。特别是在高订单到达率的情况下，这种动态优化方法的优势更加明显。例如，在订单到达率为0.09的情况下，本文的方法实现了大约98%的订单完成率，而基准算法的完成率仅为82%。

此外，现代仓库管理中，准确预测需求并动态调整订单拣选决策的能力至关重要。现有的文献主要集中在精确和启发式方法上，这些方法假设提前知道固定的订单集合。虽然这些方法在静态场景中适用，但在实际仓库操作中却难以有效应对动态环境。因此，需要一种动态且自适应的方法来预测需求并优化拣货路径，以迅速响应实时订单到达，优化路由决策，最小化运营成本，并最大化整体效率。

核心发现解读

动态订单拣选的有效性

本文的核心发现之一是通过深度强化学习（DRL）框架，可以在动态环境下显著提高订单拣选的效率。具体来说，该框架能够在高订单到达率的情况下实现更高的订单完成率。实验结果表明，在订单到达率为0.09的情况下，DRL模型的订单完成率达到98%，而基准算法的完成率仅为82%。

方法原理方面，DRL框架通过学习环境中的动态变化，不断优化拣货路径。关键设计包括使用深度神经网络架构，避免了复杂、训练时间长和计算需求高的问题。实验设置方面，本文采用了标准订单拣选文献中生成的实例进行基准测试。具体数据如下：

• 在订单到达率为0.01时，DRL模型的平均订单处理时间为480.7秒。
• 在订单到达率为0.02时，DRL模型的平均订单处理时间为300.8秒。
• 在订单到达率为0.03时，DRL模型的平均订单处理时间为254.2秒。
• 在订单到达率为0.04时，DRL模型的平均订单处理时间为254.9秒。
• 在订单到达率为0.05时，DRL模型的平均订单处理时间为226.3秒。
• 在订单到达率为0.06时，DRL模型的平均订单处理时间为282.2秒。
• 在订单到达率为0.07时，DRL模型的平均订单处理时间为295.8秒。
• 在订单到达率为0.08时，DRL模型的平均订单处理时间为505.0秒。
• 在订单到达率为0.09时，DRL模型的平均订单处理时间为581.6秒。

与相关工作的对比显示，DRL模型在不同订单到达率下的表现均优于基准算法。特别是在高订单到达率下，DRL模型的优势更为明显。例如，在订单到达率为0.09的情况下，DRL模型的订单完成率为98%，而基准算法的完成率仅为82%。此外，DRL模型还显著减少了未完成订单的比例。在订单到达率为0.09的情况下，DRL模型的未完成订单比例为2%，而基准算法的未完成订单比例高达18%。

实验结果进一步验证了DRL模型在动态环境中的优势。例如，在订单到达率为0.09的情况下，DRL模型的订单处理时间比基准算法减少了420%。这表明DRL模型不仅提高了订单完成率，还显著减少了订单处理时间。

奖励函数中超参数的调整

另一个重要发现是通过调整奖励函数中的超参数，可以灵活平衡行走距离和订单完成时间。具体来说，本文引入了一个超参数α，用于调节这两者之间的权衡。实验结果表明，通过调整α值，可以在不同的决策偏好下找到最优解。

关键设计方面，奖励函数的设计考虑了行走距离和订单完成时间两个因素。通过调整超参数α，可以在不同的决策偏好下找到最优解。实验设置方面，本文进行了多次实验，以验证不同α值下的性能。具体数据如下：

• 当α值为0.5时，DRL模型的平均订单处理时间为329.5秒。
• 当α值为0.6时，DRL模型的平均订单处理时间为367.5秒。
• 当α值为0.7时，DRL模型的平均订单处理时间为415.10秒。
• 当α值为0.8时，DRL模型的平均订单处理时间为557.7秒。

与相关工作的对比显示，通过调整超参数α，DRL模型在不同决策偏好下的表现均优于基准算法。这为实际应用提供了更大的灵活性。例如，在α值为0.5时，DRL模型的未完成订单比例为1.33%；而在α值为0.8时，DRL模型的未完成订单比例为2.19%。这表明通过调整α值，可以在不同的决策偏好下找到最优解。

此外，实验结果还显示，通过调整α值，DRL模型在不同订单到达率下的表现也有所不同。例如，在订单到达率为0.02的情况下，α值为0.5时，DRL模型的平均订单处理时间为329.5秒；而在α值为0.8时，DRL模型的平均订单处理时间为557.7秒。这表明通过调整α值，可以在不同的订单到达率下找到最优解。

模型在波动到达率下的鲁棒性

本文还评估了DRL模型在波动到达率下的鲁棒性。实验结果表明，DRL模型在不同到达率序列下均表现出良好的适应性和鲁棒性。具体来说，在到达率序列为{0.02, 0.06, 0.04, 0.08}的情况下，DRL模型的平均订单处理时间为534.80秒，而基准算法的平均订单处理时间为1,581.31秒。在到达率序列为{0.09, 0.01, 0.03, 0.07}的情况下，DRL模型的平均订单处理时间为415.10秒，而基准算法的平均订单处理时间为565.71秒。

与相关工作的对比显示，DRL模型在波动到达率下的表现均优于基准算法。这表明DRL模型不仅在稳定环境下表现良好，而且在实际操作中也能有效应对波动需求。例如，在到达率序列为{0.02, 0.06, 0.04, 0.08}的情况下，DRL模型的未完成订单比例为1.41%，而基准算法的未完成订单比例为10.26%。在到达率序列为{0.09, 0.01, 0.03, 0.07}的情况下，DRL模型的未完成订单比例为0.91%，而基准算法的未完成订单比例为1.42%。

实验结果还显示，DRL模型在不同到达率序列下的表现差异较小，显示出其在波动需求下的鲁棒性。例如，在到达率序列为{0.02, 0.06, 0.04, 0.08}的情况下，DRL模型的平均订单处理时间为534.80秒；而在到达率序列为{0.09, 0.01, 0.03, 0.07}的情况下，DRL模型的平均订单处理时间为415.10秒。这表明DRL模型在不同到达率序列下的表现较为一致，具有较高的鲁棒性。

批评/局限

模型训练时间较长

尽管DRL模型在动态订单拣选中表现出色，但其训练时间较长。特别是在低订单到达率的情况下，DRL模型可能会导致不必要的空闲旅行，从而延长训练时间。这可能会影响模型的实际应用效果。缓解方向包括优化训练算法和减少不必要的空闲旅行。例如，在订单到达率为0.01的情况下，DRL模型的平均订单处理时间为480.7秒，而在订单到达率为0.09的情况下，DRL模型的平均订单处理时间为581.6秒。这表明在低订单到达率下，DRL模型的训练时间更长，需要进一步优化。

此外，实验结果还显示，在低订单到达率下，DRL模型的未完成订单比例较高。例如，在订单到达率为0.01的情况下，DRL模型的未完成订单比例为1.86%，而在订单到达率为0.09的情况下，DRL模型的未完成订单比例为2.16%。这表明在低订单到达率下，DRL模型的性能较差，需要进一步优化。

初始拣货规模的影响

实验结果表明，初始拣货规模对DRL模型的性能有一定影响。在某些情况下，较大的初始拣货规模可能导致训练延迟。缓解方向包括调整初始拣货规模和优化拣货策略，以确保模型在不同初始条件下都能高效运行。例如，在初始拣货规模为单位值的情况下，DRL 5（无跨通道重路由）和DRL 6（有跨通道重路由）的表现相当。然而，在高订单到达率下，无限制变体（DRL 6）通常表现更好。这表明初始拣货规模的选择对模型性能有显著影响。

具体来说，在初始拣货规模为单位值的情况下，DRL 5和DRL 6的平均订单处理时间分别为66.8秒和67.4秒。而在高订单到达率下，DRL 6的平均订单处理时间为556.3秒，而DRL 5的平均订单处理时间为579.6秒。这表明在高订单到达率下，DRL 6的性能更好，需要根据实际情况选择合适的初始拣货规模。

跨通道重路由的效果有限

虽然跨通道重路由在某些情况下可以提高DRL模型的性能，但在高订单到达率下，其效果并不显著。缓解方向包括进一步优化跨通道重路由策略，以提高其在高订单到达率下的有效性。例如，在订单到达率为0.09的情况下，DRL 5（无跨通道重路由）的平均订单处理时间为579.6秒，而DRL 6（有跨通道重路由）的平均订单处理时间为556.3秒。这表明在高订单到达率下，跨通道重路由的效果有限，需要进一步优化。

此外，实验结果还显示，在高订单到达率下，DRL 5和DRL 6的未完成订单比例相近。例如，在订单到达率为0.09的情况下，DRL 5的未完成订单比例为2.01%，而DRL 6的未完成订单比例为2.27%。这表明在高订单到达率下，跨通道重路由的效果有限，需要进一步优化。

实操启示

动态订单拣选的重要性

对于供应链从业者来说，动态订单拣选是提高仓库效率的关键。通过采用DRL框架，可以实时优化拣货路径，从而显著减少订单处理时间和未完成订单的数量。具体实施路径包括部署DRL系统，并根据实际情况调整超参数，以满足不同的决策偏好。例如，在高订单到达率下，可以通过调整超参数α，优化行走距离和订单完成时间之间的平衡，从而提高拣货效率。

具体来说，供应链从业者可以通过以下步骤实施DRL框架：

• 部署DRL系统：在仓库中部署DRL系统，实时监控订单到达情况。
• 调整超参数：根据实际情况调整超参数α，以满足不同的决策偏好。
• 优化拣货路径：根据DRL系统的推荐，优化拣货路径，减少订单处理时间和未完成订单的数量。

奖励函数的设计

奖励函数的设计对于DRL模型的性能至关重要。通过引入超参数α，可以在行走距离和订单完成时间之间找到最佳平衡点。具体实施路径包括根据实际需求调整α值，以实现最优的拣货策略。例如，在追求快速完成订单的情况下，可以将α值调高；在追求最小化行走距离的情况下，可以将α值调低。通过这种方式，可以根据实际需求灵活调整拣货策略。

具体来说，供应链从业者可以通过以下步骤设计奖励函数：

• 确定目标：明确拣货的目标，是追求快速完成订单还是最小化行走距离。
• 调整α值：根据目标调整超参数α，以实现最优的拣货策略。
• 验证性能：通过实验验证奖励函数的性能，确保其满足实际需求。

应对波动需求的能力

DRL模型在波动需求下的表现非常出色。对于供应链从业者来说，这意味着可以通过DRL模型更好地应对实际操作中的波动需求。具体实施路径包括定期评估DRL模型的性能，并根据实际需求进行调整。例如，在订单到达率波动较大的情况下，可以通过调整DRL模型的参数，使其更好地适应不同的需求模式。此外，还可以通过实时监控订单到达情况，动态调整拣货路径，以提高仓库的整体效率。

具体来说，供应链从业者可以通过以下步骤应对波动需求：

• 实时监控：实时监控订单到达情况，了解需求波动。
• 调整参数：根据需求波动调整DRL模型的参数，使其更好地适应不同的需求模式。
• 动态调整：根据实时监控的结果，动态调整拣货路径，提高仓库的整体效率。

信息来源：https://arxiv.org/abs/2408.01656