NGHIÊN CỨU MỘT CÁCH TIẾP CẬN MỚI DỰA TRÊN HỌC TĂNG CƯỜNG CHO BÀI TOÁN TỐI ƯU HÓA ĐỒNG THỜI TỐC ĐỘ VÀ MỨC TIÊU THỤ NHIÊN LIỆU TRONG VẬN HÀNH TÀU THỦY (A STUDY ON A NOVEL REINFORCEMENT LEARNING-BASED APPROACH FOR THE SIMULTANEOUS OPTIMIZATION PROBLEM OF SPEED AND FUEL CONSUMPTION IN SHIP OPERATION)

Tóm tắt

Tối ưu hóa nhiên liệu tàu thủy là một bài toán then chốt trong vận hành hàng hải, nhưng nó mâu thuẫn trực tiếp với mục tiêu duy trì tốc độ hành trình. Bài báo này trình bày một ứng dụng của kỹ thuật học tăng cường RL (Reinforcement Learning) để giải quyết bài toán tối ưu hóa này. Trong bài báo này, một môi trường mô phỏng tàu KVLCC2 trên Simulink đã được xây dựng, bao gồm động lực học tàu và các điều kiện lực cản môi trường biến động. Một tác nhân RL (RL Agent) được huấn luyện để đưa ra quyết định điều khiển công suất động cơ. Kết quả nghiên cứu được so sánh với bộ điều khiển PID truyền thống cho thấy tác nhân RL có thể cân bằng giữa lượng nhiên liệu và thời gian hành trình tốt hơn. Nghiên cứu cũng chứng minh khả năng sử dụng RL, thông qua việc điều chỉnh hàm phần thưởng để tạo ra một đường cong đánh đổi hoàn chỉnh. Điều này cung cấp một công cụ hỗ trợ ra quyết định linh hoạt, cho phép nhà vận hành lựa chọn chiến lược tối ưu dựa trên nhu cầu thay vì bị giới hạn trong một giải pháp cứng nhắc.

Abstract

Optimizing fuel consumption in maritime operations is a critical objective, yet it inherently conflicts with the goal of maintaining high voyage speeds. This paper presents an application of Reinforcement Learning (RL) techniques to address this optimization trade-off. In this study, a simulation environment for the KVLCC2 ship model has been developed in Simulink, incorporating vessel dynamics and dynamic environmental disturbances. An RL agent is trained to make control decisions regarding propulsion power. The performance is benchmarked against a conventional PID controller, demonstrating that the RL agent achieves a superior balance between fuel consumption and voyage time. Furthermore, the study demonstrates the capability of the RL approach, through reward function shaping, to generate a complete trade-off curve. This provides a flexible decision-support tool, enabling operators to select an optimal strategy based on operational demands, rather than being constrained to a single, rigid solution.

Keywords: Reinforcement learning, marine vessel model, energy efficiency, multi-objective optimization, ship Operation.