Simulation of vehicles’ gap acceptance decisions using reinforcement learning

Abstract

This paper presents the use of reinforcement learning approach for modeling vehicles' gap acceptance decisions at a stop-controlled intersection. The proposed formulation translates a simple gap acceptance decision into a reinforcement learning problem, assuming that drivers' ultimate objective in a traffic network is to optimize wait-time and safety. Using an off-the-shelf simulation tool, drivers are simulated without any notion of the outcome of their decisions. From multiple episodes of gap acceptance decisions, they learn from the outcome of their actions, i.e., wait-time and safety. A real-world traffic circle simulation network developed in Paramics simulation software is used to conduct experimental analyses. The results show that drivers' gap acceptance behavior in microscopic traffic simulation models can easily be validated with a high level of accuracy using Q-learning reinforcement-learning algorithm.

Bu çalışma pekiştirmeli öğrenme yöntemini kullanarak araçların kritik aralık kabul kararlarının basit bir T-kavşakta modellemesini sunmaktadır. Önerilen yaklaşım araçların ulaşım ağlarındaki nihai amaçlarının bekleme sürelerini ve risklerini optimize edeceklerini varsayarak basit bir kritik aralık kabul kararını pekiştirmeli öğrenme problemine çevirmektedir. Trafik simülasyon yazılımında sürücüler kararlarının yol açacağı sonuçları bilmeyerek hareket eder, fakat bir çok simülasyon episodu sonrasında eylemlerinin sonuçlarını bekleme süresi ve risk şeklinde öğrenmeye başlarlar. Gerçek bir dönel kavşağın Paramics trafik simülasyon modeli deneysel analizler için kullanılmıştır. Elde edilen sonuçlara göre kullanılan bu simülasyon modeli “Q-learning” öğrenme yöntemi kullanılınca sürücülerin kritik aralık kabul kararlarının doğrulaması kolaylıkla yapılabilmektedir.