Derin takviyeli öğrenme tabanlı otonom sürüş

Abstract

Otonom araçlar, trafik güvenliğini artırmak, insan hatalarını azaltmak ve ulaşımda süreklilik sağlamak gibi hedeflerle, günümüzde önemli bir araştırma alanı haline gelmiştir. Ancak mevcut otonom sürüş sistemleri, çoğunlukla önceden tanımlanmış kurallara ve klasik algoritmalara dayandıkları için, insan sürücüler kadar esnek ve doğal kararlar alma konusunda yetersiz kalmakta; bu da öngörülebilirlik ve güvenlik açısından sorun yaratmaktadır. Özellikle insan benzeri sürüş davranışlarının modellenmesi; yol takibi, çevresel etkileşim, konforlu manevra üretimi ve güvenli sürüş performansı açısından büyük önem taşımaktadır. Bu tez çalışmasında, insan benzeri pürüzsüz sürüş davranışını hedefleyen, derin takviyeli öğrenme tabanlı modüler bir otonom sürüş mimarisi geliştirilmiştir. Sistem; bilgi çıkarımı, karar verme, aksiyon filtreleme gibi işlevsel bileşenlerin ayrıldığı, esnek modüllerden oluşmakta ve hiyerarşik bir akış sergilemektedir. Sensör verileri, otokodlayıcılar kullanılarak düşük boyutlu temsillere dönüştürülmüş ve araç dinamikleriyle birlikte karar ve kontrol modülüne aktarılmıştır. Sistemin karar ve kontrol mekanizması, Soft Aktör-Kritik (SAC) algoritması ile eğitilmiş olup, ajanın daha pürüzsüz ve doğal manevralar üretmesi amacıyla çeşitli aksiyon filtreleme teknikleri entegre edilmiştir. Simülasyon sonuçları, önerilen yaklaşımın insan benzeri, pürüzsüz ve güvenli sürüş davranışları elde etmede etkili olduğunu göstermektedir.

Autonomous vehicles constitute a prominent field of research, driven by the objectives of enhancing traffic safety, mitigating human errors, and improving transportation efficiency. However, contemporary autonomous driving systems, which are predominantly reliant on predefined rules and classical algorithms, exhibit significant limitations in emulating the flexible and naturalistic decision-making characteristic of human drivers. This deficiency compromises both predictability and safety. Specifically, the modeling of human-like driving behavior is of paramount importance for key functionalities including lane keeping, interaction with the environment, smooth maneuver generation, and overall safe driving performance. This thesis introduces a modular autonomous driving architecture founded on deep reinforcement learning, developed with the objective of achieving human-like smooth driving behavior. The system is composed of flexible modules with distinct functional responsibilities—namely, information extraction, decision-making, and action filtering—and is structured in a hierarchical manner. Sensor data are first encoded into low-dimensional representations using autoencoders, subsequently fused with vehicle dynamics data, and then fed into the decision and control module. The system's decision and control mechanism is trained using the Soft Actor-Critic (SAC) algorithm. Furthermore, a suite of action filtering techniques is integrated to facilitate the agent's generation of smoother and more naturalistic maneuvers. Simulation results demonstrate that the proposed architecture is effective in realizing human-like, smooth, and safe driving behaviors.