Gerçek zamanlı endüstriyel kontrol sistemleri için makine öğrenmesi temelli yaklaşımlar

Abstract

Endüstriyel sistemlerdeki hızlı gelişmeler, üretim süreçlerini daha karmaşık hale getirmiş ve verimlilik beklentilerini artırmıştır. Geleneksel kontrol yöntemleri, bu karmaşıklığı ve belirsizlikleri yeterince ifade edememektedir. Bu nedenle, verimlilik taleplerini karşılayacak ve karmaşık sistemlerin kontrolünü iyileştirecek gelişmiş kontrol sistemleri üzerine çalışmalar sürdürülmektedir. Makine öğrenmesi temelli yöntemler, bu zorlukların üstesinden gelmek için umut verici bir çözüm olarak öne çıkmaktadır. Yapay sinir ağları ile derin öğrenme (DNN) öne çıkan yöntemler arasında yer alsa da, kritik kontrol sistemlerinin standartlara uygunluk sertifikasyonundaki zorluklar nedeniyle alternatif fonksiyon yaklaşımı yöntemlerinin araştırılması önemini korumaktadır. Bu tez çalışmasında, laboratuvar inkübatör cihazının ekonomik maliyet fonksiyonu ve çoklu kısıtlar dikkate alınarak, model öngörülü kontrol (MPC) tabanlı pekiştirmeli öğrenme (RL) algoritması ile kontrol edilmesi amaçlanmıştır. MPC sisteminin, yanlış bir model kullanılarak tasarlansa bile, makine öğrenmesi temelli yöntemler ile gerçek sistemin optimal kontrol politikasını sağlayacak şekilde ayarlanabileceği gösterilmiştir. Pekiştirmeli öğrenme sisteminin değer fonksiyonları, fonksiyon yaklaşımcısı olarak doğrusal olmayan model öngörülü kontrol (NMPC) sistemi kullanılarak ifade edilmiştir. Aşama maliyeti, terminal maliyeti, kısıtlar ve inkübatör cihazının tahmini sistem modeli, MPC sistemi içerisinde parametrik olarak tanımlanmıştır. MPC sistemi, doğrudan çoklu atış yöntemi ile doğrusal olmayan programlama (NLP) problemi olarak ifade edilmiştir. Elde edilen optimizasyon problemi iç nokta yöntemi ve otomatik türev alma yazılımı ile çözülmüştür. MPC sisteminin parametreleri, en küçük kareler zamansal fark (LSTD) Q öğrenme yöntemi ile veriye dayalı olarak ayarlanmıştır. MPC sisteminin tasarımında ve benzetim ortamında kullanılmak üzere, inkübatör cihazının matematiksel modeli sistem tanımlama yöntemi kullanılarak elde edilmiştir. Modelleme için Box-Jenkins model yapısı kullanılmıştır ve parametreleri, tahmin hatası yöntemi (PEM) kullanılarak tahmin edilmiştir. Elde edilen sonuçlar, MPC tabanlı RL yönteminin, endüstriyel kontrol sistemlerinde sistem belirsizlikleri ve kısıtlamaları içeren zorlu durumlarda, çevrimiçi öğrenme yeteneği ile sistem performansını optimize ederek referans takip performansını koruyabilen güçlü ve etkili bir çözüm sunduğunu göstermektedir.Rapid advancements in industrial systems have made production processes more complex and increased expectations for efficiency. Traditional control methods are insufficient in adequately representing this complexity and uncertainty. Therefore, research on advanced control systems that can meet efficiency demands and improve the control of complex systems is ongoing. Machine learning-based methods have emerged as a promising solution to overcome these challenges. Although artificial neural networks with deep learning (DNN) are among the prominent methods, the challenges in certifying critical control systems for compliance with standards have maintained the relevance of researching alternative function approximation methods. In this thesis, it is aimed to control a laboratory incubator device using a model predictive control (MPC)-based reinforcement learning (RL) algorithm, considering the economic cost function and multiple constraints. It has been shown that even if the MPC system is designed with an incorrect model, machine learning-based methods can be adjusted to provide the optimal control policy for the real system. Value functions of the reinforcement learning system are expressed using a nonlinear model predictive control (NMPC) system as the function approximation. Stage cost, terminal cost, constraints, and the estimated system model of the incubator device are parameterized with the MPC system. MPC system is expressed as a nonlinear programming (NLP) problem using the direct multiple shooting method. Optimization problem is solved using an interior-point method and automatic differentiation software. Parameters of the MPC system are adjusted using data-driven least-squares temporal difference (LSTD) Q-learning method. Mathematical model of the incubator device, used for designing the MPC system and in the simulation environment, is obtained through a system identification method. Box Jenkins model structure is used for modeling, and its parameters are estimated using the prediction error method (PEM). Results show that the MPC-based RL method provides a robust and effective solution capable of optimizing system performance with online learning capability, maintaining reference tracking performance in challenging situations involving system uncertainties and constraints in industrial control systems.