T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ SAYISAL İMGELERDEN ADLİ KANIT TOPLAMA Sevinç BAYRAM YÜKSEK LİSANS TEZİ ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI BURSA 2005 T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ SAYISAL İMGELERDEN ADLİ KANIT TOPLAMA SEVİNÇ BAYRAM YÜKSEK LİSANS TEZİ ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI Bu Tez .26/10/2005 tarihinde aşağıdaki jüri tarafından oybirliği ile kabul edilmiştir. Yrd.Doç.Dr. İsmail Avcıbaş Prof. Dr. Bülent Sankur Yrd.Doç.Dr. Osman Hilmi Koçal (Danışman ) ÖZET Sayısal imgeleri üretmede ve değiştirmede etkili teknolojiler yaygın olarak kullanılırken, sayısal imgelerin gerçekliğini ve orijinalliğini ispatlayacak teknolojilerin büyük eksikliği vardır. Bu tez çalışmasında öncelikle, orijinal imgeler ile değiştirilmiş imgeleri birbirinden ayırma problemi ele alınmaktadır. Bunun için iki yöntem önerilmiştir. İlk yöntemde fotomontaj yapılırken imgelerin birtakım işlemlere tabi tutulması gerektiği ve bu işlemler sonucunda imgede ölçülebilir bir bozulum olacağı varsayılmaktadır. Orijinal ve işlenmiş iki imge arasındaki bozulumu ölçmek için yeni bir yöntem önerilmektedir. Elde edilen ölçütler sınıflandırıcı tasarımında öznitelik olarak kullanılmaktadır. Bu sınıflandırıcılar kullanılarak, verilen imgenin şüpheli bloğuna herhangi bir işlem uygulanıp uygulanmadığı test edilmektedir. Deney sonuçları imgenin bir kısmının veya tümünün, tek bir imge işleme yöntemine veya birçok imge işleme yönteminin bir kombinasyonuna tabi tutulup tutulmadığını, yüksek bir başarımla söyleyebileceğimizi göstermektedir. İkinci yöntemimizde, komşu bit düzlemleri ikili benzerlik ölçütlerini hesaplamak için kullanılmaktadır. Buradaki temel fikir, bit düzlemleri arasındaki ilintinin orijinal ve fotomontajlı imgeler için birbirinden farklı olacağıdır. İkili benzerlik ölçütleri ve ek olarak imge kalite ölçütleri sınıflandırıcı tasarımında öznitelik olarak kullanılmaktadır. Öznitelik seçimi için Ardışıl Kayan Arama Metodu kullanılmıştır. İmgenin şüpheli bloğu sınıflandırıcılarımızda test edilmiştir ve yüksek bir başarım ile imgenin fotomontajlı olup olmadığını gösterilebilmektedir. Bu yöntemin fotomontaj yapılırken kullanılan bir çok imge işleme yöntemine duyarlı olduğu görülmüştür. Literatürde fotomontaj sezimi için önerilmiş çalışma sayısı azdır, bu yüzden yöntemimizin sayısal imgelerin gerçekliğinin kanıtlanmasına yönelik önemli bir katkı olacağını düşünmekteyiz. Bu tez çalışmasında, ayrıca, kaynak fotoğraf makinesi tanıma problemi ele alınmaktadır. Özellikle, imgenin renk düzlemlerinde yapılan aradeğerleme sezilmeye çalışılmıştır. Bu amaçla elde edilen öznitelikler destekçi vektör makinesi temelli çoklu sınıflandırıcı tasarımında kullanılmıştır. İki ve üç fotoğraf makinesi tanımak için elde ettiğimiz sonuçlar burada verilmektedir. Anahtar Kelimeler: imge işleme, ikili benzerlik ölçütleri, imge kalite ölçütleri, sınıflandırma, fotoğraf makinesi tanıma, aradeğerleme ABSTRACT Despite the availability of extremely powerful technologies in both generating and processing digital images, there is a severe lack of techniques and methodologies for validating the authenticity of digital images. In this thesis first we focus on the problem to distinguish the original images from the altered ones. We present two methods. First method is based on the assumptions that some processing operations must be done on the image before it is doctored, and an expected measurable distortion results after processing an image. We propose a novel way of measuring the distortion between two images, one being original and the other processed. The measurements are used as features in classifier design. Using these classifiers we test whether a suspicious part of a given image has been processed with a particular method or not. Experimental results show that with a high accuracy we are able to tell if some part of an image has undergone a particular or combination of processing methods. In the second method, neighbor bit planes in an image are used for the computation of several binary similarity measures. The basic idea is that, the correlation between the bit planes as well the binary texture characteristics within the bit planes will differ between an original and a doctored image. Binary similarity measures and additional image quality metrics are used as features in classifier design. We used Sequential Floating Search Method (SFS) for feature selection. We used these classifiers to test a suspicious part of a given image and with a high accuracy we are able to tell if some part of an image has been doctored or not. This method is sensitive for most image processing methods used for image doctoring. There is not much work for detecting all methods used for image doctoring, so we believe our method will be an important step for image forensics. In this thesis, also we focus our interest on source camera identification problem. Particularly, we propose to identify the traces of the proprietary interpolation algorithm in the color surface of an image. For this purpose, we define a set of image characteristics which are then used in conjunction with a support vector machine based multi-class classifier to designate the originating digital camera. We also provide initial results on identifying source among two and three digital cameras. Keywords: image processing, binary similarity measures, image quality measures, classification, camera identification, interpolation İÇİNDEKİLER DİZİNİ 1- GİRİŞ 1 2- KAYNAK ARAŞTIRMASI 4 2.1. Yüksek Seviyeli İstatistik Yöntemi 4 3- FOTOMONTAJ SEZİMİ 7 3.1. İçerikten Bağımsız Ölçüt Yöntemi ile Fotomontaj Sezimi 7 3.1.1. Sınıflandırıcı Tasarımı 9 3.2. İkili Benzerlik ve İmge Kalite Ölçütlerini Kullanarak Fotomontaj Sezimi 10 3.2.1. Öznitelik Seçimi 13 3.2.2. Sınıflandırıcı 14 4- FOTOMONTAJ SEZİMİ İÇİN DENEYSEL SONUÇLAR 16 4.1. İçerikten Bağımsız Ölçüt Yöntemi ile Elde Edilen Sonuçlar 16 4.2. İkili Benzerlik ve İmge Kalite Ölçütlerini Kullanarak Elde Edilen Sonuçlar 18 4.2.1. Büyütme İşlemi Sonuçları 18 4.2.2. Küçültme İşlemi Sonuçları 20 4.2.3. Döndürme İşlemi Sonuçları 21 4.2.4. Kontrast Değişimi Sonuçları 23 4.2.5. Parlaklık Değişimi Sonuçları 25 4.2.6. Bulanıklaştırma İşlemi Sonuçları 26 4.2.7. Netleştirme İşlemi Sonuçları 28 4.2.8. Temsili Sonuçlar 29 4.2.9. Temsili-Temsili Sonuçlar 32 4.2.10. Blok Testi 34 4.2.10.1. Kendi Yaptığımız Fotomontajlı İmgelerin 34 Testi 4.2.10.2. İnternetten Alınan Fotomontajlı İmgelerin 36 Testi 5- KAYNAK FOTOĞRAF MAKİNESİ TANIMA 38 5.1 Sayısal Fotoğraf Makinelerinin Yapısı ve İşlem Dizisi 38 5.2 Kaynak Fotoğraf Makinesi Tanıma- Yöntemler 41 5.2.1 Expectation-Maximization Kullanılarak Aradeğerleme 41 Tahmini 5.2.2 İkincil Türev Kullanılarak Aradeğerleme Tahmini 42 6- FOTOĞRAF MAKİNESİ TANIMA - DENEYSEL SONUÇLAR 45 7- TARTIŞMA 49 KAYNAKLAR 50 EK_1 53 EK_2 54 EK_3 56 TEŞEKKÜR 58 Özgeçmiş 59 ŞEKİLLER DİZİNİ Şekil 2.1 Frekans uzayının ideal çoklu ölçek ve yönelim ayrışması….. 4 Şekil 2.2 “disk” imgesinin üç yönelim ve üç ölçek için alt bant katsayılarının mutlak değeri………………………………… 5 Şekil 3.1.1 Sinyal vektörlerinin düzenleşimi…..……………………….. 8 Şekil 3.2.1 Ağırlıklı komşuluk…………………………………………. 11 Şekil 4.1.1 Orijinal imgeler ile işlenmiş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………………………………………… 17 Şekil 4.2.1.1 Başarım-Büyütme Oranı Grafiği…………………………… 19 Şekil 4.2.1.2 Orijinal imgeler ile büyütme işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 19 Şekil 4.2.2.1 Başarım-Küçültme Oranı Grafiği…………………………... 20 Şekil 4.2.2.2 Orijinal imgeler ile küçültme işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 21 Şekil 4.2.3.1 Başarım-Döndürme Oranı Grafiği….……………………… 22 Şekil 4.2.3.2 Orijinal imgeler ile döndürme işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 22 Şekil 4.2.4.1 Başarım-Kontrast Değişimi Grafiği………………………… 23 Şekil 4.2.4.2 Orijinal imgeler ile kontrast değişimi işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 24 Şekil 4.2.5.1 Başarım-Parlaklık Değişimi Grafiği……………………….. 25 Şekil 4.2.5.2 Orijinal imgeler ile parlaklık değişimi işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…. 26 Şekil 4.2.6.1 Başarım-Bulanıklaştırma Grafiği………………...…………. 27 Şekil 4.2.6.2 Orijinal imgeler ile bulanıklaştırma işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 27 Şekil 4.2.7.1 Başarım-Netleştirme Grafiği…...………………...………… 28 Şekil 4.2.7.2 Orijinal imgeler ile netleştirme işlemine tabi tutulmuş imgelerin 3 boyutlu öznitelik uzayında dağılımı…………… 28 Şekil 4.2.8.1 Başarım-Temsili İşlem Grafiği..………………...………….. 29 Şekil 4.2.8.2 Orijinal imgeler ile temsili havuzlardaki imgelerin 3 boyutlu öznitelik uzayında dağılımı………………………………… 30-31 Şekil 4.2.9.1 Başarım-Temsili Temsili Havuz Grafiği..………………...... 32 Şekil 4.2.10.1 Kendi yaptığımız fotomontajlara örnekler………………….. 35 Şekil 4.2.10.2 Fotomontajlı imgeden bir şüpheli, iki orijinal bloğun alınması…………………………………………………....... 35 Şekil 4.2.10.3 İnternetten aldığımız imgelere örnekler……………………. 37 Şekil 5.1.1 Basitçe bir fotoğraf makinesinin içi yapısı…………………. 38 Şekil 5.1.2 CFA modelleri……………………………………………… 39 Şekil 5.1.3 Bayer Süzgeci……………………………………………… 40 Şekil 5.2.1 Değişinti sinyaline örnekler………………………………… 43 Şekil 6.1 Aynı zamanda ve yerde çekilmiş fotoğraflara örnekler…….. 45 Şekil 6.2 Değişik fotoğraf makinesi modelleri için değişinti sinyalinin AFT’leri…………………………………………………… 47 ÇİZELGELER DİZİNİ Çizelge 3.2.1 İkili Benzerlik Ölçütleri…………………………………... 11-12 Çizelge 4.1.1 Tüm İmge Üzerinden Elde Edilen Sonuçlar……………… 17 Çizelge 4.1.2 Bloklar İçin Elde Edilen Sonuçlar………………………... 18 Çizelge 4.2.9.1 Tüm Temsili Sınıflandırıcılarda Kullanılan Öznitelikler…. 35 Çizelge 4.2.10.1 Kendi Yaptığımız Fotomontajlı İmgelerin Temsili Sınıflandırıcılardaki Ortak Sonuçları.…………………….. 37 Çizelge 4.2.10.2 Kendi Yaptığımız Fotomontajlı İmgelerin Temsili-Temsili Sınıflandırıcılardaki Sonuçları……………………………. 37 Çizelge 4.2.10.3 İnternetten Aldığımız Fotomontajlı İmgelerin Temsili Sınıflandırıcılardaki Ortak Sonuçları…………………….. 38 Çizelge 4.2.10.4 İnternetten Aldığımız Fotomontajlı İmgelerin Temsili- Temsili Sınıflandırıcılardaki Sonuçları…………………… 38 Çizelge 6.1 Expectation Maximization Kullanılarak Sony ve Nikon Fotoğraf Makinelerini Ayırmada 3x3 Komşuluk İçin Elde Edilen Sonuçlar………………………………………….... 45 Çizelge 6.2 Expectation Maximization Kullanılarak Sony ve Nikon Fotoğraf Makinelerini Ayırmada 4x4 Komşuluk İçin Elde Edilen Sonuçlar………………………………………...… 46 Çizelge 6.3 Expectation Maximization Kullanılarak Sony ve Nikon Fotoğraf Makinelerini Ayırmada 5x5 Komşuluk İçin Elde Edilen Sonuçlar……………………………………....…… 46 Çizelge 6.4 Expectation Maximization Kullanılarak Sony, Nikon ve Canon Fotoğraf Makinelerini Ayırmada 5x5 Komşuluk İçin Elde Edilen Sonuçlar…………………………..…….. 47 Çizelge 6.5 İkincil Türev Yöntemi Kullanılarak Sony ve Nikon Fotoğraf Makinelerini Ayırmada Elde Edilen Sonuçlar….. 48 Çizelge 6.6 İkincil Türev Yöntemi Kullanılarak Sony, Nikon ve Canon Fotoğraf Makinelerini Ayırmada Elde Edilen 48 Sonuçlar……... Çizelge 6.7 Birleştirilmiş Öznitelikler Kullanılarak Sony, Nikon ve Canon Fotoğraf Makinelerini Ayırmada Elde Edilen Sonuçlar………………………………………………… 48 1.GİRİŞ Günümüz dijital dünyasında, kolayca ve yaygınca bulunabilen imge işleme araçları sayesinde, özgüne çok yakın yeni bir imge oluşturmak veya özgün bir imgede gözle fark edilemeyecek değişiklikler yapmak oldukça kolaylaşmıştır. Bunun bir sonucu olarak, herhangi bir imgenin, özgün olup olmadığını garanti edemeyiz. Özellikle, eğer imge adli delil olarak kullanılacaksa özgün olduğunun kanıtlanması gereklidir. Aksi takdirde masum bir kişinin ceza alması veya suçlu bir kişinin cezalandırılmaması gibi durumlar ortaya çıkabilir. İmgelerde insanların fark edemeyeceği çeşitli değişiklikler yaparak insanlar, özellikle kanuni makamlar kandırılmak istenebilir. Bunu engellemek için imgelerin kaynağını, doğruluğunu ve özgünlüğünü gösterecek teknikler üretilmelidir. Bir imgenin adli kanıt olarak kullanılabilmesi için, aşağıdaki gibi bir takım soruların yanıtı aranır: • İmge özgün müdür yoksa farklı imgelerden mi oluşturulmuştur? • İmge X veya Y model fotoğraf makinelerinden hangisi ile çekilmiştir? • İmge iddia edildiği gibi X fotoğraf makinesi kullanılarak, Y tarihinde ve Z saatinde mi çekilmiştir? • İmge gerçek bir manzarayı mı gösteriyor yoksa adli makamları kandırmak için değiştirilmiş mi? Örneğin, imgedeki kahve lekesi mi yoksa yeniden renklendirilmiş kan lekesi mi? • İmgenin içine gizli bir mesaj gömülmüş mü? Yukarıdaki sorular yasaları uygulamakla görevli olan kişilerin sık sık karşılaştığı sorulara örnek teşkil etmektedir. Bununla birlikte sayısal imgelerin oluşturulmasında ve değiştirilmesinde oldukça gelişmiş teknolojiler olmasına rağmen, geçerliliklerinin onaylanmasında teknolojilerin büyük eksiklikleri vardır. Bu çalışmada yukarıdaki soruların bir bölümüne cevap bulmaya çalışıldı. Öncelikle özgün imgelerle insanları kandırmak için değiştirilmiş (fotomontajlı) imgeleri birbirinden ayırma problemi ele alındı. İlk olarak fotomontaj yapılırken imgelere hangi işlemlerin uygulanabileceği araştırıldı. Temel olarak büyütme, küçültme, döndürme, parlaklık ve kontrast değişimi, bulanıklaştırma, netleştirme gibi işlemlerin yapılabileceği görüldü. Bir imgeye yapılan fotomontaj örneğini Ek-3'de bulabilirsiniz. İmgede yapılan değişimlerin yakalanması için öne sürülen yaklaşımlardan bir kaçı şöyledir; Popescu ve Farid, (2005) imgeye yeniden örnekleme (büyütme, döndürme vb.) yapıldığında imgede belirli istatistiksel ilintilerin oluştuğunu ve bu ilintilerin otomatik olarak yakalanabileceğini göstermişlerdir. Bu yaklaşım sadece yeniden örneklemeyi içerdiği için parlaklık ve kontrast gibi değişiklikleri yakalayamayacaktır. Johnson ve Farid (2005) ise imgelerde değişiklik yapıldığında, özellikle kesip yapıştırma işlemlerinde ışık yönünün farklı olduğuna dikkat çekmiş, imgedeki nesneler için ışık yönünün saptanmasıyla farklılığın ortaya çıkarılabileceğini göstermişlerdir. Bu çalışmada özgün imgeler ile üzerinde işlem yapılmış imgeleri ayırmak için iki yöntem önerdik. İlk yöntem imgeye uygulanan işlemlerin ölçülebilir bir gürültü eklediği varsayımına dayanmaktadır. Bu varsayımdan hareketle öznitelikler çıkarılmış, parlaklığı değiştirilmiş, kontrastı değiştirilmiş ve üzerinde ardarda karışık (büyütme, döndürme, parlaklık değişimi vb.) işlemler uygulanmış imgeler ile özgün imgeleri birbirinden ayırmaya çalışılmıştır. İkinci yöntemde ikili benzerlik ve imge kalite ölçütlerini kullanarak imge öznitelikleri çıkarılmıştır. Bu öznitelikler kullanılarak tasarlanan doğrusal bağlanım sınıflandırıcıları büyütme, küçültme, döndürme, bulanıklaştırma ve netleştirme gibi imge işlemlerine de duyarlı olmuştur. Ayrıca Lyu ve Farid’in (2003) dalgacık dönüşümüne temellenen çalışması karşılaştırma amacıyla kullanılmıştır. İmgelerin adli kanıt olarak kullanılması için sorulan sorulardan biri de imgenin hangi model sayısal fotoğraf makinesi ile çekilmiş olduğuydu. Geradts ve ark. (2001), kaynak fotoğraf makinesindeki kusurlu pikselleri fotoğraf makinelerini sınıflandırma için kullanırlarken Lukáš ve ark.(2005) örüntü gürültüsünü kullanmışlardır. Kharrazi ve ark. (2004) ise Avcibas ve ark. (2003) tarafından önerilen imge kalite ölçütleri ile Lyu ve Farid (2002) tarafından önerilen yüksek seviyeli dalgacık modelini birleştirerek fotoğraf makinelerini ayırt eden sınıflandırıcılar tasarlamışlardır. Biz de farklı modellerdeki fotoğraf makinelerini sınıflandırmak için Popescu ve Farid (2005) ile Gallagher (2005) tarafından önerilen aradeğerleme (interpolasyon) algoritmalarını yakalayan iki yöntemi ve bunların birleştirilmiş halini kullandık. İmgelerin suç aracı olarak kullanılması bunlarla sınırlı değildir. İmgeye gizli bir sayısal işaret gömerek (steganografi) yasadışı haberleşme yapılabilmektedir. Steganografik yöntemler ve bu konuda geniş bilgi Johnson ve Jajoida’nın (1998) çalışmasında bulunabilir. Bu yasadışı haberleşmeyi önlemek için çeşitli teknikler üretilmektedir. Bunların arasında Westfield ve Pfitzman (1999) ile Fridich ve ark. (2000, 2001) önerdiği, en değersiz bit (LSB) düzlemine gizlenen mesajlar sezmede oldukça başarılı olan yöntemler vardır. Ayrıca Avcıbaş ve ark. (2001, 2002) ikili benzerlik ve imge kalite ölçütlerini kullanarak gizli mesajın sezilmesine yönelik çalışmalar yapmışlardır. Gizli mesajı sezmeye yönelik çalışmalara genel bir bakış Chandramouli ve ark. (2003) çalışmasında yer almaktadır. Damgalama teknikleri imgelerin özgünlüğünü korumak ve korsanca eylemleri engellemek üzere öne sürülmüştür (IEEE, 2003). Bununla birlikte medyada ve internette karşılaştığımız imgelerin çoğu damga içermemektedir. İmgenin özgünlüğünün korunması için damganın fotoğraf makinesinde oluşturulması gerekir. Bunun için gerekli donanımlar şu an için fotoğraf makinelerinde bulunmamaktadır, dolayısıyla damganın olmadığı yerde imgenin özgünlüğünü gösterecek teknikler üretmek gereklidir. Tez çalışmasının 2. bölümünde kaynak araştırması yapıldı ve en yakın çalışma olan Yüksek Seviyeli İstatistik (YSİ) yöntemi incelendi. 3. bölümde fotomontaj sezimi için önerdiğimiz yöntemler açıklandı, 4. bölümde bu yöntemler için deneysel sonuçlar verildi. 5. bölümde fotoğraf makinelerinin çalışma prensibi anlatıldı ve fotoğraf makinesi tanıma için önerdiğimiz yöntemler incelendi. 6. bölümde bu yöntemler ile elde edile deneysel sonuçlar verildi. 7. bölümde deneysel sonuçlar değerlendirildi ve gelecek çalışmalardan söz edildi. 2.KAYNAK ARAŞTIRMASI İmgelerdeki fotomontajı ortaya çıkarabilmek için literatürde az sayıda çalışma vardır. En yakın çalışma Lyu ve Farid’in (2003), doğal imgeler ile doğal olmayan imgeleri, basıldıktan sonra tekrar taranan imgeleri ve steganografik mesaj içeren imgeleri birbirinden ayırmak için tasarladığı yüksek seviyeli istatistiksel modeldir. Bu yöntemde Fisher Doğrusal Ayırma sınıflandırıcısını kullanarak sınıflandırma yapılmaktadır. Bu model Farid’in web sitesinde yayınlanan matlab kodu1 uyarlanarak fotomontaj sezimi için kullanıldı ve bizim yöntemimiz ile karşılaştırma yapıldı. İmgeler önce gri-seviyeye dönüştürüldü ve öznitelikler çıkarıldı. Verilen sonuçlar her bir imgeden çıkarılan 72 öznitelik kullanılarak elde edilmiştir. 2.1 Yüksek Seviyeli İstatistik Yöntemi Fotomontaj yapılırken uygulanan işlemlerin imge istatistiklerini bozduğu varsayılmıştır. Uzamsal konum, yönelim ve ölçekte yerleşmiş (wavelet) temel fonksiyonları kullanarak imge ayrışması birçok uygulamada yaygın olarak kullanılır (imge sıkıştırma, imge kodlama, gürültüden arındırma ve doku sentezleri). Bu ayrışmalar imgenin istatistiklerini iyi bir şekilde ortaya çıkarır. Aşağıda böyle bir ayrışma anlatılmıştır, bu ayrışmadan bir öznitelik seti elde edilmiştir. Şekil 2.1.Frekans uzayının ideal çoklu ölçek ve yönelim ayrışması. Yukarıdan aşağı 0, 1, 2 seviyeleri ve soldan sağa alçak geçiren, yatay, dikey ve çapraz alt bantlar 1 http://www.cs.dartmouth.edu/~farid/publications/sacv03.html- Bu çalışmadaki imge ayrışması, ayrılabilir dörtlü ayna süzgeçlerine bağlıdır. Şekil_2.1 ‘de gösterildiği gibi, ayrışma frekans uzayını birçok ölçek ve yöne ayırır. Bu da imgeyi eksenleri boyunca alçak geçiren, dikey, yatay ve çapraz alt bantlar oluşturmak için ayrılabilir alçak ve yüksek geçiren süzgeçlerden geçmesiyle olur. Müteakip ölçekler alçak geçiren alt bandın sürekli süzgeçlenmesi ile oluşur. i=1...n’e kadar olmak üzere yatay, dikey ve çapraz alt bantlar sırasıyla V x , yi , H i (x, y) , Di (x, y) olarak gösterilir. Şekil 2.2’de bir “disk” imgesinin 3 seviye ayrışması görülmektedir. Şekil 2.2 “disk” imgesinin üç yönelim ve üç ölçek için alt bant katsayılarının mutlak değeri. Sol üst köşede artık alçak geçiren alt bant görülmektedir. Bu imge ayrışması verildikten sonra, istatistiksel model, i=1,...,n ölçeğinde ve her yönelimdeki alt bantların ortalama, değişinti, yamukluk ve savrukluk istatistiklerinin birleşmesiyle oluşur. Bu istatistikler temel katsayı dağılımlarını karakterize eder. İkinci bir istatistiksel set katsayı genliğinin doğrusal öngörücüsünün hatasına temellenmiştir. Alt bant katsayıları, bunların uzamsal, yönelimsel ve ölçeksel komşulukları ile ilintilidir. Bunu gösterebilmek için, öncelikle i. yatay bant V x , yi yi ele alalım. Bütün olası komşulardan elde edilen alt setlerdeki katsayıların genliği için doğrusal öngörücüsü aşağıda verilmiştir: V x , y w i 1 V x 1, y w V x 1, yi 2 i w3 V x , y 1 w4 V x , y 1i i 2, 2 (2.1) w5 V 1 x y w6 D x , yi i w7 D 1 x 2, y 2i Burada | . | mutlak değeri, wk skaler ağırlıklandırma değerlerini göstermektedir. Bu lineer ilişki daha toplu olarak aşağıdaki matris formunda gösterilebilir: V Q w (2.2) T Satır vektörü w w V x , y1 wT , vektör V i nin katsayı genliklerini ve Q matrisi de (2.1) numaralı denklemde gösterilen komşuluk katsayılarının genliğini göstermektedir. Katsayılar karesel hatanın minimize edilmesiyle elde edilmiştir. 2 E w V Q w , (2.3) Bu hata fonksiyonu w ya göre türevi alınarak minimize edilir. E w 2 QT V Q w , (2.4) w denklemi sıfıra eşitlenip buradan w çözülürse, T 1 T w Q Q Q V (2.5) Doğrusal öngörücünün katsayıları bir kere kestirildikten sonra, gerçek katsayılar ve kestirilen katsayılar arasındaki logaritmik hata şu şekilde hesaplanır: E log2 V log2 Q w (2.6) Diğer istatistikler bu hatanın ortalama, değişinti, yamukluk ve savrukluk bileşenlerinden çıkarılmıştır. Bu işlemler yatay alt bandın i=1,...,n ‘ e her seviyesi için tekrarlanır, burada her seviye için yeni bir lineer tahminci kestirilir. Benzer işlemler dikey ve çapraz alt bantlar için de tekrarlanır. Dikey alt bandın doğrusal öngörücüsü; H x , y w1 H x 1, y w2 H x 1, yi i i w3 H x , y 1 w4 H x , y 1i i 2, 2 (2.7) w5 H i 1 x y w6 D x , yi w7 D 1 x 2, y 2i ve çapraz alt bant için doğrusal öngörücü; D x , y w i 1 D x 1, y w2 D x 1, yi i w3 D x , y 1 w4 D x , y 1i i 2, 2 (2.8) w5 D 1 x y w6 H x , yi i w7 V x , yi Aynen yatay alt bantta olduğu gibi hata ölçütü ve hata istatistikleri, dikey ve çapraz bantlar için de hesaplanır. Böylece 12(n-1) adet hata istatistiği elde edilir. Bunlar 12(n-1) katsayı istatistiği ile birleştirilince toplam 24(n-1) adetlik öznitelik vektörü oluşmuş olur. Bu öznitelik vektörleri kullanılarak özgün ve işlenmiş imgeleri birbirinden ayırmak için Fisher Doğrusal Ayırıcı (Fisher Lineer Discriminant –FLD ) sınıflandırıcısı kullanılır. Elde edilen sonuçlar 4. bölümde yer almaktadır. 3.FOTOMONTAJ SEZİMİ 3.1. İçerikten Bağımsız Ölçüt Yöntemi ile Fotomontaj Sezimi Bu çalışmada fotomontaj esnasında yapılan işlemlerin ölçülebilir bir bozulmaya sebep olduğunu varsaydık. Bu bozulmayı ölçmek üzere imge kalite ölçütlerini öznitelik olarak kullandık. Özgün imgelerle işlenmiş imgeleri ayırmak için kullanılan öznitelikler, imgenin fotomontaj esnasında tabi tutulduğu işlemlerden ortaya çıkan bozulmaları yansıtmaktadır. İstatistiksel özelliklere dayanan sınıflandırıcıların herhangi bir gözlemcinin gözle fark edemeyeceği bu farklılıkları yakalayabileceği umulmaktadır. Bunun için imge kalite ölçütleri kullanıldı. İmge kalite ölçütleri üzerinde hala yoğun şekilde çalışılmaktadır (Eskicioğlu ve Fisher, 1996), (Halford ve ark.,1999), (Lambrecht, 1998). İmge kalite ölçütlerinin damgalama ve imge içindeki steganografik sinyallerin varlığının seziminde kullanılabileceği (Avcıbaş ve ark., 2002, 2003) tarafından gösterilmiştir. Bu çalışmada da fotomontajda veya imgede değişiklik yapıldığında ortaya çıkabilecek birden fazla bozulumu yakalayabilmek için imge kalite ölçütleri kullanıldı. Örneğin bazı ölçütler piksel düzeyinde bozulumlara cevap vermekte, yerel bozulumlara bazıları da ayrıt bozulumlarına ve spektral faz bozulumlarına cevap vermektedir. Böyle bir durumda, imgenin içeriğindeki değişik yapıların sınıflandırıcılar tarafından imgede yapılmış değişiklik olarak algılanması riski vardır. Bu yüzden istenen, hangi öznitelik seçilirse seçilsin sınıflandırıcıların sadece imgede değişiklik yapılırken ortaya çıkan bozulumlara cevap vermesi ve imgenin yapısına bağlı değişiklikleri fotomontaj olarak algılamamasıdır. İçeriğe bağlılığı önlemek için sadece bir imge seçilip bu ve bunun değiştirilmiş sürümü referans imgeler olarak kullanılmalıdır. x test imgesini ve x+ε işlenmiş sürümünü göstersin. Aynı şekilde y ve y+η referans imge ve onun işlenmiş sürümünü göstersin. Bundan başka, a ve b gibi iki sinyalin arasındaki tipik bozulum fonksiyonu M(a,b) olsun. Örneğin bu iki sinyal arasındaki ortalama karesel bozulum E beklenen değer operatörü olmak üzere M(a,b) = E[(a-b)2] olacaktır. Burada iki varsayım yapıyoruz. İlk olarak, fotomontaj esnasında yapılan işlemler imgede eklenebilir bir bozulum oluşturmuştur. Bu sebeple üzerinde işlem yapılmış imgeler x+ε ve y+η olarak gösterilebilir. İkinci varsayım test ve referans imgelerine eklenen gürültü dik değildir, şöyle ki E{ ε * η} ≠ 0 Elde etmek istediğimiz modelde içeriğe bağımlılık olmamalı, yani bozulum sadece eklenen gürültünün bir fonksiyonu olmalıdır. Bunun için Şekil 3.1.1’de gösterilen uzunlukları temel alarak bozulumu hesaplayalım. Şekil 3.1.1. Sinyal vektörlerinin düzenleşimi : x özgün imge ve işlenmişi x+ε, y referans imge ve y+η işlenmiş sürümünü gösterir. Bu şekilde x y uzunluğu basitçe M(x,y)’ye eşittir. x y vektörü ve x vektörü arasındaki uzaklık d = M(x,y) - M(x, y+η) ve benzer şekilde kırmızı ile gösterilmiş vektörler arasındaki uzaklık d’= M(x+ε,y) – M(x+ε, y+η) Ortalama karesel hatayı hesaplayacak olursak; 2 2 2 2 2y x y x y x n 2 y x ve ' 2 2 2 2 2 2 2d y y y y x Eğer bu iki hatanın farkını alacak olursak sonucun imgenin içeriğinden bağımsız olduğunu görürüz; ' D1=d d=2 (3.1.1) Bu ölçüt sadece eklenen gürültüye bağlı olduğundan imgenin içeriğinden bağımsızdır. Şimdi başka bir ölçüt olan ilinti katsayısını ele alalım. İlinti katsayısı M(a,b)=E[ab] olarak verilir. Buna göre; xy x ' d y Buradan ' D2=d d= (3.1.2) ölçütünü elde ederiz. Görüldüğü gibi bu ölçüt de içerikten bağımsız, sadece eklenen gürültüye bağlıdır. Bu şekilde elde edeceğimiz ölçütler içerikten bağımsız bir yapı oluşturmaktadır. Bu ölçütler sınıflandırıcı tasarımında öznitelik olarak kullanıldı. (Avcıbaş ve ark., 2004) 3.1.1. Sınıflandırıcı Tasarımı Bölüm 3.2.1’de anlatılan Pudil ve ark. (1994) önerdiği Ardışıl Kayan Arama Yöntemi (Sequential Floating Search-SFS) kullanılarak belirtilen imge kalite ölçütlerinden 4 adet seçtik. Bu dört ölçüt EK-1’ de verilen açısal ilintinin iki birinci seviye momenti ve Czenakowski ölçütünün birinci momentinden oluşmaktadır. Özgün imgeler ve bunların değiştirilmiş sürümlerinden oluşan imgeler eğitim seti olarak kullanıldı. Rasgele bir referans imge seçilerek bu imge ve bunun değiştirilmiş sürümü referans olarak kullanıldı. Elde edilen öznitelikler Bölüm 3.2.2’de anlatılan doğrusal bağlanım sınıflandırıcıların tasarımında kullanıldı. 3.2. İkili Benzerlik ve İmge Kalite Ölçütlerini Kullanarak Fotomontaj Sezimi İmgelerde fotomontaj yapmak amacıyla yapılan işlemlerin bit düzlemleri arasındaki ilintiyi bozduğunu varsayıyoruz. Yapılan işlemler ilintiyi artırma (büyütmede ilintinin artması beklenebilir) veya azaltma şeklinde ortaya çıkabilir. Özetle fotomontaj yapılmış bir imgenin komşu bit düzlemleri arasındaki ilinti özgün bir imgenin bit düzlemleri arasındaki ilintiden farklıdır. Çalışmamız imgenin tek kanalı üzerinden 7-8, 6-7, 5-6, 4-5, 3-4 ve diğer iki kanalın beşinci bit düzlemleri arasındaki ilintiyi ölçmektedir. Bu çalışmada ilk olarak ikili doku istatistiklerinin karşılaştırılmasına dayanan ölçütler kullanıldı. x x , k=1, ,Ki i k ve y y , k=1, ,Ki i k aralarında ilintinin ölçüleceği bit düzlemlerine ait vektörleri göstersin. Herhangi bir piksel xi için uyuşma değişkeni 1 eger x 0 ve x 0 r s r 2 eger xr 0 ve xs 1 s 3 1 0 (3.2.1) eger xr ve x s 4 eger xr 1 ve xs 1 K j i k tanımı yapıldıktan sonra ,ji i , j=1,..4, K=4, şeklinde tanımlanabilir. k=1 Burada 1 , m = n δ (m, n) =  (3.2.2) 0 , m ≠ n Tüm imge üzerinden toplam uyuşma ise (3)’te verildiği gibi hesaplanabilir. 1 1 1 2 1 1a= , b= , c= 3 4 MN i MN i MN i , d= MN i . (3.2.3) i i i i Bu dört değişken {a,b,c,d} ikili imgeler için birlikte eşoluşum, (co-occurrence) değerleri olarak yorumlanabilir. Yukarıdaki tanımları kullanarak, Çizelge 3.2.1‘ de gösterildiği gibi bir çok imge benzerlik ölçütü tanımlayabiliriz. Bu tabloda m1 ‘ den m9 ‘ a kadar olan ölçütler imgenin bir kanalının üçüncü, dördüncü, beşinci, altıncı, yedinci ve sekizinci bit düzlemleri ile diğer iki kanalın beşinci düzlemleri için ayrı ayrı bulundu. Üç çeşit benzerlik ölçütü tanımlanabilir: 1 2 • İlk grup, bunların farklarını içerir. dmi =m i mi i=1, ,9 , Burada m1 ve m2 aralarında ölçüm yapılacak bit düzlemlerini temsil etmektedir. Yani imgenin tek kanalı için 7-8, 6-7, 5-6, 4-5, 3-4 ve diğer iki kanalın beşinci bit düzlemleri. • İkinci grup histogramları ve entropik özellikleri içerir. Öncelikle bit düzlemleri uyuşmalarının histogramları normalize edilir.(b bit düzlemlerini temsil eder) βp =∑α j / ∑∑α j ; β = 3...8 (3.2.4) j i i i i j Bu normalize edilmiş 4 seleli histogramlara dayanarak, minimum histogram farkı dm10, mutlak histogram farkı ölçütü dm11, ikili karşılıklı entropi dm12 ve ikili Kullback Leiblerr farkı dm13 de Çizelge 3.2.1’ de verilmiştir. • 3. set olan dm14 .... dm17 (Ojala ve ark.) tarafından önerilmiş doku ölçütü değiştirilerek Şekil 1.a ‘da verilen komşuluklar temel alınıp 256 seleli histogramlar yardımıyla hesaplanabilir. Histogramların hesaplanmasında skorlar Şekil 7 i 3.2.1.b’deki ağırlıklandırma kullanılarak S= x 2i şeklinde hesaplanır. N i=0 1 histogramdaki sele sayısı olmak üzere Sn arasındaki ilinti ölçülecek bit 2 düzlemlerinin birincisi, Sn ikinci bit düzlemi olsun. 256 seleli histogramları normalize ettikten sonra Ojala minimum histogram farkı dm14, Ojala mutlak histogram farkı ölçütü dm15, Ojala karşılıklı entropi ölçütü dm16 ve Ojala Kullback Leibler uzaklığı dm17 Çizelge 3.2.1 ‘ de verilmiştir. 1 2 4 0 1 0 128 x i 8 1 x i 0 64 32 16 0 1 1 b) Şekil 3.2.1. Ağırlıklı Komşuluk a) Ağırlıklandırma katsayıları, b) Ağırlıklandırma sonrasında elde edilen skor, S=2+16+32+128=178 Çizelge 3.2.1 İkili Benzerlik Ölçütleri Benzerlik Ölçütü Açıklaması Sokal and Sneath Benzerlik Ölçütü 1 2 a+d m1 2 a+d +b+c Çizelge 3.2.1 (Devam) İkili Benzerlik Ölçütleri Sokal and Sneath Benzerlik Ölçütü 2 a m2 = a + 2(b + c) Kulczynski Benzerlik Ölçütü 1 a m3 = b + c Sokal and Sneath Benzerlik Ölçütü 3 a + d m4 = b + c Sokal and Sneath Benzerlik Ölçütü 4 a a+b a a+c +d b+d +d c+d m5 4 Sokal & Sneath Benzerlik Ölçütü 5 ad m 6 = ( a + b )( a + c )( b + d )( c + d ) Ochiai Benzerlik Ölçütü  a  a  m 7 =     a + b  a + c  İkili Lance-ve-Williams Nonmetrik b + c Farklılık Ölçütü m8 = 2a + b + c Nesne Farkı bc m9 = ( + 2a b + c + d ) İkili Minimum Histogram Farkı 4 dm min p1 ,p2 10 n n n=1 İkili Mutlak Histogram Farkı 4 dm p1 p2 11 n n n=1 İkili Karşılıklı Entropi 4 dm p1 log p2 12 n n n=1 İkili Kullback Leibler Uzaklığı 4 1 1 pn dm13 pn log 2 n=1 pn Ojala Minimum Histogram Farkı N dm min S1 ,S 2 14 n n n=1 Ojala Mutlak Histogram Farkı N dm S1 S 2 15 n n n=1 Ojala Karşılıklı Entropisi N dm S1 log S 2 16 n n n=1 Ojala Kullback Leibler Uzaklığı N 1 1 S n dm17 S n log 2 n=1 S n Çalışmamızda ikili benzerlik ölçütlerine ek olarak, imge kalite ölçütlerini kullandık. Burada dayandığımız nokta, imge kalite ölçütlerinin bir bozucu etkiye tepkisinin, özgün imgeler için herhangi bir işleme tabi tutulmuş imgelerden farklı olacağıdır. Bu bozucu etkiyi bulanıklaştırma (blurring) olarak seçtik. Öncelikle özgün imgelere bulanıklaştırma uygulandı. Orijinal imge ve bunun bulanıklaştırma uygulanmış sürümü arasında Ek-2’de verilen imge kalite ölçütleri hesaplandı. Aynı şekilde üzerine işlem uygulanmış imgeler bulanıklaştırma işlemine tabi tutularak, aralarındaki imge kalite ölçütleri hesaplandı. Bu iki grup imge kalite ölçütü istatistiksel olarak birbirinden farklı olmaktadır. Buna dayanarak uygun kullanılan imge kalite ölçütleri, ikili benzerlik ölçütleri ile birlikte fotomontajın sezilmesinde kullanılmaktadır. Birden çok imge kalite ölçütünün kullanılmasının sebebi, her bir ölçütün farklı bozulumlara farklı oranlarda yanıt vermeleridir. Örneğin ortalama karesel hata daha çok toplanabilir gürültüye duyarlıdır. Fotomontaj sezim algoritması bit düzlemleri arasında ikili benzerlik ölçütlerini ve imge kalite ölçütlerini kullanarak bir imgede fotomontaj olup olmadığına karar vermektedir. Burada yapılabilecek her işlem için ayrı ayrı sınıflandırıcılar tasarlanmıştır. Bu sınıflandırıcılar işleme tabi tutulmuş imgeler ile özgün imgeleri eğitim kümesi olarak kullanıp bir eğitim aşamasından geçmektedir. Bu şekilde elde edilen doğrusal sınıflandırıcılar, daha sonra herhangi bir imge verildiğinde, şüpheli bloktan hesaplanan öznitelik vektörünü kullanarak sınıflandırma kararına varmaktadır. 3.2.1 Öznitelik Seçimi On yedi adet ikili benzerlik ölçütü imgenin kırmızı kanalı üzerinden 8-7, 7-6, 6- 5, 5-4, 4-3 bit düzlemleri ve yeşil ile mavi kanalların beşinci bit düzlemleri arasında hesaplandı. Dolayısıyla 17x6=102 adet öznitelik elde edildi. Bunlara ek olarak her bir imge için sekiz adet imge kalite ölçütü hesaplandı ve her bir imge için toplam 110 öznitelikten oluşan bir öznitelik vektörü elde edildi. Ardışıl Kayan Arama Yöntemi (Sequential Floating Search-SFS) kullanılarak en iyi öznitelik kümesi seçilmeye çalışıldı. SFS yönteminde özniteliklerin birbirinden bağımsız olma zorunluluğu yoktur. Tüm öznitelikler birlikte değerlendirilip, fazlalık olanlar elenebilir. Pudil ve ark. (1994), en iyi öznitelik setinin, sınıflandırıcı performansında bir iyileşme mümkün olmayıncaya kadar, var olan öznitelik setinden ekleme ve/veya çıkarma yaparak oluşturulacağını öne sürmüştür. SFS yordamı aşağıdaki gibi tanımlanır: • K adet öznitelikten en iyi sonucu veren öznitelik çiftini seç. • Kalan özniteliklerden en değerli olanı ekle, burada seçimi sınıflandırma sonuçlarına en çok katkı yapan öznitelik olarak yap. • Setten her bir özniteliği tek tek çıkararak en değersiz özniteliği belirle. Herhangi birinin çıkarılmasının sınıflandırma sonucuna etkisini (arttırma veya azaltma yönünde) kontrol et. Eğer arttırıyorsa bu özniteliği çıkar ve 3. basamağa dön, azaltıyorsa bu özniteliği çıkarmadan 2. basamağa dön • İstenen sayıda özniteliğe ulaşınca dur. Her bir doğrusal bağlanım sınıflandırıcısı için SFS i kullanarak uygun öznitelik setini elde etmeye çalıştık. Temsili sınıflandırıcılar için seçilen öznitelikler Çizelge 4.2.9.1 ‘de verilmiştir. 3.2.2 Sınıflandırıcı Seçilen öznitelikler çoklu bağlanım (multiple regression) analizi kullanılarak her bir işlem için ayrı seziciler tasarlandı. Aşağıdaki bağlanım denkleminde y1 = β1x11 + β 2 x12 +L+ β q x1q + ε1 y2 = β1x21 + β 2 x22 +L+ β q x2q + ε 2 M (3.2.2.1) yn = β1xn1 + β 2 xn2 +L+ β q xnq + ε n x ij i’inci imge üzerindeki j’inci özniteliğin değerini vermekte, β’lar bağlanım katsayıları olmakta, y’ler ise –1 ve +1’e kodlanan “fotomontaj vardır” ve “fotomontaj yoktur” yanıtlarıdır. Standart doğrusal modelin tanımı (3.2.2.2)’ de verildiği gibidir,  rank ( X ) = q  [ ] 0 (3.2.2.2) y = X β + ε öyleki Ε ε = nxq   [ ] 2 Cov ε = σ Ι Optimum en küçük ortalama karesel hatalı doğrusal öngörücü (3.2.2.3) ile elde edilir. βˆ = (X T X )−1 (X T y) (3.2.2.3) böylece öğrenme aşamasında katsayıları işlenmemiş imgeler ve birtakım işlemlere tabi tutulmuş imgelerden elde edilen öznitelikler kullanılarak kestirilmektedir. Sınama aşamasında ise test edilecek imgeden q adet öznitelik hesaplanmakta, daha sonra öngörü katsayıları kullanılarak bu q adet ölçüt skorunun bir çıkış değerine, y , bağlanımı elde edilmektedir (3.2.2.4). Eğer çıkış değeri deneysel olarak belirlenmiş TH eşik değerini geçerse imgenin işlenmiş olduğuna, aksi halde imgeye bir işlem uygulanmadığına karar verilir. yˆ = βˆ x + βˆ x ˆ1 1 2 2 +K+ β q xq (3.2.2.4) Eğer y TH ise imge işlenmiş y