Büyük imge veri tabanlarında erişim için yarı eğitmenli görsel temsiller

Abstract

İmge erişimi, bir sorgu imgesine benzeyen imgeleri birçok imge arasından bulup sıralı bir şekilde döndürme işlemidir ve yapılan birçok çalışmaya rağmen hala tam olarak çözülemeyen zorlu bir bilgisayarlı görü alanıdır. İmge erişiminde en büyük problem imgenin görsel içeriğine bakarak imgeyi, onu betimleyen doğru anlambilimsel kelimelerle (sınıflar) eşleştirebilmektir. Bu tez kapsamında bu problemi en iyi biçimde çözebilmek amacıyla çok sayıdaki etiketsiz imgeyle birlikte sınırlı sayıdaki etiketli imgeyi de kullanan etkili makine ile öğrenme tekniklerinin kullanılması amaçlanmıştır. İmge erişiminde bir diğer büyük problem veri sayısının çok fazla olduğu gerçekçi uygulamalarda işlem yükünün de çok fazla olmasıdır. İmge erişimi için önerilen ilk yöntemlerde düşük seviye öznitelik çıkarma ve imge öznitelik vektörleri arasındaki benzerliği ölçmeye dayalı teknikler kullanılmıştır. Ancak bu şekilde imgeleri doğru bir biçimde sınıflandırmak ya da imgenin içeriğini doğru bir şekilde anlamak mümkün değildir. Anlambilimsel boşluk problemi olarak adlandırılan problemin çözümünü kolaylaştırmak için izlenecek yollardan birisi tüm imgeleri etiketlemektir. Fakat imge sayısının çok fazla olduğu durumlarda bu işlemin elle yapılması pratikte hem pahalı hem de zor bir iştir. Bu nedenle bu tür etiketleme işlemleri yarı-otomatik veya tam-otomatik algoritmalar tarafından yapılmaktadır. Bu algoritmaların kullanımı neticesinde de genellikle etiketlerin arasında hatalar ve gereksiz kelimeler bulunmaktadır. Tez kapsamında yapılan çalışmalarda ilk olarak hatalı etiketli verilerin temizlenmesi üzerinde çalışmalar yapılmış olup bu amaçla yarı-otomatik bir etiketleme aracı geliştirilmiştir. Ardından literatürdeki makine ile öğrenme teknikleri kullanılarak mevcut etiketli veriler ile birlikte etiketsiz verileri de kullanan milyonlarca veriyle çalışabilen bir imge erişim sistemi geliştirilmiştir. Bu kapsamda, mevcut etiketli veriler ve bu imgelerin görsel benzerlikleri kullanılarak sınıf hiyerarşileri belirlenmiş daha sonra hem etiketli hem de etiketsiz verileri etkili bir şekilde kullanan transdaktif öğrenme yöntemi hızlı imge erişimi için imgeler arasındaki anlambilimsel ilişkileri yansıtan gürbüz ve etkili özet kodları oluşturulmada kullanılmıştır. Yapılan deneylerde önerilen yöntemin k-en yakın komşu algoritmasının performansını önemli ölçülerde iyileştirdiği gözlenmiştir.

Image retrieval can be defined as follows: Given a query image, finding and presenting (in ordered manner) the images depicitng the same place or object in a large unordered image collections. Despite the great research efforts, image retrieval is still a challenging problem The main problem in image retrieval is to bridge the semantic gap between the visual content and a textual description of the image. This thesis proposes to bridge this gap using machine learning techniques based on the semi-supervised information (given in terms of textual description) associated to the some images. In addition to this semantic gap problem, in order to solve the image retrieval from realistic point of view, we have to provide a large image database which brings additional computational difficulties. Early studies generally focused on low-level feature extraction and similarity measurements for image retrieval. However due to the complexity of image understanding, it is very unlikely to discriminate images correctly based on the distance measurements by using only low-level features. To solve the challenging semantic gap problem, one feasible way is to build a textual description index for all images. However making suitable textual index manually in large image databases is too costly and difficult in practice. Instead of manual image annotation, automatic or semi-automatic annotation tools were developed. Therefore, such descriptions associated to the images are generally too noisy and include errors. In this thesis we first studies were made on the cleaning of the labeled data incorrectly and a semi-automatic labeling tool has been developed. Then, using the machine learning tecniques in literature, an image retrieval system that uses available labeled data together with unlabeled data and can work with millions of data was developed. In this scope, images with labels were hieararchically organized based on their visual content similarities and labels. In the next step transductive learning and modified clustering algorithms were used. As apart of this process, efficient and robust hashing methods were generated that build binary codes that preserve the semantic similarity by using both the labeled and unlabeled data.