„Wo steht dieses Haus in Koblenz?“ Im Rahmen eines Projekt- und Forschungspraktikums beschäftigen wir uns mit dieser Problemstellung. Gegeben ein Bild von einem Haus extrahieren wir die Merkmale aus dem Bild, vergleichen diese mit unserer Datenbank und machen deskriptorbasierte Bild-zu-Bild Vergleiche, um die richtige Adresse zu finden.

Für unserer Projekt haben wir eine Datenbank von Hausfronten koblenzer Häuser aus Google Street View und Apple Maps Bildern erstellt, die wir mit Metadaten des Landesvermessungsamtes verknüpft haben. Zur Laufzeit werden aus einem gegebenen Bild aussagekräftige Eigenschaften extrahiert (Dachform, Begrünung, Etagenzahl) und mit unseren Metadaten verglichen. Anschließend folgt ein deskriptorbasierter Merkmalsvergleich des Bildes mit jenen aus unserer Datenbank. Hierbei wurden traditionelle Methoden wie SIFT mit Deep Learning basierter Merkmalsextraktion über DELF verglichen. Basierend auf dem Zusammenspiel dieser Informationen gibt das System eine sortierte Liste an möglichen Adressen und eine Heatmap zurück.