Unsupervised Object Classification for User Interfaces

Studiengänge: Informatik, Informationstechnik

Hintergrund:

Benutzeroberflächen sind reich an visuellen Eigenschaften, wie Symbolen, Texten, Farbkombinationen. Aktuell werden diese visuellen Eigenschaften nur durch Menschen benutzt, als Kommunikationsmittel zwischen Mensch und Maschine. Algorithmen greifen meist auf den darunterliegenden Quelltext, bspw. HTML, zu. Dies führt dazu, dass Algorithmen eine UI anders wahrnehmen und verarbeiten als Menschen. Dies ist vor allem problematisch im Bereich Software Testing, bei denen Programmierer menschliche Intentionen wie ‘klick auf den login button’ in Quelltext umsetzen müssen, um das Verhalten des Nutzers zu simulieren. Aktuelle Verfahren, die visuelle und sprachliche Eigenschaften vereinen, wie z.B. Image Captioning, Visual Reasoning oder auch Visual Question Answering, sind ohne gute visuelle Repräsentationen nicht möglich. Ein manuelles Annotieren der Benutzeroberflächen ist sehr aufwendig und erzeugt hohe Kosten.

In jüngster Zeit werden vermehrt Algorithmen zur unüberwachten Bildklassifikation entwickelt und verbessert. Diese werden auf Bilddaten, die  in sozialen Netzwerken entstehen angewendet, um so den manuellen Annotierungsaufwand zu vermeiden. Einzelne Elemente der Benutzeroberfläche können anhand des Quelltextes aus dem Bild ausgeschnitten werden und anschließend einer unüberwachte Bildklassifikation unterzogen werden. Dies würde den Annotierungsaufwand reduzieren und visuell-sprachliche Probleme auf die Domäne der Benutzeroberflächen transferieren.

Ihre Aufgabe

• Recherche zum Stand der Technik und Wissenschaft
• Entwickeln eines Web Scrapers
• Implementierung eines unsupervised Klassifizierungsalgorithmus
• Evaluierung des Algorithmus auf verschiedenen Datensätzen
• Wissenschaftliche Aufbereitung und Dokumentation

Wir bieten

• Intensive Betreuung
• Arbeiten mit Start Up
• Eine angenehme Arbeitsatmosphäre und konstruktive Zusammenarbeit

Wir erwarten

• Selbstständiges Denken und Arbeiten
• Kenntnisse in Python (Tensorflow oder Keras)
• Kenntnisse neuronaler Netze

Neugierig? Kontaktieren Sie: Dominik Klotz  dominik.klotz@askyourui.com         Yexu Zhou  zhou@teco.edu 

Referenz:

[1] SCAN: Learning to Classify Images without Labels: https://arxiv.org/pdf/2005.12320.pdf

[2] Unsupervised Pre-Training of Image Features on Non-Curated Data: https://arxiv.org/pdf/1905.01278.pdf

[3] A Simple Framework for Contrastive Learning of Visual Representation: https://arxiv.org/pdf/2002.05709.pdf

[4] Bootstrap your own latent: A new approach to self-supervised Learning: https://arxiv.org/pdf/2006.07733.pdf

[5] Deep Clustering for Unsupervised Learning of Visual Features: https://arxiv.org/pdf/1807.05520.pdf

[6] Self-labelling via simultaneous clustering and representation learning: https://arxiv.org/pdf/1911.05371.pdf

[7] Unsupervised Learning of Visual Features by Contrasting Cluster Assignments: https://arxiv.org/abs/2006.09882

[8] Unsupervised Object Detection with LiDAR Clues: https://arxiv.org/pdf/2011.12953.pdf

Datasets:

1. UIQA-Dataset
2. askui-Dataset