Nervennahrung

Bachelorarbeit Aufmerksamkeitserkennung bei Videokonferenzen

19.12.2023

Bachelorthema: Aufmerksamkeitserkennung bei Videokonferenzen

Es geht um die Auswertung von Aufmerksamkeitserkennung in MorphCast (eine Web AI Suite) und mit Modellen, die die Forschungsgruppe entwickelt hat. Dabei wird ein DAiSEE Datensatz (10s Videos mit Aufmerksamkeitslabel 0-3) und die Ergebnisse unserere Modelle zur Verfügung gestellt werden. Ziel ist es, Videos auf den Aufmerksamkeitsscore von MorphCast abzubilden und mit den Labels und unseren Ergebnissen zu vergleichen, um die eigenen und die kommerziellen Modelle vergleichen zu können.

Theoretische Grundlagen:

Sie sollten die Grundlagen der statistischen Auswertung und des Vergleichs von Klassifikatoren wie Korrelation, Konfusionsmatrix, FalsePositive Rates und andere Metriken kennen.

Rahmenbedingungen

  • Für die gegebenen Videos wird die Aufmerksamkeit wie von MorphCast zurückgegeben strukturiert gespeichert.
  • Für jedes Video für jeden Frame existiert ein ungefilterter Aufmerksamkeitswert.
  • Dazu ist es eventuell nötig, mit der API von MorphCast ein passendes JavaScript Script (oder Python o.ä.) zu schreiben.
  • Wünschenswert wäre, dass das Programm unabhäning von den Datensätzen ist und für andere Datensätze benutzt werden kann.
  • Die MorphCast Ergebnisse werden ausgewertet und mit unseren Ergebnissen verglichen.
  • Wünschenswert wär eine Auswertung in Python mit Matplotlib Visualisiertung, die auch für andere Daten benutzt werden kann.

Die Arbeit wird durch einen wissenschaftlichen Mitarbeiter, Hrn. Cyriax Brast, eng betreut. Weitere Auskünfte gibt Herr Brast oder ich selbst.