Nervennahrung

Blog Logo

Master and Bachelor Thesis

10.05.2024

We do offer the following new bachelor and master thesis / topics in our research group:

  1. B.Sc. Attention and similarity scores
  2. B.Sc. Random Feature Transformer for classification
  3. B.Sc. Random Feature Transformer for language translation
  4. M.Sc. Random Projections

Anyone interested should contact our PhD. candidate Marius Lotz.

IndasImTV

22.03.2024

Rheinmaintv hat einen Bericht über ein Projekt unserer Forschungsgruppe mit den Firmen Bühler und optovision produziert.

Wissenschaftsfreiheit in Hessen

06.03.2024

Wichtiges Urteil des Hessischen Staatsgerichtshofs zum Hessischen Hochschulgesetz: “Wesentliche Teile des HessHG betreffend die 2022 gegründete Hessische Hochschule für öffentliches Management und Sicherheit (HöMS), bei der die Hessische Hochschule für Polizei und Verwaltung, die Polizeiakademie Hessen und die Zentrale Fortbildung Hessens zusammengeführt wurden, verstoßen eindeutig gegen das Grundrecht der Wissenschaftsfreiheit und sind deswegen mit der hessischen Verfassung unvereinbar.” (Quelle: Mitgliederinformation des HLB Landesverbandes Hessen)

Der HLB führt aus: “Der Bestellung und Abberufung der Präsidentin oder des Präsidenten an der HöMS ausschließlich durch ein Ministerium schoben die Richterinnen und Richter einen Riegel vor. Sie ließen keinen Zweifel daran, dass das Oberhaupt einer wissenschaftlichen Hochschule generell – und damit auch an der neugegründeten Hochschule HöMS – durch den Senat zu wählen ist. Außerdem, so das Gericht, müssen Professorinnen und Professoren in den Selbstverwaltungsgremien der Hochschulen wie im Senat und den Fachbereichsräten stets die Mehrheit haben.”

Ganz zufrieden ist der HLB mit dem Urteil jedoch nicht und kommentiert: “Wir bedauern es jedoch, dass der Staatsgerichtshof es nicht grundsätzlich für verfassungswidrig erachtet, eine Hochschule wie die ursprüngliche Hessische Hochschule für Polizei und Verwaltung mit einer Verwaltungsbehörde wie der Polizeiakademie Hessen zu verknüpfen. Wir wollen ja auch nicht, dass die Technische Hochschule Mittelhessen zugleich Eichamt wird, nur weil sie technische Studiengänge anbietet.”

Wissenschaftsfreiheit

27.02.2024

“Wer immer noch meint, Hass und Hetze wären allein das Metier rechter Ideologen, wird durch den Beitrag von Geraldine Rauch [Präsidentin der TU Berlin] eines Besseren belehrt.” - so beginnt eine Erwiderung auf einen Angriff auf das Netzwerk Wissenschaftsfreiheit, dessen Mitglied ich bin und für das ich als Vertrauensdozent für diese Hochschule agiere. Das Pamphlet von Frau Rauch ist ebenso meinungsstark wie frei von Sachkenntnis - erstaunlich für eine Präsidentin einer so großen Hochschule - und ich habe daher sehr gerne mit den Kollegen Schönecker und Meißner geantwortet.

Update: Die Kontroverse nimmt Fahrt auf. Ein sehr schöner Artikel von Thomas Thiel fasst den Stand der Debatte zusammen und kommentiert.

Masterthesis

19.02.2024

In our research group we have a couple of new masterthesis to offer:

M.Sc. Transcription with Textual Topical Priors

This master thesis aims to improve speech2text transcriptions. The research question is: Given a speech2text model/pipeline and a sample speech of a given topic and another text of the same topic can we improve the transcription?

Current transcription programs are generic and don’t have prior knowledge about any topic. Professional simultaneous interpreters are sometimes given keywords and an outline of the content before translating. Is a similar approach feasible for automatic speech2text pipelines?

Expected Tasks and Skills:

  • Programming or modifying ML pipelines for audio and text processing
  • Theoretical knowledge about ML models and performance metrics

Requirements/Questions:

  • How can speech2text models be improved without relearning/fine-tuning (zero-shot)?
  • How do transcriptions models work and how to modify them?
  • Are different topic specific word distributions one-shot learnable and can they be transferred to audio models?
  • Can we fix the output in a post processing step given topical knowledge?

This thesis may be written in German or English (depending on study course). The thesis will be supported by Cyriax Brast and Eicke Godehardt or myself. For further inquiries, please consult Mr Cyriax Brast.

Speech Semantic Search and Summarization

Audio data of videos or video conferences contains information that a user wants to search for (e.g. when was something taught in a lecture, was a given topic addressed in a meeting). While improved transcription promotes semantic search of audio data, this differs from just trying to improve transcription quality. Compressing the content might be more or less susceptible to individual transcription errors and search provides priors.

Expected Tasks and Skills:

  • Programming or modifying ML pipelines for audio and text processing
  • Theoretical knowledge about ML models and performance metrics

Requirements/Questions:

  • Given a speech2text model/pipeline can we summarize it’s content? How good is it?
  • Can we make its content available to be semantically searchable? How good is it?

This thesis may be written in German or English (depending on study course). The thesis will be supported by Cyriax Brast and Eicke Godehardt or myself. For further inquiries, please consult Mr Cyriax Brast.

Turn Taking / End of Speech Prediction

During online conversations in video conferences we want to predict the changes in who speaks currently. Points in the conversation where the speaker changes are called transition relevance places (TRP). In a natural conversion humans predict possible ends of utterances by tone, pauses, and by predicting the content semantically.

Illustration of turn taking events: IPU (Interpausal Unit), Turn (for speaker A and Speaker B, resp), P. (within-speaker Pause), Gap, Overlap and Backchannel

CC BY 4.0 by Tú Anh Nguyễn, Eugene Kharitonov, Jade Copet,[…] ,Emmanuel Dupoux

Expected Tasks and Skills:

  • Programming or modifying ML pipelines for audio
  • Theoretical knowledge about ML models, neural networks and performance metrics
  • This thesis requires training ones own models

Requirements / Questions:

  • Find a suitable dataset.
  • Program a pipeline (in Python): Audio -> Diaritization -> Turn Taking markers to generate training data.
  • Program a pipeline predicting the end of turn/TRP.
  • How well can we predict the end of an Inter Pausal Unit (IPU) / Utterance analyzing the audio of a conversation?

This thesis may be written in German or English (depending on study course). The thesis will be supported by Cyriax Brast and Eicke Godehardt or myself. For further inquiries, please consult Mr Cyriax Brast.

Turn Taking / Next Speaker Prediction

During online conversations in video conferences we want to predict the changes in who speaks currently. Points in the conversation where the speaker changes are called transition relevance places (TRP). We believe that the next speaker can be identified visually by certain modes of attention/engagement before they take the turn.

Illustration of turn taking events: IPU (Interpausal Unit), Turn (for speaker A and Speaker B, resp), P. (within-speaker Pause), Gap, Overlap and Backchannel

CC BY 4.0 by Tú Anh Nguyễn, Eugene Kharitonov, Jade Copet,[…] ,Emmanuel Dupoux

Expected Tasks and Skills:

  • Programming or modifying ML pipelines for video
  • Theoretical knowledge about ML models, neural networks and performance metrics
  • This thesis requires training ones own models

Requirements / Questions:

  • Find a suitable dataset.
  • Find Active Speaker Detection video pipelines to generate training data.
  • Program a pipeline predicting the next speaker.
  • How well can we predict who wants to speak next given a video?

This thesis may be written in German or English (depending on study course). The thesis will be supported by Cyriax Brast and Eicke Godehardt or myself. For further inquiries, please consult Mr Cyriax Brast.

Der Digital Services Act (DSA) ist ein Frontalangriff der EU auf die Meinungsfreiheit

20.01.2024

Weitgehend unbemerkt von der breiteren Öffentlichkeit ist am 17.01.24 der Digital Services Act (DSA) in Kraft getreten. Manfred Kölsch, Richter i.R. warnt in der Berliner Zeitung mit deutlichen Worten vor den Konsequenzen für die Meinungsfreiheit und sieht einen “Angriff auf die verfassungsmäßige Ordnung”. Der DSA eröffnet die Möglichkeit, illegale, aber auch nicht rechtswidrige Eintragungen auf sehr großen Onlineplattformen ab 45 Millionen Nutzern als löschungspflichtig zu erklären. Während die Verpflichtung zum Löschen von rechtswidrigen Eintragungen sich zunächst vernünftig anhört, ist sie laut Patrick Breyer von der Piratenpartei problematisch:

“Nach dem Digital Services Act ist es möglich, dass ein Land Informationen, die nur dort illegal sind, die aber woanders überhaupt kein Problem darstellen, löschen lässt. Und das im Zweifel europaweit. Ein Problem, so der Parlamentarier, wenn beispielsweise Ungarn ein Video, das sich kritisch mit der Regierung von Viktor Orban auseinandersetzt, in der ganzen EU aus dem Internet tilgen will. Möglich also, dass mit dem DSA neuer Konfliktstoff für Europa kommt.” (Quelle: Tagesschau).

Da sind wir dann gespannt, wie lange es dauert, bis autoritäre Staaten sich dieses Instrument zunutze machen und wie dann entschieden werden wird.

Die Verpflichtung zum Löschen auch von nicht! rechtswidrigen Eintragungen, bei denen dann über die Zulässigkeit von Beiträgen durch die EU-Kommission entschieden werden soll, ist eklatant verfassungswidrig. Vordergründig soll es gegen Corona-Leugner und Querdenker, rechte Milieus und Fakenews für ein “menschlicheres Internet” gehen. Doch hier muss daran erinnert werden, daß unser Grundgesetz Meinungen unabhängig vom Wahrheitsgehalt schützt. Es ist nicht Aufgabe einer staatlichen Behörde über Wahrheit zu entscheiden. Hier sei daran erinnert, daß zu Beginn der Corona-Pandemie das Maskentragen zum Schutz vor dem Virus als Fakenews bewertet wurde, u.a. Drosten im Januar 2020: “Damit [mit einer Maske] hält man (das Virus) nicht auf.” oder Lars Schaade (Vizepräsident RKI) im Februar 2020: “Das ist mehrfach untersucht worden, es gibt keine wissenschaftliche Evidenz, dass das irgendeinen Sinn hätte”. Danach galt für mehrere Jahre das Tragen von Masken in allen möglichen Alltagssituationen geradezu als staatsbürgerliche Pflicht, während es heute in der Wissenschaft wieder kontrovers diskutiert wird, s. z. B. die Cochranestudie aus 2023. Nach dem DSA könnte die EU jetzt die Löschung einiger (welcher?) dieser Beiträge einfordern - ein Unding. Langsam fragt man sich, welcher Geist in Brüssel und Berlin herrscht - ein demokratischer mit Vertrauen in das Staatsvolk anscheinend nicht. Viktor Orban ist vermutlich ein Fan des DSA.

Update: Auf Telepolis thematisiert Philipp Fess das Thema DSA im Kontext des zunehmend um sich umgreifenden “betreuten Denkens” und nimmt ebenfalls Bezug auf den oben erwähnten Beitrag von Kölsch:

“Das Maß, an dem die Beurteilung als Desinformation ausgerichtet ist, wird von der Europäischen Kommission gesetzt – das aber heißt, dass politisch unliebsame Meinungen, ja wissenschaftlich argumentierte Positionen gelöscht werden können, und nicht nur das: Bei einer Einstufung als rechtswidrig drohen soziale Konsequenzen.”

Update (7.3.2024): Spannender Kommentar “Die Stunde der grünen Zensoren” des Ressortleiters Feuilleton, Andreas Rosenfelder, in der Welt zum Thema.

Bachelorarbeit Aufmerksamkeitserkennung

10.01.2024

In unserem Forschungsprojekt iDirector ist eine Bachelorarbeit zu vergeben. Es geht um die Auswertung von Aufmerksamkeitserkennung in MorphCast (eine Web AI Suite) und unseren Modellen. Dabei wird der DAiSEE Datensatz (10s Videos mit Aufmerksamkeitslabel 0-3) und die Ergebnisse unserer Modelle zur Verfügung gestellt werden. Ziel ist Videos auf den Aufmerksamkeitsscore von MorphCast abzubilden und mit den Labels und unseren Ergebnissen zu vergleichen.

Theoretische Anforderungen

  • Grundlagen der Statistischen Auswertung und des Vergleichs von Klassifikatoren
  • Korrelation, Konfusionsmatrix, FalsePositive Rates und andere Metriken

Arbeitsanforderungen

  • für die gegebenen Videos wird die Aufmerksamkeit wie von MorphCast zurückgegeben strukturiert gespeichert
  • für jedes Video für jeden Frame existiert ein ungefilterter Aufmerksamkeitswert
  • (eventuell) dazu ist es eventuell nötig mit der API von MorphCast ein passendes JavaScript Script zu schreiben
  • (eventuell) vielleicht ist diese Automatisierung auch mit Python oder einer anderen Sprache möglich
  • wünschenswert wär, dass das Programm unabhängig von den Datensätzen ist und für andere Datensätze benutzt werden kann
  • die MorphCast Ergebnisse werden ausgewertet und mit unseren Ergebnissen verglichen
  • wünschenswert wär eine Auswertung in Python mit Matplotlib Visualisierung, die auch für andere Daten benutzt werden kann.

Die Arbeit wird von Eicke Godehardt, Cyriax Brast und mir betreut werden; Kontakt Cyriax Brast

Master Thesis Air Quality

05.01.2024

In our research group we are offering a master thesis on the following topic “Addressing Missing Values in Madrid Air Quality Dataset Using Transformers” - for details, we refer to the Moodle Entry.

Bachelorarbeit Aufmerksamkeitserkennung bei Videokonferenzen

19.12.2023

Bachelorthema: Aufmerksamkeitserkennung bei Videokonferenzen

Es geht um die Auswertung von Aufmerksamkeitserkennung in MorphCast (eine Web AI Suite) und mit Modellen, die die Forschungsgruppe entwickelt hat. Dabei wird ein DAiSEE Datensatz (10s Videos mit Aufmerksamkeitslabel 0-3) und die Ergebnisse unserere Modelle zur Verfügung gestellt werden. Ziel ist es, Videos auf den Aufmerksamkeitsscore von MorphCast abzubilden und mit den Labels und unseren Ergebnissen zu vergleichen, um die eigenen und die kommerziellen Modelle vergleichen zu können.

Theoretische Grundlagen:

Sie sollten die Grundlagen der statistischen Auswertung und des Vergleichs von Klassifikatoren wie Korrelation, Konfusionsmatrix, FalsePositive Rates und andere Metriken kennen.

Rahmenbedingungen

  • Für die gegebenen Videos wird die Aufmerksamkeit wie von MorphCast zurückgegeben strukturiert gespeichert.
  • Für jedes Video für jeden Frame existiert ein ungefilterter Aufmerksamkeitswert.
  • Dazu ist es eventuell nötig, mit der API von MorphCast ein passendes JavaScript Script (oder Python o.ä.) zu schreiben.
  • Wünschenswert wäre, dass das Programm unabhäning von den Datensätzen ist und für andere Datensätze benutzt werden kann.
  • Die MorphCast Ergebnisse werden ausgewertet und mit unseren Ergebnissen verglichen.
  • Wünschenswert wär eine Auswertung in Python mit Matplotlib Visualisiertung, die auch für andere Daten benutzt werden kann.

Die Arbeit wird durch einen wissenschaftlichen Mitarbeiter, Hrn. Cyriax Brast, eng betreut. Weitere Auskünfte gibt Herr Brast oder ich selbst.

Masterarbeit Ausbau eines CSI Labs mit openwifi (FPGA Boards)

20.10.2023

Unsere Forschungsgruppe Channel State Information (CSI) erforscht die Übertragungscharakteristika von Kommunikationskanälen wie sie z. B. bei der W-LAN (IEEE 802.11) Kommunikation benutzt werden. Die feingranularen Daten, die dabei anfallen, ermöglichen vielfältige, praktische Anwendungen u.a. Lokalisierung, Erkennung von Aktivitäten (Human Activity Recognition), 3D Pose Recognition einschl. Skeletonmodelling. So können u.a. handelsübliche W-LAN Router zur Sturzerkennung im Kontext von Ambient Assisted Living (AAL) oder zur Gestenerkennung eingesetzt werden. In der Forschungsgruppe CSI arbeiten wir interdisziplinär mit dem Mixed Reality Labor und benachbarten Forschungsgruppen wie Internet of Things und Human Activity Recognition aus anderen (Fach-) Bereichen zusammen, um praktische Anwendungen von CSI zu realisieren.

Die Möglichkeiten des Labors sollen nun durch den Aufbau von openwifi basierten Technologien erweitert werden. Openwifi verwendet FPGAs und ARM Prozessoren, um einen voll IEEE802.11a/g/n kompatiblen, Open Source Stack zu realisieren, mit dem man den WiFi Stack frei programmierbaren kann - für Details sei auf das Paper openwifi: a free and open-source IEEE802.11 SDR implementation on SoC verwiesen.

Ziel der Masterarbeit ist es, die folgende, vorhandene oder bestellte Hardware

  1. Xilinx ZC706
  2. FMCOMMS2
  3. ADRV9361-Z7035
  4. ADRV1CRR-BOB
  5. ADRV9364-Z7020

in Betrieb zu nehmen und einen PoC aufzubauen, mit dem die Messung von CSI möglich ist. Bei Interesse bitte mit mir Kontakt aufnehmen.

Das sind die aktuellen Beiträge; alte Beiträge gibt es im Archiv.