Nervennahrung

Blog Logo

Information Geometry

20.05.2022

Im letzten Forschungssemester habe ich mich mit Information Geometry beschäftigt.

Der Gegenstand des Forschungsgebiets Information Geometry ist die Untersuchung von geometrischen Strukturen von (Familien von) Wahrscheinlichkeitsverteilungen und die Anwendung ebensolcher Methoden in der Statistik, sowie in der Theorie maschinellen Lernens. Der erste Beitrag geht zurück auf C. R. Rao (1945), der die sogenannte Fisher-Rao-Metrik benutzte, um geometrische Strukturen parametrischer Modelle zu definieren. Information Geometry benutzt Konzepte aus der Differentialgeometrie wie z. B. Krümmung, kovariante Ableitungen, affine Zusammenhänge und Transport. Mithilfe dieser Werkzeuge können dann statistische Probleme neu behandelt werden. Bereits Rao hatte Begriffe wie geodätische Distanz eingeführt, um Klassifikationsprobleme und das Testen von Hypothesen in der Statistik zu behandeln.

Im gewöhnlichen, flachen euklidischen Raum \(\mathbb{R}^n\) haben wir die übliche Metrik

\[d(x,y)=\left(\sum_{i=1}^n (x_i-y_i)^2\right)^{1/2}.\]

Mannigfaltigkeiten sind lokal euklidisch, aber unterscheiden sich i.a. vom \(\mathbb{R}^n\) durch eine global unterschiedliche Topologie sowie durch unterschiedliche metrische Eigenschaften. Ein Beispiel für eine (zweidimensionale) Mannigfaltigkeit ist die Sphäre oder ein Torus. Beide sind topologisch verschieden vom \(\mathbb{R}^2\) (s. z. B. den Satz vom Igel, nicht triviale Homologiegruppe des Torus etc.).

Man kann nun Mannigfaltigkeiten \({\cal M}\) definieren, bei denen jeder Punkt der Mannigfaltigkeit einer Wahrscheinlichkeitsverteilung (auf einem beliebigen W-Raum) entspricht, sog. statistische Mannigfaltigkeiten.

Als differenzierbare Mannigfaltigkeit läßt \({\cal M}\) eine beliebige Anzahl von Metriken zu; in der Regel ist also keine Metrik ausgezeichnet. Faszinierend ist nun, daß die unterliegende statistische Struktur einer statistischen Mannigfaltigkeit dagegen eine ausgezeichnete, kanonische bedingt Metrik impliziert – die sogenannte Fisher-Rao- oder Information-Metrik:

Sei M eine statistische Mannigfaltigkeit. Dann wird die Fisher-Rao- oder Information-Metrik definiert als

\[g_{\alpha\beta} = \int p(x | \theta) \frac{\partial \log p(x | \theta) }{\partial \theta^\alpha}\frac{\partial \log p(x | \theta) }{\partial \theta^\beta} \, dx.\]

Damit können differentialgeometrische Verfahren zur Analyse von statistischen Fragen verwendet werden, was an sich schon intellektuell faszinierend ist. Es ergeben sich auch viele tiefe Zusammenhänge, z.B. gibt es eine differentialgeometrische Abschätzungen für erwartungstreue Schätzer:

Sei \(\hat\theta_n\) ein erwartungstreuer Schätzer für \(\theta\). Dann gilt die folgende Cramér-Rao Ungleichung:

\[Var[\hat\theta_n] = \mathbb{E}\left[ (\hat\theta_n - \mathbb{E}[\hat\theta_n])^2 \right] \succeq \frac{1}{n} g^{-1}(\theta),\]

wobei \(g^{-1}\) die Inverse der Fisher-Rao-Metrik bezeichnet und \(A\succeq B\) genau dann wenn \(A-B\) positiv semi-definit ist.

In der Differentialgeometrie erlaubt ein affiner Zusammenhang (engl. ``affine connection”) den Vergleich von Vektoren aus verschiedenen Tangentialräumen (da Tangentialräume in verschiedenen Punkten von \({\cal M}\) definiert sind, kann man sie nicht intrinsisch vergleichen, ohne eine weitere, zusätzliche Struktur zu haben):

Eine affiner Zusammenhang von \({\cal M}\) ist eine bilineare Abbildung der Tangentialräume:

\[\Gamma ({\cal M}) \times \Gamma ({\cal M}) \mapsto \Gamma ({\cal M})\\ (X,Y) \mapsto \nabla_X Y\]

mit den Eigenschaften:

\[\nabla_{fX} Y = f \nabla_X Y\\ \nabla_{X} fY = \partial_X f Y + f \nabla_X Y\]

Für Riemannsche Mannigfaltigkeiten ist bekannt, daß es einen eindeutig bestimmten affinen Zusammenhang gibt, den Levi-Civita-Zusammenhang, der kompatibel mit der Metrik \(g\) und torsionsfrei ist, d.h.

\[Z(g(X,Y)) = g(\nabla_{Z} X, Y) + g(X,\nabla_{Z} Y)\\ \nabla_{X} Y -\nabla_{Y} X = [X,Y].\label{eq:torsionsfrei}\]

Statistische Mannigfaltigkeiten haben im Gegensatz zu “normalen” Riemannschen Mannigfaltigkeiten eine zusätzliche dualistische Struktur.

Sei \({\cal M}\) eine Mannigfaltigkeit mit einer Riemannschen Metrik \(g\) und zwei affinen Zusammenhängen \(\nabla\) und \(\nabla^*\). Wenn

\[Z(g(X,Y)) = g(\nabla_{Z} X, Y) + g(X,\nabla_{Z}^* Y)\]

für alle \(X\), \(Y\) und \(Z\) erfüllt ist, dann heißen \(\nabla\) und \(\nabla^*\) duale oder konjugierte Zusammenhänge. Das Tripel \((g, \nabla, \nabla^*)\) heißt dualistische Struktur auf \({\cal M}\).

Diese faszinierenden Strukturen können zum Verständnis von Maschinellen Lernverfahren u.a. von Deep Networks beitragen (Natural Gradient etc.).

Wenn Sie mehr über dieses spannende Gebiet erfahren wollen, können Sie in meinen Vortrag “Information Geometry” kommen. Ich werde über dieses Thema im offenen Oberseminar der LE-I des Fb 2 in der Mittagspause vortragen:

  • Jörg Schäfer
  • Information Geometry
  • Donnerstag, 02.06.2022
  • 13:15-14:15
  • 1-130

Dazu sind am 02.06. herzlich alle Kolleginnen und Kollegen sowie alle Studentinnen und Studenten eingeladen (Essen darf mitgebracht werden!).

Ansonsten ist das Buch von Nihat Ay, Jürgen Jost, Höng Vân Lê, and Lorenz Schwachhöfer “Information Geometry”, erschienen 2017 im Springer Verlag, eine erstklassige Referenz (bei Jürgen Jost hab ich seiner Zeit in Bochum Riemannsche Differentialgeometrie gelernt - unvergesslich!).

Sommersemester

11.04.2022

Das Sommersemester startet und - mit Ausnahme vom HIS Studiengang, der hybrid stattfindet - diesmal (wieder?!) ganz analog in Präsenz. AlgDat werde ich in einem Experiment mit den Kollegen Liebehenschel und Simon im Team Teaching Modus mit Inverted-Classroom Elementen und Binnendifferenzierung lesen - ein Experiment, auf das ich mich sehr freue. Außerdem gibt es Learning from Data wie gewohnt.

“Nebenbei” werde ich dieses (und nächstes) Semester eine KI-Hardware-Infrastruktur für die Hochschule aufbauen - wir haben in einem Gruppenantrag (KI-Nachwuchs@FH) mehr als 1 Mio Fördermittel dafür vom Bundesministerium für Bildung und Forschung (BMBF) erhalten.

Die Forschungsgruppen HAR und INDAS laufen weiter; es gibt dort interessante Arbeiten (auch Masterarbeiten) zu vergeben. Ende Juni wird dann unsere spanisch deutsche Konferenz SGSOACS - diesmal in Toledo - bestimmt ein Highlight sein.

Best Paper Award

20.12.2021

Wenn man gegen Jahresende - noch dazu nach so einem Jahr wie 2021! - eine Nachricht vom Springerverlag bzw. -journal CCF Transactions on Pervasive Computing and Interaction erhält, daß man den Best Paper Award 2021 für den Artikel Device free human activity and fall recognition using WiFi channel state information (CSI) erhalten hat, dann ist die Freude natürlich riesig groß. Besonders auch deshalb, weil die Arbeit auf drei studentischen Masterarbeiten beruht und somit auch meine Ko-Autorinnen Neena Damodaran und Muyassar Kokhkharova bzw. Ko-Autor Elis Haruni geehrt werden.

Weitere Infos und fachlichen Hintergrund finden Sie auf der News-Seite des Fb2. Falls Sie dieses Forschungsgebiet interessant finden, können Sie gerne in meine Sprechstunde kommen - es gibt - wie immer - noch viele offene Fragen, und Nachfolgepublikationen sind bereits erschienen sowie weitere in Planung.

Neue Normalität

01.12.2021

Die “Neue Normalität” (ein propagandistischer Begriff, den ich ablehne) sieht leider so aus, daß wir einen “normalen” Hochschulbetrieb für Sie nur für 6 Wochen aufrechterhalten konnten. Seit dieser Woche sind wir im “Hybrid”, d.h. große Vorlesungen sind ausnahmslos online. In der LE Informatik bemühen wir uns, möglichst viele Angebote in Präsenz möglichst lange aufrecht zu erhalten. Wir müssen jedoch die Vorgaben der Exekutive befolgen und ich rechne mit weiteren Einschränkungen. Sehr schade, denn der Präsenzunterricht hat eine ganz andere Qualität - was mir nach der langen Pause dieses Wintersemester ganz besonders deutlich wird.

Präsenz

06.10.2021

Nach drei Online- (“Corona”) Semestern plant unsere Hochschule, das Wintersemester in voller Präsenz zu eröffnen (mit 3G Regeln). Angesichts der Tatsache, daß das keineswegs selbstverständlich ist - vergleichen Sie die Angebote anderer Hochschulen - erfüllt mich das mit einem gewissen Stolz. Die genauen Regeln entnehmen Sie bitte den offiziellen Webseiten der Hochschule, und wir müssen alle hoffen, daß das über den ganzen Winter trägt, aber nach den massiven Verwerfungen, die durch die Pandemie und die Maßnahmen der Exekutive bedingt waren, ist das ein Lichtblick für alle Hochschulangehörige und gerade für junge Menschen am Beginn Ihres Studiums.

Für den Studiengang High Integrity Systems gilt Präsenz nicht - aufgrund des hohen Anteils von Studenten aus dem Ausland wurde entschieden, dieses Semester noch Online zu bleiben, weil Visaproblematik und Reisebeschränkungen durch die Pandemie es vielen Studenten derzeit erschweren, nach Deutschland einzureisen.

Meine Sprechstunden werden in der Vorlesungszeit wieder persönlich (Büro!) möglich sein - beachten Sie dazu ebenfalls die Aushänge oder Hinweise auf meiner Homepage in den nächsten Tagen. Online-Sprechstunden nach Vereinbarung werde ich aber ebenfalls anbieten - manche Vorteile des Digitalisierungsschubs der letzen 18 Monate werden wir selbstverständlich nicht rückabwickeln.

Master Branch is Gone

26.07.2021

GitHub hat den Default Branch, der seitdem es git gibt, d.h. seit Ewigkeiten “Master” heißt, durch “Main” ersetzt. Obwohl das schon etwas her ist, blogge ich heute darüber, weil es mich kürzlich etwas Zeit und Nerven gekostet hat. Man könnte über solche Auswüchse Politischer Korrektheit mit Humor hinweg sehen und auf “Raider heißt jetzt Twix – sonst ändert sich nix!” verweisen, aber so unbedeutend ist es eben nicht.

Zunächst mal zum Hintergrund für diejenigen, die die Dinge nicht selbst verfolgt haben. Im Zuge der Black Lives Matter (BLM) Bewegung wurden in den UnSozialen” Netzwerken heftig diskutiert, bestimmte Begriffe wie Master / Slave Architekturen oder White / Black Listen zu vermeiden, weil diese “rassistisch” konnotiert wären. M.E. sind Menschen, die glauben, daß man, indem man bestimmte Worte vermeidet oder ändert, die Welt verändert, sowieso hoffnungslose Beispiele realitätsbefreiter Ideologen, die - so hätte man es in den politisierten 70ern des letzten Jahrhunderts in wirklich linken Kreisen ausgedrückt - einem bürgerlichen Idealismus verfallen sind und man hätte diesen Menschen als Gegenmittel eine Prise dialektischen Materialismus à la Karl Marx (im Gegensatz zu Georg Wilhelm Friedrich Hegel) verordnet, aber in dem vorliegenden Fall ist das ganze “Argument” sowieso nicht anwendbar, da der Master-Branch niemals im Kontext von Master / Slave verwendet wird. Das hat die von Microsoft geführte Firma GitHub aber nicht daran gehindert, diesen altehrwürdigen Fachbegriff zu bannen. Das Magazin Wired hatte darüber letztes Jahr berichtet. Der Entwickler Dwayne Slater hatte vergeblich mit einer Petition versucht, dies zu verhindern und ich zitiere ihn selbst, da man es nicht besser ausdrücken kann:

“To see GitHub use the color of my skin to make meaningless change is a slap in the face. There are more useful causes to bring to attention, words are not the issue, police brutality in the United States is the issue. To attempt to make this statement is to take advantage of the situation, it does nothing but hurt BLM as a movement and GitHub as a platform.”

Die zunehmende Tendenz von Firmen, sich bei Social Justice Kriegern anzubiedern, finde ich bigott und wohlfeil. Fragen Sie sich, wo der Einsatz von Apple, Microsoft, Google, Facebook und co z. B. für Homosexuelle (Regenbogen) in Ländern wie Iran und China bleibt. Dort ist man in solchen Fragen ganz still und hilft stattdessen lieber bei der Zensur 1, 2.

Zurück zum Master. Zur Vermeidung von Diskriminierung oder mehr Diversity tragen solche Namensänderungen gar nichts bei. Aber es kostet nichts. Oder eben doch:

  1. Hunderttausende von Entwicklern müssen sich mit diesen (und anderen) völlig überflüssigen Änderungen auseinandersetzen.
  2. Viele Änderungen erfordern Anpassungen von Code oder Skripten, zum Teil in hunderten oder Tausenden von Artefakten.
  3. All das kostet viel Arbeitszeit, Aufwand, der besser in reale Veränderungen investiert wäre.
  4. Jeder Fehler, der dabei passiert, kostet weiter Zeit und Geld und kann potentiell und faktisch Schaden anrichten.

Diese Kosten werden von den Social Justice Kriegern, die sich für angeblich “neutrale Sprache” in der Tech-Industrie einsetzen, schlicht ignoriert. Wie groß der unsoziale” Druck ist, zeigt, daß selbst der nicht gerade für Feinfühligkeit bekannte Linus Torwalds in Linux inzwischen diverse Begriffe aufräumen läßt.

Abschließend - das Wort Master” stammt vom lateinischen “Magister” (s. z. B. Etymonline.com) ab; wenn dieser woke Irrsinn allerdings nicht gestoppt wird, dann wird der Master of Science dann zukünftig wohl Abschluss 2 heissen.

Europäischer Impfpass (Update)

26.07.2021

Der Europäische Impfpass wurde zwar “nur” mit einer Verzögerung von 1-2 Monaten nach der Ankündigung eingeführt (ich hatte darüber berichtet), ist aber auch gar kein Europäischer Impfpass, sondern nur ein zertifikatbasierter Covid-19 Impfungsnachweis, der zahlreiche, zum Teil nicht behebbare Schwächen aufweist. Eine Bewertung finden Sie bei FeFe, der auf diese Analyse verweist. Interessant für Software-Entwickler ist vor allem, daß viele Schwächen mit den Prozessen zu tun haben und nicht mit Softwarefehlern, was abermals verdeutlicht, wie wichtig ein umfassender Softwareentwurf ist - eine Tatsache, auf die ich in meinen Software Engineering Vorlesungen immer wieder hinweise.

Stiko

06.07.2021

Jacques Schuster wirft in einem Kommentar in der Welt den Wissenschaftlern u.a. der Stiko (Ständige Impfkommission am Robert Koch-Institut) “Selbstherrlichkeit” vor, die “irritierend” sei. Außerdem kritisiert er, daß die Stiko sich “zuletzt mehrfach korrigieren musste” und “außerdem keine demokratische Legitimation” habe.

Mich irritiert dagegen die Unkenntnis wissenschaftlicher Arbeitsweise bei vielen Journalisten, sowie die Inkompetenz von vielen Journalisten, selbst nach 1.5 Jahren Pandemie einfachste mathematische Sachverhalte korrekt zu formulieren.

Der obige Vorwurf von Hrn. Schuster ist eine Unverschämtheit. Der Chef der Stiko verwahrt sich zurecht gegen die zunehmende Einflussnahme der Politik auf ihre Empfehlungen. Es ist Aufgabe der Stiko, wissenschaftlich basierte Empfehlungen zu geben (auf Basis von Evidenz!). Die politische Entscheidungen (Maßnahmen) liegen dann bei den Politikern. Eine Einflußnahme von Politikern auf wissenschaftliche Bewertungen ist eine unzulässige Einwirkung ggf. sogar Nötigung der Exekutive (Macht). Daß Herr Schuster als Chefkommentator der “Welt”-Gruppe diese unterschiedlichen Sphären und Rollen in einer Demokratie nicht verstehen will, ist schon bemerkenswert.

Die Stiko mußte sich auch nicht mehrfach korrigieren, sondern hat in der Pandemie mehrfach aufgrund neuer Fakten, die Empfehlungen angepasst. Das gehört zum guten wissenschaftlichen Handwerkszeug, und das könnten auch Journalisten wissen.

Die Stiko ist auch nicht unzureichend demokratisch legitimiert. Vielmehr ist die Rechtsgrundlage für die Einrichtung der Stiko das Infektionsschutzgesetz (§ 20 Absatz 2 IfSG). Und in einer Demokratie ist der Gesetzgeber, der derartige Gesetze erläßt, demokratisch legitimiert., Das reicht für eine Legitimation. Und daß die Stiko nicht weisungsgebunden ist, sondern aus einer unabhängigen 18-köpfigen Expertengruppe besteht, erhöht ihre Glaubwürdigkeit und hat vermutlich dazu beigetragen, daß die Diskussion um Impfungen in Deutschland relativ sachlich verlaufen. Im übrigen bedürfen wissenschaftliche Aussagen überhaupt keiner demokratischen Legitimation, denn über den Wahrheitsgehalt wissenschaftlicher Aussagen wird nicht abgestimmt, sondern mit wissenschaftlicher Methodik in der Wissenschaft selbst und transparent entschieden.

Delta

06.07.2021

Wie wir alle wissen, ist die neue indische Delta-Variante 19 mal weniger tödlich als die ursprüngliche englischeVariante des China Corona-Virus. Glauben Sie angesichts des täglichen Trommelfeuers an Warnhinweisen nicht? Nun, wie ich es meinen Studenten immer versuche beizubringen, es lohnt es sich auch in diesem Fall, stets in wissenschaftliche Originalarbeiten zu schauen und nicht in Sekundärliteratur oder populäre populistische Quellen. In diesem Fall eben in eine Publikation des “Public Health England”, also den Wissenschaftlern Ihrer Majestät. Auf Seite 8, Table 2 finden Sie dort die Case Fatality Rate (CFR) von Delta mit 0.1% angegeben. Zum Vergleich: Alpha hatte 1.9%. Zur Einordnung: Die tatsächliche Todesrate liegt stets deutlich niedriger als die CFR.

Man kann natürlich einwenden, daß die CFR der Alpha- und Delta-Variante nicht vergleichbar seien, da die Delta-Variante auf eine teilweise geimpfte Bevölkerung trifft. Das stimmt natürlich. Das bedeutet aber, daß die Impfungen hervorragend wirken - auch eine sehr gute Nachricht.

Zukunftsszenarien

29.06.2021

“Für bestimmte Verhaltensweisen können im Punktesystem, das vom Staat betrieben wird, Punkte gesammelt werden (z. B. Ehrenamt, die Pflege Angehöriger, Organspenden, Altersvorsorge, Verkehrsverhalten, CO2-Abdruck). Neben der sozialen Anerkennung ergeben sich durch das Punktesammeln auch Vorteile im Alltag (z. B. verkürzte Wartezeiten für bestimmte Studiengänge). Somit können Staat und politische Institutionen bestimmte Ziele über Anreize zur Verhaltensänderung verwirklichen (z. B. Steuerung des Arbeits- und Bildungsmarkts) und auch zukünftiges Verhalten genauer prognostizieren. “, so heißt es in einer Studie, die das Bundesbildungsministerium unter Leitung von Anja Karliczek (CDU), in Auftrag gegeben hat.

Studenten, die meine Vorlesung “Learning from Data” besucht haben, wird diese Dystopie an das chinesische Social Credit System erinnern. In der Studie heißt es weiter: “Die Zustimmung zu diesem Punktesystem stieg in Deutschland auch durch die Dynamik des Klima­wandels.”

Was in diesen zunehmend illiberaleren Zeiten erstaunt, ist weniger, daß totalitäres Gedankengut bei Linken auf fruchtbaren Boden fällt. Politiker wie Winfried Kretschmann (Grüne, ehemaliges Mitglied der Hochschulgruppe des Kommunistischen Bundes Westdeutschland und Maoist), sind als /Alt-) Linke offenbar anfällig für totalitären Phantasien und fordern z. B. im Zuge der Covid-19 Pandemie auch “nicht verhältnismäßige” Grundrechtseinschränkungen. Aber daß derartige totalitäre Überlegungen auch in einem von einer CDU-Ministerien geführten Ministerium en vogue sind und anscheinend auch in bürgerlichen Kreisen zunehmend für diskussionswürdig gehalten werden, ist doch besorgniserregend.

Gestern hat heise mit der Schlagzeile “Überwachungsfantasien im Ministerium” und das (rechte) Magazin Tichy’s Einblick darüber berichtet. Die Seiten des Ministeriums verweisen nun ins Leere (Zufall?), auch auf dem Presseportal der Ministerin sind die Links verschwunden. Die von mir verlinkte Originalfassung finden Sie übrigens in der Internet Wayback Machine - das Internet vergisst eben nichts.

Das sind die aktuellen Beiträge; alte Beiträge gibt es im Archiv.