datenleben

Intro (00:00:00) Thema des Podcasts (00:00:18)

Willkommen zu unserer siebzehnten Folge beim dalenleben-Podcast, dem Podcast über Data Science.
Wir sind Helena und Janine und möchten mit euch die Welt der Daten erkunden.
Oft sind Daten in Form von Text und Zahlen sehr abstrakt, aber wie werden Daten praktisch nutzbar?
Und wie können Daten für uns im wahrsten Sinne des Wortes auch greifbar werden?
Wir sehen uns die Daten an und holen sie in unseren Alltag!

• Wie können aus Fotos von bestimmten Objekten diese per 3D-Druck greifbar gemacht werden?
• Die kurze Antwort: Ein Algorithmus macht aus Fotos 3d-Modelle, die dann druckbar sind.
• Für die lange Antwort haben wir uns eine Gästin eingeladen: Lisa ist heute mit dabei
• Sie hat mit einem Team am Hackathon Coding da Vinci teilgenommen und dabei das Projekt FabSeal mitentwickelt

• Fotos sind Daten, die sich die meisten Menschen angucken können, aber sie verraten noch viel mehr!
• Gerade für Data Science sehr spannend, was man mit Fotos noch machen kann – etwa ein 3D-Modell

• Software-Entwicklerin im Studium IT-Systems Engineering und schreibt ihre Masterarbeit am Lehrstuhl für Computergrafische Systeme
• Sie gründet das erste Mal mit einer Smartphone-App und hat auch Design Thinking studiert
• Gleichstellungsbeauftragte der Fakultät, Mentorin für Programmierworkshops an Schulen in Deutschland, Onlinekurs-Dozentin und Buchautorin für Kinder und Jugendliche Informatikbereich
• Design Thinking: Methoden der nutzerorientierten Entwicklung

• Entstand im Rahmen von einem Hackathon
• War immer von Hackathons beeindruckt: wie kann man in so kurzer Zeit so coole Dinge umsetzen
• Realität ist: Sehr viel Präsentations/Pitching-Skills (fake it until you make it)
• Ihr Lichtblick: Kulturhackathon "Coding da Vinci" mit anderem Konzept
• Anstatt nur ein Wochenende, gibt es 1 Wochenende als Kick-Off-Event und dann 3 Monate, um das Projekt umzusetzen, was viel nachhaltiger ist
• Engere Zusammenarbeit mit den beteiligten Kulturinstitutionen
• Hat insgesamt schon bei 4 dieser Events teilgenommen und drei Mal einen Preis gewonnen
• Hat dabei an insgesamt 8 Projekten mitgearbeitet, schätzt die Teamarbeit daran sehr
• Hackathon als Hobby für gemeinsames Arbeiten und Entwickeln mit viel Fun und Scherzen

• Hackathon setzt sich aus Hacking und Marathon zusammen
• Meist konzentriert an einem Wochenende, wo man etwas von der Idee bis zum Prototypen entwickelt
• Arbeit in Teams und mit wenig schlaf, sehr intensive Erfahrung
• Was ist, abgesehen von den 3 Monaten Laufzeit, noch anders bei Coding da Vinci?
• In erster Linie soll für Kulturinstitutionen etwas entwickelt werden
• Lisa war schon immer begeistert von Museen und konnte mit Institutionen arbeiten, die sie selbst schon besucht hat, wie das Naturkundemuseum Berlin
• Findet toll, dass die Institutionen daran interessiert sind Ergebnisse in Ausstellungen zu integrieren
• Erstes Projekt: Skelex, steht für Skeleton und Explore; Daten waren 3D-Scans von Schlangenschädeln
• Mit Skelex waren die Schlangenschädel in einer virtuellen Welt anschaubar, es gab auch ein "Killer-Feature" um den Schädeln Mäuse zu füttern
• Museum hat mit ihnen zusammengearbeitet und sie durften das Projekt später mehrfach präsentieren
• Das war so ein Positives Erlebnis, dass Lisa wieder mitmachen wollte
• Zweites Projekt: wieder mit dem Naturkundemuseum Berlin das Projekt Snail Snap
• 6.000 Fotos von Schneckengehäusern, aus denen Selfies mit Schneckenmosaiken generieren werden
• Die Informationen über die Schnecken sind in den Snail Snaps anklickbar und so verfügbar
• Das Projekt wurde mit dem Deutschen Multimediapreis 2020 ausgezeichnet
• Es wurde auch auf dem Schiff MS Wissenschaft, dem Schwimmenden Science Center ausgestellt
• Lisa arbeitet fast immer mit dem gleichen Team, aber es fluktuiert auch manchmal ein bisschen

• Bei Coding da Vinci geht es immer um die Daten, die die Kulturinstitutionen bereit stellen
• Das sind: Bilder, Videos, 3D-Modelle, Texte, Objekte und dergleichen, oft in sehr guter Qualität, sodass die Daten nicht erst bereinigt werden müssen
• Nächste Kick-Off-Veranstaltung ist am 11. und 12. September 2021
• Man muss nicht unbedingt in Person dabei sein, Teams bilden sich auch vorab auf dem Hackdash
• Es werden dann aus verschiedenen Institutionen Datensets vorgestellt, die bearbeitet werden können
• Erste Teams stellen ihre Projekte vor oder einzelne Menschen und dann schließen sich andere an
• Und worum ging es jetzt bei FabSeal, das beim letzten Mal Coding da Vinci entstanden ist?
• Slogan: "Erwecke historische Siegel wieder zum Leben!"
• Es geht um die Siegelsammlung Paul Arnold Grun
• Es gibt 2D-Fotos der Siegelabdrücke, die mit FabSeal automatisch in 3D-Modelle gewandelt werden, die dann mit einem 3D-Drucker erneut als Siegel hergestellt werden
• Damit hat man dann wieder einen physischen Siegelstempel und kann selbst Siegel in Wachs drücken
• Ehe wir jetzt richtig einsteigen, hören wir uns doch erstmal an, was Siegel sind

• Lotte und David tauschen Nummern, Lotte schlägt Lotte vor den Kontakt mit QR-Code zu verifizieren
• Sie erklärt, dass sie so eben weiß, dass es David ist und wenn er mal eine andere Nummer bekommt, dann müssen sie sich wieder verifizieren, damit sie weiß, dass sie immer noch mit David schreibt
• Weißt Du, das ist wie mit den Siegeln damals auf Urkunden und Briefen: Es hätte ja jeder einen Brief im Namen des Papstes quer durchs Land schicken können
• Aber weil jeder wusste, dass nur der echte Papst ein bestimmtes Siegel benutzt, wusste man, dass die Nachricht von ihm ist
• Das mit den Siegeln war damals eben Stand der Technik
• Siegel gibt es durch die Jahrtausende in vielen verschiedenen Formen und Anwendungen
• Am bekanntesten: metallene Siegel, die in erhitztes und flüssiggemachtes Wachs oder in Siegellack gedrückt werden
• Siegel sind kleine Bildchen, die früher zum Beispiel Familien-, Amts-, oder Herrschafts-Wappen gezeigt haben, mit denen vor allem Urkunde beglaubigt wurden
• Sie dienten auch zum Unterzeichnen und Verschließen von Briefen -- also wahrhaftig versiegelt
• Das Siegel hat auch den Zweck zu zeigen, dass niemand den Brief gelesen hat, der es nicht durfte, denn beim Öffnen des Briefes würde das Siegel unweigerlich zerbrechen
• Heute noch in Gebrauch: weiterin als Beglaubigung für Dokumente, meistens in Form von Stempeln
• Form und Bildsprache orientiert sich noch immer an historischen Siegeln, vor allem des Mittelalters

• Die historischen Hintergründe sind super spannend
• Beispiel: sogar die Wachsfarbe sagt etwas darüber aus, von wem ein Siegel stammt
• Aber hauptsächlich wegen der Qualität der Bilder
• Was ist der Vorteil dieser Daten gegenüber anderen, die ihr zur Auswahl hattet?
• 1.500 Siegleabdrücke wurden 2016 von der Staats- und Universitätsbibliothek Göttingen digitalisiert
• In einer großen Aktion mit aufgebautem Set wurden die fotografiert
• Ergänzend wurde notiert: Was ist zu erkennen? (Krone, Wappen, Löwe etc.) Namen der siegelführenden Familie, Maße des Siegels
• Maße waren wichtig für die neue Herstellung realistischer Siegelstempel
• Es ist faszinierend, wie viele Details auf so einer kleinen Fläche sein können
• Nachteil der Daten: Es wurden Gruppenfotos gemacht, die kleingeschnitten wurden; dadurch gab es öfter mal schwarze Linien auf den Bildern, die später das Arbeiten erschwert haben

• Was habt ihr euch dann als nächsten Schritt überlegt?
• Ziel: Aus dem Datensatz ein Siegel ziehen aus dem wir ein druckbares 3D-Modell herstellen
• Das hätte man natürlich per Hand einfach nachmodellieren können, aber:

Was sind wir eigentlich? Wir sind Softwareentwickler!
Was wollen wir? Automatisierung!

• Zwei Zwischenschritte, der erste war die sogenannte "Formerkennung"
• Unnötige Informationen/Details aus dem Bild entfernen, die nicht zum eigentlichen Motiv gehören
• Beispiel: nur eine ovale Form erhalten und nicht die Wachsreste drumherum
• Zweiter Schritt: "Tiefeninformationserkennung" mit dem Verfahren "Shape from Shading"
• Das Forschungsfeld Shape from Shading kannten sie vorher nicht, existiert aber seit 1994
• Anschließend hat man ein 2D-Bild mit Tiefeninformationen
• Um auf 3D zu kommen, wurde ein Skript für die Software Blender geschrieben und dort den Displacement-Modifier genutzt, um aus den Informationen ein Relief herzustellen
• Also zuerst die Form erkennen: Abstand zur Mitte, Größe, Symmetrie, wenig bis keine Rotation, Verhältnis Motiv zur freien Fläche
• Damit das Problem bewältigt, dass die meisten Siegel völlig unterschiedlich aussehen können
• Formerkennung wurde auch mit einem Algorithmus für bestimmte Bildverfahren gemacht
• Was gibt es denn so für Standardbildverfahren? Und waren das schwarz-weiß Fotos oder in Farbe?
• Es waren Farbfotos
• Als erstes kann man Kantenerkennung machen und versuchen das Bild zu zentrieren
• Dann gibt es density-based Verfahren, die erkennen, ob ähnliche Farben existieren
• Viele Verfahren ausprobiert, was es geworden ist, kann im auf Github eingesehen werden
• Die Lösung ist aktuell noch nicht perfekt, aber sie hat schonmal weiter geholfen
• Kanteerkennung: Man guckt sich die einzelnen Pixelwerte an und wo Unterschied sehr hoch ist, ist vermutlich eine Kante
• Dafür wurde OpenCV genutzt
• Und bei dem dichtebasierten Verfahren wird über mehrere Pixel gemittelt, wie der durchschnittliche Farbwert auf dem Pixel ist
• Daran kann entschieden werden: Das gehört noch zum Siegel, das ist schon Papier
• Wie ging die Tiefenerkennung dann mit nur einem Foto pro Siegel?
• Genau das war ein Problem, weil unbekannt war, von wo es beleuchtet wurde und ob bei allen gleich
• Darüber hätte man beim erstellen der Bilder nachdenken können, falls man das 3D haben wollen würde, hätte man noch weitere Bilder aus anderen Perspektiven machen können
• Hatten aber nur ein Bild um aus 2D dann 3D zu machen
• Dafür kann man die Helligkeit nehmen, die man pro Pixel auslesen kann
• Aber: Wie hoch ist das dann jetz eigentlich?
• Zum Beispiel Buchstaben im Siegelabdruck sind höher als das Drumherum
• Die Recherche brachte dann Shape From Shading zu Tage:
• Licht reflektiert je nach einfallendem Winkel zur Kamera anders
• Analogie Gegeverkehr beim Autofahren: Frontscheibe blendet sehr hell aus einem bestimmten Winkel (spekulare Reflektion/Spiegelreflexion)
• Dazu einfaches mathematisches Modell, wie etwas reflektiert, verschiedene Einflussfaktoren
• Paper von Tsai und Shah oder auch Pentland, verschiedene Ansätze wurden angeschaut
• Einiges sah sehr experimentell aus, erfolgversprechender das Paper "Shape from shading using linear approximation" (Tsai und Shah)
• Darin verschiedene Beleuchungsmodelle; war erfolgreicher dann, Siegel war hügelig aber erkennbar
• An dem Ansatz weiter probiert mit Winkeln, vielleicht das Bild vorher noch anpassen
• Spiegelreflexion: Licht wird im gleichen Winkel reflektiert
• Matte Reflexion: Licht wird nicht direkt wieder abgelenkt, sondern die Photonen werden kurz von der Oberfläche absorbiert und dann in beliebig viele Richtungen reflektiert
• Die meisten werden senkrecht zur Oberfläche ausgegeben und je näher man am Rand ist, desto weniger kommt von dieser Oberfläche
• Und das Verfahren benutzt jetzt beide Reflexionsmodelle?
• Wir haben die Spiegelreflexion genutzt, wobei der Algorithmus iterativ arbeitet
• Der sagt Fläche ist 0 überall im 2D-Bild, wir schauen pro Koordinate im Bild: Passt denn, was wir aktuell vom Siegelbild berechnet haben, zum Modell?
• Wir berechnen Abweichung der berechneten Reflexionskarte vom Originalbild
• Wenn es stark reflektieren sollte, aber aktuelles Höhenbild das nicht hergibt, dann passen wir das an, indem wir die Ableitung bilden und die Fläche damit updaten
• Der Algorithmus erstellt also intern ein eigenes/virtuelles Bild, was er versucht anzunähern und beleuchtet das und vergleicht es mit dem Foto?
• Mehrere Durchgänge (iterativ), mit jedem einzelnen nähert sich das Ergebnis dem gewünschten Ziel an
• Wann hört der Algorithmus dann auf weiter zu berechnen?
• Man versucht nahe an die Werte vom Beleuchtungsmodell zu kommen, da gibt es einen Schwellwert
• Das ist die grundlegende Idee vom Tsai-Shah Paper von 1994!
• Einstellparameter: Einfallswinkel des Lichts, Beschaffenheit der Oberfläche etc.
• Um die Einfallswinkel besser einzubeziehen, haben sie von der Bibliothek Fotos bekommen, die von außen zeigen, wie der Aufbau des Sets zum Fotografieren der Siegel damals aussah
• Bessere Vorstellung von der Anzahl und der Richtung der Lichtquellen
• Einfallswinkel wichtig, um anhand des Schattens im Relief sehen zu können, wie tief es jeweils ist
• Wenn man den Schattenwurf nicht einbezieht, kann nicht einfach nur davon ausgegangen werden, was hell ist, ist höher, was dunkler ist, liegt tiefer
• Je nach Richtung und Winkel vom Schattenwurf, sieht das ja immer anders aus
• Deswegen muss das richtig in die Berechnung mit einfließen
• Wir haben in diesem Fall einen lokalen Ansatz, weil wir pro Pixel Helligkeitsinformationen anschauen und es dann zu einer ganzen Fläche zusammensätzen
• Global wäre, wenn auf das ganze Bild die Helligkeit mit den gleichen Parametern angepasst wird und nicht nur in einem einzelnen Pixel
• Wie viel muss man danach noch manuell korrgieren?
• Das Ergebnis war sehr hügelig, also haben vorher das Bild und nachher das Bild nochmal bearbeitet
• Vorher: Blurren/Verwischen, um Flächen einheitlicher wirken zu lassen, hat geholfen
• Dinge wurden normalisiert um Siegel mit ähnlichen Beleuchtung/Parametern gleich zu behandeln
• Ergebnis war noch nicht perfekt, aber gut genug; Code ist ebenfalls einsehbar auf Github
• Wie wirken sich Risse in den vorhandenen Siegelabdrücken auf das Modellieren aus?
• Siegel können verschiedene Fehler haben: Oberfläche, die über die Zeit rau geworden ist, was Einfluss auf die Farbe hat, oder eben Risse und stärker kaputte Motive
• Verschiedene Operationen bei der Bildbearbeitung, wie das Blurren, um das auszugleichen
• Habt ihr da vielleicht mal mit einem Geometriemodell gearbeitet um solche Risse zu erkennen?
• Leider sind wir so weit nicht gekommen, allein durch die Webseite gibt es schon mehr Baustellen
• Hatten keine Vergleichsbilder, die uns zeigen konnten, ob unser Ergebnis richig ist
• Hat aber im Rahmen des Hackathons nicht gepasst
• 3D-Scans zum Vergleich der Siegel wären gut gewesen, lagen aber leider nicht vor
• Uni Heidelberg hatte angeboten 3D-Scans der Siegelabdrücke herzustellen, konnte leider wegen des Transports nicht gemacht werden
• Was gab es noch für Probleme?
• Beleuchtung, Winkel, Albedo, wie die Kamera stand, etc., auch die Farbe (bei schwarzem Siegelwachs)
• pecca hat mit ihrem Resindrucker auch geholfen und Siegel probegedruckt, weil das Team keinen hatte und der Druck des Resindruckers viel besser war, als die bisherigen Versuche
• Viel Unterstützung nicht nur von Institutionen, sondern auch aus dem Makerkreis war toll
• pecca war auch schon bei uns im Podcast: in der Wetterprojekt-Folge!

• Resindrucker: Das Resin ist flüssig und kann viel feinstufiger gedruckt werden
• Einsatzidee zu FabSeal: Jeder soll sich so etwas drucken können, nur haben leider weniger Menschen einen Resindrucker
• Neue Anforderungen: Man bräuchte eine Anleitung für so einen Drucker und Nutzer*innen
• Wie kann man da Hürden abbauen? Worauf muss man achten?
• All das ist erst nach dem Hackathon entstanden, weil wir noch ein Stipendium bekommen haben, um nach dem Hackathon noch gefördert an dem Projekt weiter zu arbeiten für 3 Monate
• Dabei wurde in User Experience weiter gearbeitet
• Janine hat versucht Siegel zu drucken vor der Podcastaufnahme
• Wenn man die Datei runterlädt und entpackt, kann man sie dann zum Druck vorbereiten
• Genutztes Programm: Chitubox; dann gucken was das für ein Objekt ist, welche Form es hat und wie herum man es drucken möchte
• Bei einem Siegel soll die Fläche des Siegels am besten aussehen, also nach oben drehen (um Riffel durch Layer zu vermeiden)
• Die Form (unten schmal, oben breiter) sorgt dann dafür, dass man das Objekt auf Support setzen muss, damit es so gedruckt werden kann
• Support kann man automatisch in dem Programm anfügen, muss nur ausgesucht werden
• Beim ersten Druck (Light Support) ist dieser aber leider abgerissen und der Druck abgebrochen
• Da unten das Gewinde für den Griff ist, gibt es dort einen Hohlraum, vermutlich deswegen Unterdruck und dadurch der Support abgerissen
• Pecca hat das Modell um 45-Grad gedreht auf Support gesetzt, was gleich beim ersten Mal klappte
• FabSeal hat sich im Rahmen des Stipendiums einen eigenen Resindrucker geholt
• Lisa konnte den testen und fand wegen der ganzen Feinheiten, an die man sich rantasten muss, die ersten Drucke auch frustrierend
• Fazit: Deswegen braucht es Hilfestellung für Nutzer*innen, damit sie das auch testen können
• Daher auch die Idee: Wenn die Bibliothek einen Resindrucker hätte und dort jemanden, der sich damit auskennt, könnten Besucher*innen einfach Siegelstempel als Souveniere mitnehmen
• Janines zweiter Versuch mit stärkerm Support hatte funktioniert, ABER: die Stempel waren ohne Siegel
• Den Fehler hatte Lisa auch, weil sie mal das Relief falsch herum auf's Modell projiziert hatten
• Man muss dann die Normalen wieder umdrehen (z.B. in Blender)
• Wer keinen 3D-Drucker zu Hause hat und es testen möchte, kann sich an einen hiesigen Hacker- oder Makerspace wenden
• Da gib es oft viele Geräte, wie auch 3D-Drucker, die man mitbenutzen oder sich deren Benutzung zeigen lassen kann

• Konnten sich mit einem Coach für UX/UI-Fragen (User Experience/User Interface) zusammensetzen
• Konzept entwickelt, um drei Funktionen bereit zu stellen: Browse, Create und Remix
• Browse: Fertige Datensätze (nicht nur die Siegelsammlung sondern bspw auch Münzen)
• Create: Eigene Bilder hochladen und in ein Siegel umwandeln
• Remix: Aus Datensätze eine eigene Collage basteln und als Siegel exportieren
• Bei Antragstellung für Stipendium schon viele Ideen, "Remix" war auch von der Jury gewünscht
• Noch andere Sachen gemacht, Algorithmen beschleunigt, Optimierungsbedarf ermittelt, Prozess beschleunigt durch externen Server
• Webseite überarbeitet mit den drei Funktionen, die sie bieten können soll
• Also alle Schritte, die bei Data Science wichtig sind, bis zum Ende durchgeführt: Daten bereinigen, analysieren, Modelle berechnen und den Algorithmus oder die Software für Nutzer*innen anwendbar zur Verfügung stellen
• Sinn hinter dem Kulturhackathon ist, die Digitalisierung der Daten zu nutzen, um historische Daten verfügbar und auch wieder attraktiv zu machen
• Und auch der Übertrag dann für eigene Objekte, wie eigene Siegel
• Es können auch Zeichnungen hochgeladen und zu Siegeln gemacht werden
• Und statt Siegeln könnten dabei auch Stempel hergestellt werden
• Reliefe zu gravierien würde natürlich auch mit Lasercuttern funktionieren (und kommt vielleicht auch noch auf die Webseite)

• Mit Pecca für die Informatica Feminale ein Onlineworkshop über 3D-Druck Modellieren mit Blender
• Vielleicht gibt es so einen Workshop im nächsten Jahr nochmal (;
• Lisa hat ein Buch geschrieben für 3D-Modelle mit Blender, das für Kinder und Jugendliche ist
• Also ein niederschwelliger Einstieg auch für jedes andere Alter
• Aktuell arbeitet sie in einer kleinen Gruppe die weitere Vision von Coding da Vinci aus: Wo soll Coding da Vinci in 10 Jahren sein?
• Vorteil von Hackathons: Menschn verschiedener Hintergründe kommen zusammen
• Kulturinteressierte, Entwickler*innen, Grafikdesigner*innen
• Es kommt auch nicht immer nur Software raus, zum Beispiel auch etwas wie ein Kartenspiel
• Alles was Kulturdaten wieder interessant macht, ist erwünscht!

• Helena: Möchte unbedingt mal bei Coding da Vinci machen
• Janine: Fand sehr schön und spannend, was Lisa über den Prozess ihres Teams berichten konnte
• Lisa: Hat für sich realisiert, wie viel sie allein durch dieses Projekt dazugelernt hat

• Wer Datenanalysen lernt, bekommt Standardbeispielaufgaben mit Datensätzen, die regelmäßig verwendet werden
• Beispieldatensätze werden oft weitervererbt, einmal eingeführt und etabliert halten sie sich ewig
• Manchmal stellt man fest, dass die Daten von jemandem erhoben wurden, der damit zweifelhafte politische Ansichten verfolgt hat
• Deswegen eine Folge dazu, was es für Beispieldatensätze gibt, wo die herkommen, was man damit macht und was man daraus lernen kann

• Wenn ihr uns weiter hören möchtet, folgt uns auf Twitter unter @datenleben
• Oder besucht unsere Webseite: www.datenleben.de
• Hinterlasst uns gerne Feedback, wir würden uns darüber sehr freuen
• Und wenn ihr Daten ausgewerten haben möchtet, oder lernen möchtet wie das geht: wir nehmen auch Aufträge an!

3D-Modelle, Bilddaten, Maschinelles Lernen, Algorithmen, Siegel, Siegelabdruck, 3D-Druck, Automatisierung, Hackathon, Coding da Vinci, Blender

• FabSeal
• Github: Skelex
• Github: Snail Snap
• Deutscher Multimediapreis 2020
• MS Wissenschaft
• Coding da Vinci: Niederrheinland 2021
• Universität Göttingen: Siegelsammlung Paul Arnold Grun
• Blender
• Github: FabSeal
• Wikipedia: OpenCV