@@ -15,24 +15,24 @@ Im Folgenden werde ich kurz die einzelnen Bestandteile darstellen die nötig war
Das Lied am Anfang wurde erzeugt in dem im ersten Schritt der Musikstil, Text und Musiker festgelegt wurden. Ein Programm, dass mit einer großen Menge Musik trainiert wurde erzeugt dann die Musik, indem es für jede Sekunde entscheidet, welche Töne auf die vorraus gegangenen Töne folgen sollten. Dieses Programm wurde von [OpenAI](https://openai.com/) trainiert und ist open source, so dass es von mir genutzt werden konnte.
[Link zum Code für Jukebox the Continuator](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/Jukebox_the_Continuator.ipynb?expanded=true&viewer=rich)
[Link zum Code für Jukebox the Continuator](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/Jukebox_the_Continuator.ipynb)
### Gesicht im Video ersetzen
Für das Video habe ich mich selber gefilmt während ich den Text spreche. Mein Gesicht wurde dann durch das Gesicht von Dr. Tsu Min Yee ersetzt. Dies nennt man einen Deep Fake von "Deep Neural Network" einer Technologie der Künstlichen Intelligenz und Fake für Fälschung. Das Video ist ein Schwarz Weiß Stummfilm und Public-Domain-Video aus dem TIB AV-Portal und stammt von 1938. Weiter unten sehen Sie ein koloriertes Foto aus diesem Film. Für das Training des Programms habe ich die Videos in ihre einzelnen Bilder zerlegt und dann mit einem anderen Programm die Gesichter erkennen und heraus schneiden lassen. Mit diesen Bildern habe ich dann ein Programm trainiert, um mein Gesicht in das von Dr. Tsu Min Yee übersetzen zu lassen. Aufgrund der Bildqualität und da ich das Video koloriert habe ist die Farbe meines Gesichtes im Video nicht ganz passend zum Rest meines Körpers. Da Dr. Tsu Min Yee in dem Ausgangsvideo nicht spricht (Stummfilm) waren meine Gesichtsbewegung oft nicht passend und vielleicht ist Ihnen aufgefallen, dass meine Zähne nie zu sehen waren. Weil er seinen Mund nicht öffnet, hatte das Programm keine Chance zu lernen wie seine zähne aussehen und konnte so meine nicht gegen seine ersetzten.
[Link zum Code für Deep Fake Lab](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/DFL_Colab.ipynb)
[Link zum Code für Deep Fake Lab](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/DFL_Colab.ipynb)
### Stimme künstlich generieren
Die Stimme die sie hörten, wurde aus geschriebenem Text erzeugt. Man kennt diese Technologien zum Beispiel von Instant Messengern, die einem die ankommenden Nachrichten vorlesen können. Diese Technologie ist vorallem für die englische Sprache schon wesentlich fortgeschrittener. Im open-source Bereich gibt es für die deutsche Sprache nicht viele Optionen, da jemand tausende Sprachschnippsel aufnehmen muss, um ein Programm damit trainieren zu können. Vielen Dank hier an [Thorsten Müller](https://github.com/thorstenMueller/deep-learning-german-tts), der eine solche Datenbank eingesprochen und zur freien Verfügung gestellt hat. Natürlich auch dafür, dass er mir für dieses Projekt seine Stimme geliehen hat.
[Link zum Code für Text to Speech](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/examples_tts.ipynb)
[Link zum Code für Text to Speech](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/examples_tts.ipynb)
### Text vom Video generieren
Der Text der gesprochen wurde, wurde zum Teil von mir, zum Teil von einem Text Generator erzeugt. Dieser basiert auf [GPT-2](https://openai.com/blog/better-language-models/) einem Programm, dass mit vielen Texten aus dem Internet trainiert wurde. Es versteht nichts von Sprache und Grammatik hat aber gelernt, in welcher Reihenfolge Zeichen in Text aufeinander folgen und kann so, wenn man ihm einen Anfang gibt, berechnen was folgen müsste. Ich musste allerdings Texte vorher ins Englische und zurück übersetzen, da diese Technologie bisher nur für die englische Sprache verfügbar ist. Dies ist die gleiche Technik, die im Video vorgestellt wurde.
[Link zum Code für AITextGen](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/aitextgen.py)
[Link zum Code für AITextGen](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/aitextgen.py)
### Video zusammenfügen
Der nächste Schritt war die einzelnen Ergebnisse in einem open-source Videoschnitt-Programm zusammenzufügen.
...
...
@@ -44,16 +44,16 @@ Natürlich sind auch die Techniken, die ich im Video vorstelle, Teil meiner Code
### Bilder kolorieren
[Link zum Code um Bilder zu kolorieren](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/ImageColorizerColab.ipynb)
[Link zum Code um Bilder zu kolorieren](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/ImageColorizerColab.ipynb)
### Neural Style Transfer
[Link zum Code vom Neural Style Transfer](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/Neural%20Style%20Transfer.py)
[Link zum Code vom Neural Style Transfer](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/Neural%20Style%20Transfer.py)
### Deep Dream
[Link zum Code von Deep Dream](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/Niels-main-patch-27086/DeepDream.py)
[Link zum Code von Deep Dream](https://git.chaotikum.org/Niels/kann-ki-mit-offenen-daten-kreative-sein/-/blob/main/DeepDream.py)
