FutureAR ist eine Augmented Reality Anwendung für Android Smartphones, erschaffen in Unity, Maya und Substance Painter 2. Die App bietet eine spielerische und praktische Verwendung der zu Deutsch "erweiterten Realität".

FutureAR besteht aus drei futuristischen, praktischen Anwendungen und einem modernem Spiel, die alle auf Augmented Reality basieren. Eine Erklärung und mehr Informationen zu Augmented Reality werden im Teil "Technologien" bereitgestellt.

AR Organs:

Die ersten beiden praktischen Anwendungen der App sind für den Biologie-Unterricht in der Schule bestimmt. Heute besitzt fast jeder Lernende ein Smartphone. Leider kommt dieses nur sehr selten zur Verwendung im Unterricht. So gehen potenzielle Inhalte und Lernmethoden verloren. Doch das ändert sich mit FutureAR! Es werden die mitgelieferten Arbeitsblätter (Erhältlich unter Weitere Dateien) über das Hirn und die Lunge ausgeteilt. Auf diesen Blättern befindet sich eine spezielle Informations-Grafik zum entsprechenden Organ. Diese Grafik muss nun mit FutureAR gescannt werden.  Das Smartphone muss bei gutem Licht gerade auf die spezielle Grafik gehalten werden. Darauf wird dann ein realistisches 3D Modell einer Lunge oder eines Hirns eingeblendet. So kann der Lernende die äussere Form und Textur der Organe erkennen und den Inhalt des Arbeitsblattes besser verstehen. Eine Win-Win Situation entsteht. Die Schule erspart sich den Kauf von teuren Plastikmodellen der Organe und die Schüler haben Spass am futuristischen Unterricht.

Anmerkung: Die Informations-Grafiken sind extra dafür gestaltet, dass sie auch ohne Smartphone Inhalt bieten. Sie müssen ihr Smartphone schön gerade bei gutem Licht auf die Grafiken halten, damit die Modelle erscheinen, wenn immer noch nichts eingeblendet wird, laden Sie sich nur die Grafiken unter „Weitere Dateien“ runter und probieren Sie es damit!

AR Hamburger:

Die dritte praktische Anwendung wendet sich an Restaurants. Oft ergibt sich in einem Restaurant folgende Situation; auf der riesigen Karte gibt es unzählige, leckere Speisen, aber man ist sich unschlüssig, was man nehmen sollte. Hier kommt nun FutureAR ins Spiel. Die Karte kann ganz einfach mit dem Smartphone gescannt werden und das entsprechende Essen wird als 3D Modell eingeblendet. Im Fall von FutureAR ist dies ein Hamburger nach dem Scan der beiliegenden Speisekarte. Es entsteht wieder eine Win-Win Situation. Die Kunden sind begeistert von der neuen, modernen Speisekarte und das Restaurant macht mehr Umsatz.

Defend The Ladybugs – AR Game:

Im letzten Jahr, 2016, hat Pokémon GO grosse Wellen geschlagen, deshalb darf ein Augmented Reality Spiel in FutureAR nicht fehlen! So entstand: "Defend The Ladybugs". In diesem Spiel müssen drei hilflose Marienkäfer vor bösartigen, attackierenden Ameisen verteidigt werden. Im Spiel muss ein benutzerdefiniertes, detailreiches Bild gut von oben im 90 Grad Winkel fotografiert werden. Am besten eignet sich dafür das beiliegende PDF „Defend_The_Ladybugs_empfohlenes_Bild.pdf“ unter "Weitere Dateien" im Zip-Ordner. Darauf werden nun die Marienkäfer mit Steinen und ein paar Walnüssen eingeblendet. Sogleich werden Ameisen ankommen und die Marienkäfer attackieren. Jetzt können die Ameisen mit Walnüssen abgeschossen werden, indem der Fire-Knopf gedrückt wird. Aber Achtung, die Ameisen dürfen die Marienkäfer nicht erreichen, sonst verlieren die Käfer an Leben. Wenn die Marienkäfer schon Schaden genommen haben, aber diese dann für eine bestimmte Zeit verteidigt werden, regeneriert sich das Leben der Käfer. Die Erscheinungsrate der Ameisen erhöht sich im Verlauf des Spiels exponentiell. Das Ziel ist es, möglichst lange die Marienkäfer zu verteidigen. Wenn das Spiel verloren ist, wird eingeblendet wie lange überlebt wurde.

Anmerkung: Es kann sich überall umgesehen werden solange das Fotografierte noch ein wenig zu erkennen ist. Vermeiden Sie hastige und schnelle Bewegungen! Die Grafiken von „AR Hamburger“ und „AR Organs“ können nicht als Zielbild für „Defend The Ladybugs“ verwendet werden!

 

Unter „About“ können alle benötigten Grafiken und Arbeitsblätter heruntergeladen werden.

FutureAR ist eine Augmented Reality Anwendung. Doch was bedeutet überhaupt Augmented Reality, kurz AR und zu Deutsch „erweiterte Realität“?

Bekannt sind  die "nur" Realität, die virtuelle Realität und dazwischen befindet sich die erweiterte Realität. Hier werden durch Computer mit Hilfe von Sensoren Objekte, Bilder oder Informationen auf die Realität eingeblendet. Ein weiteres Synonym dafür ist Mixed Reality. Im Falle von FutureAR wird durch die Kamera des Smartphones und einem "Tracking"-Bild eine Interaktivität in Echtzeit in der erweiterten Realität ermöglicht.

Verwendete Programme:

Unity 5.4.1

Unity ist eine Entwicklungsumgebung, auch Spielengine genannt, für verschiedene Zielplattformen wie mobile Geräte. In Unity wurden die erstellten 3D Modelle, Texturen, selbstgeschriebenen Scripte und Grafiken zu verschiedenen 3D Szenen und dann einer funktionstüchtigen Anwendung, FutureAR, herangeformt. Das Projekt wurde schlussendlich als Android App exportiert. Die meiste Zeit wurde in Unity verbracht.

Autodesk Maya 2017

Autodesk Maya ist eine professionelle 3D-Suite, welches für die Modellierung, das Animieren und das Texture Mapping verwendet wurde. Alle 3D Modelle wurden darin selber modelliert. Um einem 3D Modell eine Texture zu geben, muss zuerst definiert werden, wo welcher Punkt der Textur am Modell hingehört. Dieser Vorgang nennt sich Texture Mapping und wurde ebenfalls in Maya vollbracht. Die Animationen der Ameisen wurden auch in Maya erstellt. Das fertige 3D Modell wurde als .fbx Datei exportiert. Diese Datei kann Unity und Substance Painter lesen und bearbeiten.

Substance Painter 2

In Substance Painter wurden selber Texturen erstellt, die den 3D Modellen mehr Details, wie Farbe, kleine Erhebungen und Senkungen und Spekularität ermöglicht. Danach wurden diese Texturen in Unity importiert und dort auf die 3D Modelle angewendet.

Vuforia SDK

Die Vuforia SDK ist eine Erweiterung für Unity, die Augmented Reality ermöglicht. Mit der Erweiterung können Bilder oder Grafiken definiert werden, worauf dann die 3D Szene von Unity abgebildet wird, wenn dieses Bild erkannt wird.

Android SDK

Die Android SDK wird benötigt, um das Unity Projekt als lesbare Appdatei für Android zu exportieren.

Gimp 2.8

In Gimp wurden alle Grafiken, wie das Kamerasymbol, Fadenkreuz und Knöpfe, erstellt und bearbeitet.

Audacity

Audacity ist ein Audioprogramm. Damit wurden alle Sounds für das Spiel selber aufgenommen.

Adobe Premiere Pro 

Mit Adobe Premiere Pro wurden die beiden Einführungsvideos geschnitten.

Das gesamte Projekt wurde von mir gestaltet. Mein Bruder half mir bei der Umsetzung der Erklärungsvideos als Schauspieler. 

Eigene Ressourcen:

Alle 3D Modelle, Animationen, Texturen der Modelle, grafische Inhalte und Texte der App wurden selber erschaffen.

Die Texte und Grafiken der Arbeitsblätter zur Lunge und zum Hirn wurden selber gestaltet. Die Einträge des Hirns und der Lunge von Wikipedia wurden zu Hilfe genommen.

Alle C# Scripte sind selber geschrieben ausser die bereitgestellten und benötigten Scripte für Vuforia.

Die vollständige Projektbeschreibung wurde selber verfasst.

Externe Ressourcen: 

Alles in FutureAR wurde von mir erstellt mit der Ausnahme von Vuforia. Vuforia ermöglicht das Tracking und somit das realistische Einblenden der Modelle. Vuforia stellt verschiedene Lizenzmodelle bereit, die bei 499 Dollar für ein Produkt mit Vuforia beginnen. Für Entwickler wird eine spezielle, kostenlose Entwicklerlizenz bereit gestellt, die auch in FutureAR zur Verwendung kommt. Eine Applikation mit der Entwicklerlizenz darf jedoch nicht im Google PlayStore zum Download angeboten werden. Aus diesem Grund habe ich Vuforia eine Email über meine Situation geschrieben und die Firma gefragt, was ich in meinem Fall machen soll, weil ich nicht einfach 499 Dollar für eine Lizenz ausgeben kann. Darauf bekam ich grünes Licht von Vuforia, dass ich die App mit einer Entwicklerlizenz für BugnPlay im Google PlayStore veröffentlichen darf. Schreiben Sie mir eine Email, wenn Sie dafür einen Nachweis benötigen!

Ideensammlung:

Nachdem ich letztes Jahr ein Virtual Reality Spiel bei Bugnplay eingereicht habe, wollte ich für dieses Jahr keine Virtual Reality Anwendung machen, aber dennoch eine angesagte und moderne Technologie in mein Projekt einbauen. Nach dem grossen Hype von Pokémon GO habe ich mich erkundigt, was es braucht, um eine Augmented Reality App zu programmieren. Schnell bin ich auf Vuforia gestossen, aber ich hatte noch keine konkrete Idee, was ich anstellen werde. Darauf habe ich mit 3D Modellen herumgespielt und ein wenig ausprobiert. Nun wollte ich aber etwas seriöses beginnen und so wurde der Grundstein für FutureAR gelegt.

Entwicklung von FutureAR:

FutureAR hatte noch keinen Inhalt, aber mir schwebte die Idee vor, Organe in Augmented Reality zu betrachten. So modellierte und texturierte ich das erste 3D Modell, nämlich eine Lunge in Maya und Substance Painter 2. Diese Lunge sah jedoch nicht realistisch aus und später wurde diese Lunge neu aufgearbeitet. Dann kam mir dazu die Idee der praktischen Schulanwendung, so modellierte ich noch ein Hirn. Später verwirklichte ich die Idee der Speisekarte mit einem Hamburger. - ca. 25 Stunden

Nun konnten nur 3D Modelle in FutureAR betrachtet werden, aber damit war ich noch lange nicht zufrieden. Mir fehlte die richtige Interaktivität des Benutzers mit FutureAR. Ich wollte ein Spiel, und so begann ich Ideen dafür zu sammeln. Ich probierte verschiedene Spielmechaniken mit Prototypen aus, bis ich auf das Prinzip von „Defend The Ladybugs“ gekommen bin. Darauf begann ich die Marienkäfer und Ameisen zu modellieren. Später kamen Steine und Walnüsse als Geschosse dazu. Nachdem das Spiel funktionstüchtig war, erweiterte ich es mit Leben der Marienkäfer, Hindernisse für die Ameisen, exponentielle Erscheinungsrate der Ameisen, mit einem Timer und vielen weiteren Details. - ca. 50 Stunden

Darauf setzte ich mich an eine schöne und verständliche Benutzeroberfläche, Grafiken und Texte. Dann habe ich mit der Projektbeschreibung, zwei Erklärungsvideos und an der Veröffentlichung im Google PlayStore gearbeitet. So ist FutureAR entstanden. - ca. 15 Stunden

 

Ich kann keine genaueren Angaben zur benötigten Zeit angeben, aber ich habe sicherlich 80-110 Stunden in alles investiert. Oft hatte ich das Problem, dass ich einen Fehler behoben habe, aber dann ist dadurch ein nächstes Problem entstanden und so weiter. Über einen Monat vom Februar bis zum März hinweg, wann immer ich Zeit hatte, habe ich ganze Wochenende, freie Nachmittage nach der Schule und in Teilen der Ferien an FutureAR gearbeitet.