Von Produktions-Copiloten
bis zur Verwendung im Spiel

Ich habe einen NPC fürs echte Leben gebaut – für ein Wüstenfestival… na ja, so ungefähr. Ein Rückblick: Eines meiner Sommerprojekte war es, eine Kunstinstallation zu einem regionalen Burning-Man-Event in Spanien zu bringen. Da es bei dem Event um Co-Kreation geht, fragte ich mich: Wie könnte ich meine Gamedev-Skills ins Wüstenchaos einbringen? Die Antwort war klar: einen physischen NPC bauen, der den sarkastischen und zynischen Geist des Festivals verkörpert. Man geht hin, drückt einen Knopf, spricht in seiner Sprache – und er antwortet. Vielleicht inspiriert er dich, bringt dich zum Lachen, gibt nützliche Infos, schickt dich auf eine Quest, teilt ein Geheimnis oder hilft dir, absurde Gerüchte zu verbreiten. Plötzlich hatte ich viel zu viele Ideen, was er alles tun könnte. Ich habe meine Freunde bei X&Immersion kontaktiert, und sie waren sofort begeistert. Sie haben mir erlaubt, ihre Dialog-Engine Diagen auszuprobieren, und schon nach wenigen Tagen hatte ich einen Prototyp für das Event. Das habe ich gelernt: Ich habe andere LLMs getestet (auch OpenAI), aber Diagen war meilenweit voraus. Es blieb immer in der Rolle. Komplett steuerbar: Länge der Ausgaben, Ton, Toxicity, Variabilität. Läuft lokal (obwohl ich dieses Jahr 4G/Cloud genutzt habe – und das bringt in einer feindlichen Umgebung einige Herausforderungen). Lässt sich direkt in Unity/Unreal über ihre SDKs integrieren. Und es ist deutlich schneller als alles andere, was ich ausprobiert habe. Das größte Problem war die Antwortzeit: Als ich Spracherkennung, Sprachsynthese, Übersetzung, RAG und Dialogspeicher mit kontextueller Datenbanksuche hinzugefügt habe, war es einfach nicht mehr schnell genug. Der Dialog selbst war stabil und schnell, aber ich hatte keine Zeit, den Rest zu optimieren, also habe ich es diesmal simpel gehalten. Für dieses Jahr fehlten mir Zeit und Ressourcen für die vollständige physische Installation, daher wurde Version eins am Ende eine App (siehe Konzeptzeichnungen). Trotzdem war es das perfekte Testfeld, um Dialog-Technologie unter rauen Bedingungen auszuprobieren. Nächstes Jahr will ich es richtig zurückbringen – mit reicheren Verhaltensweisen und einem physischen Aufbau vor Ort. Ich bin gespannt, wie sich KI bis dahin entwickelt! Für mich ist Diagen eines der beeindruckendsten Dialog-Tools, die ich je benutzt habe: produktionsreif, zuverlässig und richtig spaßig. Es kommt mit einem kompletten Werkzeugkasten: Dialogspeicher, RAG, TTS mit individuellen Stimmen – alles, was man für immersive NPCs oder Installationen braucht. Vielen Dank an X&Immersion für die Unterstützung bei diesem kleinen Experiment. Wenn ihr mit Dialog in eurem Spiel innovativ sein wollt, kann ich euch nur empfehlen, sie zu kontaktieren.

Die Technologie von X&Immersion hat unser nächstes Koop-Horrorspielprojekt revolutioniert. Mit ihrem Diagen-Tool haben wir einen von Twitch inspirierten dynamischen Chat direkt in das Spiel integriert. Dadurch können wir eine unendliche Anzahl prozedural erstellter erzählerischer Elemente hinzufügen, die manuell nicht erstellt werden können. Wir erstellen Charakterprofile und Handlungsstränge, und Diagen generiert auf der Grundlage dieser Informationen in Echtzeit einen kohärenten, relevanten Text. Darüber hinaus ist es eine zu 100% lokale Integration, die es Spielern ermöglicht, den Server von ihrem PC aus zu starten — und uns alle externen Serverkosten erspart, was unser Projekt rentabel und skalierbar macht. Zusammenfassend lässt sich sagen, dass wir von erstklassiger Technologie und einem Expertenteam unterstützt werden, und das ist erst der Anfang!

Für Gesichtsanimationen, die per Motion-Capture aufgenommen wurden, erwies sich Geppetto als äußerst hilfreiche Ergänzung zu unseren bestehenden Abläufen. Wenn wir – etwa wegen technischer Probleme, Synchronisierungsfehler oder nachträglicher Skriptänderungen – den Lippenbereich einer Mocap-Animation überarbeiten mussten, konnten wir mit Geppetto 55 % der Produktionszeit im Vergleich zu einer reinen Keyframe-Bearbeitung einsparen.So konnten wir den Keyframe-Aufwand vollständig auf den Feinschliff konzentrieren – ganz im Sinne unseres Ansatzes für hochwertige Mocap-Animationen.

Integrating X&Immersion's real‑time voice cloning and text‑to‑speech tools into Murky Divers, allowed us to generate lifelike voice clones in mere seconds that can lure and trap players with eerie realism. The X&Immersion team crafted a tailor-made solution and iterated swiftly to match our exact needs. At Embers, we’re proud that our work together made us first to introduce this cutting‑edge technology into a production video game, enhancing the immersive experience and pushing the boundaries of interactive goofy horror gameplay.

Very friendly and capable team, they helped us get our project off the ground!

Die Lösungen von X&Immersion für künstliche Intelligenz, Text-to-Speech und Charakterbewegung haben uns wirklich beeindruckt. Mit diesen Lösungen haben wir ein System entwickelt, das sich auf Benutzeravatare konzentriert und diese Charaktere zum Leben erweckt. Es ist ein immersives und personalisiertes Erlebnis, das unsere Erwartungen bei weitem übertrifft.

Ich freue mich wirklich darauf, das Text-to-Speech-Plug-In von X&Immersion in unser neuestes Projekt zu integrieren. Es hat neue spannende kreative Möglichkeiten eröffnet, um unseren Produktionsansatz und die Qualität sowohl der laufenden Arbeiten als auch der Endergebnisse zu verbessern. Dank dieser fortschrittlichen Technologie waren wir in der Lage, unseren Bedürfnissen in Bezug auf Charaktere, künstlerische Ausrichtung und Dialoge besser gerecht zu werden. Die Funktionen zur Lippensynchronisierung und Stimmengenerierung sind für unser Projekt unglaublich wertvoll und motivieren uns, unsere Zusammenarbeit mit X&Immersion weiter zu stärken!

Bei der Entwicklung eines narrativen Videospiels ermöglicht uns X&Immersion, die Reaktivität des Universums und das Eintauchen des Spielers zu verstärken. Der wahre Bonus: Die Verfügbarkeit des Teams, die Sprache jedes Charakters an unsere kreativen Bedürfnisse anzupassen!