It all started with using AI Image Generation capabilities to (re)generate from minimal data. The recording of metaverse experiences supports various use cases in collaboration, VR training, and more. Such Metaverse Recordings can be created as multimedia and time series data during the 3D rendering process of the audio–video stream for the user. To search in a collection of recordings, Multimedia Information Retrieval methods can be used. Also, querying and accessing Metaverse Recordings based on the recorded time series data is possible. The presentation of human-perceivable results of time-series-based Metaverse Recordings is a challenge. This paper demonstrates an approach to generating human-perceivable media from time-series-based Metaverse Recordings with the help of generative artificial intelligence. Our findings show the general feasibility of the approach and outline the current limitations and remaining challenges. Read the full paper
Leave a CommentTag: ai
Steinert Insights 24-51
What’s Up
Einen schönen vierten Advent. Das Jahr ist fast rum und der übliche Trubel ebbt langsam ab. Daher habe ich die Zeit ein paar Dinge abzuschließen und ein paar Gedanken aufzuschreiben. So etwa meine jüngste Einschätzung zu Generativer KI in der Softwareentwicklung.
Trick-Labs Projekte
AI-Lab
Überraschend bin ich die Woche auf die IDE Windsurf gestoßen, eine Agenten-basierte Software. Die Agenten können umfangreiche Code Anforderungen umsetzen, was sehr krass ist. So konnte ich ein noch unbekanntes Projet deutlich nach vorne bringen.
Daneben habe ich wieder etwas mit lokalen LLMs getestet. Phi-4 von Microsoft funktioniert mit ollama auf meinem lokalen System mit RTX 3090Ti. Sogar recht performant. Die Ergebnisse sind für eine lokales Model sogar recht brauchbar, der Test dauert aber noch an.
Velo Wear
Neben ein paar Kleinigkeiten geht es hauptsächlich um die Siri-Integration. Dabei musste ich erstmal verstehen, wie das sich Apple das so gedacht hat. Die Siri-Sprachsteuerung und die Shortcuts für die Workflow App sind dabei verknüpft. Das wird von Flutter noch nicht ganz so gut unterstützt. Aber der Durchstich ist gelungen, jetzt geht es um die Liebe zum Detail.
Dissertation
Keep on writing. Auch hier ist liebe zum Detail gefragt, aber in den Formulierungen. Meine Erkenntnis: Lesen und korrigieren geht besser am iPad als am Desktop.
Brainwaves von Patrick
LEBEM (Lernern, Ernährung, Bewegung, Erholung, Motivation) ist ein Prinzip, dass ich ganz gerne nutze eine Balance zu erreichen. Die kommende Woche gehts um Erholung.
What’s On
Es ist auffällig, dass in letzter Zeit einige der großen kreativ YouTuber in meiner Bubble wieder aktiv werden. Nach Peter McKinnon und Peter Lindgren meldet sich nun auch Matt D’Avella wieder zurück. Zufall?
Leave a CommentFive Levels of Autonomous Coding
Level 1: Assisted Coding
-
What Happens: Coders handle the bulk of the work but can request autogenerated code snippets to copy-paste or use as code completion.
-
Responsibility: Coders must validate and are ultimately responsible for all code, ensuring accuracy and functionality.
Level 2: Partly Automated Coding
-
What Happens: Coders primarily use the IDE to specify features, and the AI then modifies the code accordingly.
-
Responsibility: While the AI handles some coding, coders must validate all changes and remain responsible for the final output.
Level 3: Highly Automated Coding
-
What Happens: Coders use a more advanced interface, not limited to traditional IDEs, to specify features. AI can automatically handle specific tasks like fulfilling software tests, generating test code, reorganizing code for better maintainability, creating new user interface features, and proposing and testing solutions to errors.
-
Responsibility: Coders intervene in exceptional cases or when errors arise that the AI cannot resolve.
Level 4: Fully Automated Coding
-
What Happens: The developer’s role shifts more towards a Product Owner’s. AI can code features based on detailed specifications and autonomously handle errors—making adjustments, testing, and waiting for developers to review and commit changes.
-
Responsibility: The AI provider assumes a significant portion of the responsibility, especially in maintaining the integrity and functionality of the code.
Level 5: Autonomous Coding
-
What Happens: AI handles everything from coding new features based on persistent specifications to upgrading dependencies and fixing errors. It manages the full lifecycle of the code, including deployment.
-
Responsibility: AI becomes largely self-sufficient, significantly reducing the need for human intervention.
Neue Horizonte im E-Commerce: Wie KI die Spielregeln verändert
KI ist im E-Commerce ein alter Hut. Recommendations, Prognosen, Kundensegmentierung – die Use Cases gibt es schon ewig. Die neuen AI-Technologien sind dennoch ein Game-Changer und verändern den Digital Commerce, da bin ich sicher. Es gibt aber Unternehmen, die sind besser vorbereitet als andere und so wird sich schnell zeigen, wer die Möglichkeiten als Vorteil einsetzen kann – und wer nicht.
Leave a CommentKI in der Digital Multimedia Supply Chain
Das Thema KI ist ja jetzt nicht neu und in der Medienwelt gibt es ja viel KI Potential: Medienanalyse, Recommendations, Predictions… dennoch sind jetzt viele neugierig auf die Möglichkeiten insbesondere zur Automatisierung von Prozessen. Und da helfen die neuen KI Modelle tatsächlich besser, weil die Qualität einfach besser ist!
Leave a Comment6 Tipps zu IoT Analytics mit der CumulocityIoT Plattform
Eigentlich hätte ich gestern auf der buildingIoT Konferenz meinen Talk zu “IoT Analytics – Stream und Batch-Processing” gehalten. Nun ja, es sollte nicht sein. Daher habe ich meine Takeaways hier zusammengefasst.
In IoT Use Cases werden oft Daten verarbeitet. Ab einer gewissen Menge an Daten gibt es einen nicht mehr zu erfüllenden Zielkonflikt zwischen Real-Time-Anforderungen und der Genauigkeit. Dieser lässt sich durch die Lambda-Architektur auflösen und in zwei Layern getrennt erfüllen. In SaaS Plattformen, wie der CumulocityIoT, stehen dazu oft Mittel wie Complex Event Processing (CEP) Engines und REST-Schnittstellen zur Verfügung. Im Falle der CumulocityIoT Plattform läuft die Stream Verarbeitung über die CEP Engine Apama. Es gibt jedoch ein paar Dinge für eine stabile und effektive Verarbeitung zu beachten. Daher hier meine 6 Tipps zu IoT Analytics.
Leave a CommentReview of the Predictive Analytics World Business Conference
The last two days I was at the Predictive Analytics World Business Conference in Berlin. The event happened inside the Estrel Hotel, a nice and good managed location. In the talks of day one, little was in for me. The deep dive tracks were too deep for me. The use case tracks too superficial. At least it looks like presenting companies are using AI/ML in production. This is in contrast to the Industrial Data Science Days in Dortmund earlier this year, where Companies are using AI/ML in scientific PoCs, far from production.
At day two, the talks were much more interesting. My personal highlight was the talk (with the very long title) “Data Science Development Lifecycle – Everyone Talks About It, Nobody Really Knows How to Do It and Everyone Thinks Everyone Else Is Doing It” by Christian Lindenlaub und René Traue. They summarized their learnings from using Scrum and other methods in Machine Learning projects. They showed how to combine different agile methodologies to run successful machine learning + production software projects. Very inspiring for our own projects too.
The following talk “How to Integrate Machine Learning into Serverless Workflows” delivered also some helpful insights for some of Tarent’s current projects.
In the end, a good conference with some points I took home. See you next year? I don’t know yet. We will see.
Leave a Comment