Die wichtigsten KI-Trends im Jahr 2024

Das Jahr 2022 stellte einen Wendepunkt dar, als künstliche Intelligenz (KI) zu einem Thema der öffentlichen Debatte wurde, und 2023 war das Jahr, in dem sie erstmals in der Wirtschaft eingesetzt wurde. Das Jahr 2024 bringt neue Herausforderungen und Chancen mit sich, da Forscher und Unternehmen nach Wegen suchen, um KI bestmöglich in den Alltag zu integrieren.

In diesem Artikel werfen wir einen Blick auf einige der wichtigsten KI-Trends, auf die wir uns vorbereiten sollten und die wir im kommenden Jahr nutzen können.

Multimodale KI und Video

Die nächste Welle von Fortschritten wird sich nicht nur auf die Verbesserung der Leistung in einem bestimmten Bereich konzentrieren, sondern auch auf multimodale Modelle, die mehrere Arten von Daten als Input verwenden können. Modelle, die mit verschiedenen Datenmodalitäten arbeiten, sind zwar nicht gerade ein neues Phänomen, aber Text-Bild-Modelle wie CLIP und Sprache-Text-Modelle wie Wave2Vec gibt es schon seit Jahren. Sie arbeiten in der Regel nur in eine Richtung und wurden für eine bestimmte Aufgabe trainiert.

Die kommende Generation interdisziplinärer Modelle umfasst sowohl proprietäre Modelle wie GPT-4V von OpenAI oder Gemini von Google als auch Open-Source-Modelle wie LLaVa, Adept oder Qwen-VL. Diese Generation kann sich frei zwischen Aufgaben der natürlichen Sprachverarbeitung (NLP) und der Computer Vision bewegen und sogar Video ins Spiel bringen. Ende Januar kündigte Google Lumiere an, ein Modell zur Erstellung von Videos aus Text, das auch Aufgaben anhand eines Bildes ausführen oder Bilder als Stilreferenz verwenden kann.

Diese Fortschritte ermöglichen die Erstellung intuitiverer KI-Anwendungen und virtueller Assistenten und eröffnen neue Möglichkeiten der Interaktion mit der Technologie.

Kleinere Sprachmodelle und Open-Source-Erweiterungen

Bei den domänenspezifischen Modellen - insbesondere bei LLM - haben wir wohl einen Punkt erreicht, an dem mehr Parameter nicht mehr viel bringen.

Nur die größten Unternehmen verfügen über die finanziellen Mittel und den Serverplatz, um energieintensive Modelle mit Hunderten von Milliarden von Parametern zu trainieren und zu pflegen. Es wird geschätzt, dass das Training eines einzigen Modells in der Größe von GPT-3 den jährlichen Stromverbrauch von mehr als 1.000 Haushalten erfordert. Ein Standardtag mit ChatGPT-Anforderungen entspricht dem täglichen Stromverbrauch von 33.000 US-Haushalten.

Kleinere Modelle sind dagegen weit weniger ressourcenintensiv. Eine im März 2022 von Deepmind durchgeführte Studie zeigte, dass das Training kleinerer Modelle mit mehr Daten eine bessere Leistung erbringt als das Training größerer Modelle mit weniger Daten. Daher konzentriert sich ein Großteil der laufenden Innovationen im Bereich LLM darauf, mit weniger Parametern mehr Leistung zuerzielen.

Die Leistungsfähigkeit offener Modelle wird daher weiter zunehmen. Im Dezember 2023 brachte Mistral "Mixtral" heraus, das 8 neuronale Netze mit jeweils 7 Milliarden Parametern integriert. Das Unternehmen behauptet, dass es nicht nur die 70B-Variante des Llama 2-Parameters in den meisten Benchmarks mit der 6-fachen Inferenzgeschwindigkeit übertrifft, sondern in den meisten Standard-Benchmarks sogar mit dem viel größeren GPT-3.5 OpenAI gleichzieht oder es übertrifft.

Diese Fortschritte bei kleineren Modellen haben drei wichtige Vorteile:

• Sie machen die KI verständlicher: Je größer das Modell, desto schwieriger ist es zu bestimmen, wie und wo es wichtige Entscheidungen trifft. Verständliche KI ist wichtig, um die Ergebnisse von KI-Systemen zu verstehen, zu verbessern und ihnen zu vertrauen.
• Sie tragen zur Demokratisierung der KI bei: Kleinere Modelle, die zu geringeren Kosten auf erschwinglicherer Hardware ausgeführt werden können, ermöglichen es mehr Amateuren und Institutionen, bestehende Modelle zu untersuchen, zu trainieren und zu verbessern.

Sie können lokal auf kleineren Geräten ausgeführt werden: Dies ermöglicht anspruchsvollere KI in Szenarien wie Edge Computing und dem Internet der Dinge (IoT). Außerdem lassen sich durch die lokale Ausführung von Modellen auf dem Smartphone eines Nutzers viele Bedenken in Bezug auf den Datenschutz und die Cybersicherheit ausräumen, die bei der Interaktion mit sensiblen Daten auftreten.

GPU-Knappheit und Cloud-Kosten

Der Trend zu kleineren Modellen wird sowohl durch die Notwendigkeit als auch durch geschäftlichen Druck angetrieben, da die Kosten für Cloud Computing steigen, während die Verfügbarkeit von Hardware sinkt.

Während große Unternehmen in interne Rechenressourcen investieren, greifen immer mehr Nutzer auf Cloud-Dienste zurück. Für Unternehmen ist es daher wichtig, ein Gleichgewicht zwischen effizienten kleineren Modellen und leistungsfähigeren, aber teureren Modellen zu finden.

Diese Trends stellen neue Herausforderungen und Chancen für die KI dar und sind wichtig für die weitere Entwicklung der Technologie im Jahr 2024.