Preise

Wie funktioniert ein Large Language Modell?

Künstliche Intelligenz kann nichts mit unstrukturierten Daten wie Fließtext oder Bildern anfangen. Da KI-Algorithmen auf mathematischen und stochastischen Methoden basieren, benötigen sie numerische Werte.

​

Um ein LLM zu trainieren, wird ein Text von einem Tokenizer in Token zerlegt. Als Form von Token werden Wortbestandteile genutzt, die in Texten vorkommen. Möglich wären auch ganze Sätze, Wörter oder Zeichen. Wortbestandteile haben den Vorteil, dass sie auch in Wörtern vorkommen, die das Modell noch nicht kennt. Die Token werden in eine numerische Repräsentation überführt, die jedem Wortbestandteil eine eindeutige ID zuordnet.

​

Beispiel für das OpenAI Modell GPT-3.5-Turbo:

Die Anwendung wurde unerwartet beendet.

-> [Die][ An][wendung][ wurde][ un][er][wart][et][ be][endet][.]

-> [18674, 1556, 67771, 27201, 653, 261, 36708, 295, 387, 55181, 13]
 

Im Vergleich dazu ist es auf Englisch nicht so kleinteilig:

​

The application has unexpectedly stopped.

-> [The][ application][ has][ unexpectedly][ stopped][.]

-> [464, 3586, 468, 471, 42072, 306, 22025, 1496, 13]

​

Quelle: Link