Spiking Neural Networks könnten in Zukunft aktuelle Deep Learning Netze ersetzen. Forschende des Human Brain Project zeigen erste Ansätze.

Der große KI-Boom der letzten Dekade ist auf Fortschritte im maschinellen Lernen zurückzuführen, genauer gesagt auf das Deep Learning und die dort verwendeten künstlichen neuronalen Netze. Diese Netze brachten neue Bestleistungen in der Bilderkennung, der maschinellen Verarbeitung natürlicher Sprache oder dem Schachspiel. Wer also heute von Künstlicher Intelligenz spricht, meint meist Deep Learning mit künstlichen neuronalen Netzen.

Doch aktuelle KI-Systeme sind energiehungrig, aufwendig zu trainieren, statisch und oft verhältnismäßig langsam. Von der Flexibilität, Leistungsfähigkeit und Energieeffizienz ihres großen Vorbilds, dem biologischen Gehirn, sind sie weit entfernt.

Der Einsatz von Deep Learning (DL) in kommerziellen Anwendungen wie Bildklassifizierung, Stimmungsanalyse und Spracherkennung nimmt zu. Beim Trainieren von DL-Modellen mit einer großen Anzahl von Parametern und/oder großen Datensätzen können die Kosten und die Geschwindigkeit des Trainings unerschwinglich werden. Verteilte DL-Trainingslösungen, die einen Trainingsjob in Unteraufgaben aufteilen und diese über mehrere Knoten ausführen, können die Trainingszeit verkürzen. Die Kosten aktueller Lösungen, die hauptsächlich für Cluster-Computing-Systeme entwickelt wurden, können jedoch immer noch ein Problem darstellen. Im Gegensatz zu Cluster-Computing-Systemen können Volunteer Computing (VC)-Systeme die Rechenkosten senken, aber Anwendungen, die auf VC-Systemen ausgeführt werden, müssen mit Fehlertoleranz, variabler Netzwerklatenz und Heterogenität von Rechenknoten umgehen, und die aktuellen Lösungen sind dafür nicht ausgelegt so. Wir entwerfen eine verteilte Lösung, die DL-Training auf einem VC-System ausführen kann, indem wir einen datenparallelen Ansatz verwenden. Wir implementieren ein neuartiges asynchrones SGD-Schema namens VC-ASGD, das für VC-Systeme geeignet ist. Im Gegensatz zu herkömmlichen VC-Systemen, die die Kosten durch die Verwendung nicht vertrauenswürdiger freiwilliger Geräte senken, senken wir die Kosten, indem wir preemptive Computing-Instanzen auf kommerziellen Cloud-Plattformen nutzen. Durch die Verwendung präemptiver Instanzen, die fehlertolerante Anwendungen erfordern, senken wir die Kosten um 70-90 % und verbessern die Datensicherheit.

question at ChatGPT: I have previously asked the question "In the ChatGPT context, terms like request and token are used. I would like a definition for request and token. Perfect would be a definition with a pair of examples." in English. And you answered in German. The answer in German is understandable and OK for me, but I am curious, why did you answer the English question in German?

question at ChatGPT: Ich habe zuvor die Frage "In im ChatGPT context, terms like request and token are used. I would like a definition for request and token. Perfect would be a definition with a pair of examples." in Englisch gestellt. Und du hast  in Deutsch geantwortet. Die Antwort in Deutsch ist für mich verständlich und OK, aber ich bin neugierig, warum hast du die englisch Frage in deutsch beantwortet?
answer of ChatGPT: I apologize for any confusion I may have caused. As an artificial intelligence model, I am able to answer in multiple languages depending on the language the user is using. In your case, I understood the question in German, and gave the answer in German because I thought it was best for you. I assure you that I am able to answer your questions in English and I apologize for any inconvenience I may have caused.

question: In ChatGPT an OpenAI context, terms like request and token are used. I request a definition for the terms request and token for the context ChatGPT to OpenAI.  Perfect would be a definition with a pair of examples.

answer: In the context of ChatGPT at OpenAI, a request refers to the input or query provided by the user to the model, typically a natural language sentence or phrase. The model then processes this request and generates a response, also known as a token.

For example, a request could be "What is the weather like today?" And the token generated by the model in response could be "It's currently sunny and 75 degrees Fahrenheit."

A token can be defined as a discrete unit of meaning or data in natural language processing (NLP) and machine learning (ML) models such as ChatGPT. Tokens can be words, phrases, or other units of meaning in the text, and are often used as input for various NLP and ML tasks, such as language translation, text generation, or text classification.