Kanal Über Fotos Dateien Kalender Artikel Fehler melden Hilfe QRator Sprache Suche Verzeichnis Zufälliger Kanal
Distributed Deep Learning Using Volunteer Computing-Like Paradigm

  zuletzt bearbeitet: Wed, 18 Jan 2023 14:49:57 +0000   
Der Einsatz von Deep Learning (DL) in kommerziellen Anwendungen wie Bildklassifizierung, Stimmungsanalyse und Spracherkennung nimmt zu. Beim Trainieren von DL-Modellen mit einer großen Anzahl von Parametern und/oder großen Datensätzen können die Kosten und die Geschwindigkeit des Trainings unerschwinglich werden. Verteilte DL-Trainingslösungen, die einen Trainingsjob in Unteraufgaben aufteilen und diese über mehrere Knoten ausführen, können die Trainingszeit verkürzen. Die Kosten aktueller Lösungen, die hauptsächlich für Cluster-Computing-Systeme entwickelt wurden, können jedoch immer noch ein Problem darstellen. Im Gegensatz zu Cluster-Computing-Systemen können Volunteer Computing (VC)-Systeme die Rechenkosten senken, aber Anwendungen, die auf VC-Systemen ausgeführt werden, müssen mit Fehlertoleranz, variabler Netzwerklatenz und Heterogenität von Rechenknoten umgehen, und die aktuellen Lösungen sind dafür nicht ausgelegt so. Wir entwerfen eine verteilte Lösung, die DL-Training auf einem VC-System ausführen kann, indem wir einen datenparallelen Ansatz verwenden. Wir implementieren ein neuartiges asynchrones SGD-Schema namens VC-ASGD, das für VC-Systeme geeignet ist. Im Gegensatz zu herkömmlichen VC-Systemen, die die Kosten durch die Verwendung nicht vertrauenswürdiger freiwilliger Geräte senken, senken wir die Kosten, indem wir preemptive Computing-Instanzen auf kommerziellen Cloud-Plattformen nutzen. Durch die Verwendung präemptiver Instanzen, die fehlertolerante Anwendungen erfordern, senken wir die Kosten um 70-90 % und verbessern die Datensicherheit.
https://arxiv.org/abs/2103.08894
Übersetzt im Chromium-Browser

Volunteer-Computing - https://de.wikipedia.org/wiki/Volunteer-Computing

#SETIatHome #SETI@Home #VolunteerComputing #MachineLearning #ArtificialIntelligence  #KünstlicheIntelligenz #MaschinellesLernen #DeepLearning #VolunteerComputing