h1

000780519 001__ 780519
000780519 005__ 20231027114559.0
000780519 020__ $$a978-3-86359-802-0
000780519 0247_ $$2HBZ$$aHT020342073
000780519 0247_ $$2Laufende Nummer$$a38869
000780519 0247_ $$2datacite_doi$$a10.18154/RWTH-2020-00698
000780519 037__ $$aRWTH-2020-00698
000780519 041__ $$aEnglish
000780519 082__ $$a621.3
000780519 1001_ $$0P:(DE-82)IDM02957$$aBalda Canizares, Emilio Rafael$$b0$$urwth
000780519 245__ $$aRobustness analysis of deep neural networks in the presence of adversarial perturbations and noisy labels$$cEmilio Rafael Balda Cañizares$$honline, print
000780519 250__ $$a1. Auflage
000780519 260__ $$aAachen$$bApprimus$$c2019
000780519 260__ $$c2020
000780519 300__ $$a1 Online-Ressource (vi, 125 Seiten) : Illustrationen, Diagramme
000780519 3367_ $$02$$2EndNote$$aThesis
000780519 3367_ $$0PUB:(DE-HGF)11$$2PUB:(DE-HGF)$$aDissertation / PhD Thesis$$bphd$$mphd
000780519 3367_ $$0PUB:(DE-HGF)3$$2PUB:(DE-HGF)$$aBook$$mbook
000780519 3367_ $$2BibTeX$$aPHDTHESIS
000780519 3367_ $$2DRIVER$$adoctoralThesis
000780519 3367_ $$2DataCite$$aOutput Types/Dissertation
000780519 3367_ $$2ORCID$$aDISSERTATION
000780519 4900_ $$aElektro- und Informationstechnik
000780519 500__ $$aDruckausgabe: 2019. - Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2020
000780519 502__ $$aDissertation, RWTH Aachen University, 2019$$bDissertation$$cRWTH Aachen University$$d2019$$gFak06$$o2019-11-18
000780519 5203_ $$aIn dieser Arbeit untersuchen wir die Robustheit und Verallgemeinerungseigenschaften von Deep Neural Networks (DNNs) unter verschiedenen rauschbehafteten Bedingungen, die auf fehlerhafte Eingaben oder Bezeichnungen zurückzuführen sind. Solche Verfälschungen können entweder zufällig oder absichtlich vorgenommen werden, um den Ziel-DNN zu stören. Eingaben, die durch in böswilliger Absicht entworfene Störungen verfälscht wurden, sind als widersprüchliche Beispiele bekannt und beeinträchtigen nachweislich die Leistung von DNNs erheblich. Aufgrund der Nichtlinearität von DNNs ist das Herstellen solcher Störungen jedoch nicht trivial. Wir befassen uns zunächst mit dem Problem, Algorithmen zur Erzeugung von konträren Beispielen zu entwerfen, die als konträre Angriffe bezeichnet werden. Wir beginnen mit einer allgemeinen Formulierung dieses Problems und schlagen durch sukzessive konvexe Relaxationen einen Rahmen für die Berechnung von widersprüchlichen Beispielen unter verschiedenen gewünschten Bedingungen vor. Mit diesem Ansatz leiten wir neuartige Methoden ab, die bestehende Algorithmen in getesteten Szenarien konsequent übertreffen. Darüber hinaus werden neue Algorithmen für Regressionsprobleme formuliert. Wir zeigen, dass die Anfälligkeit von Gegnern auch bei verschiedenen Regressionsaufgaben eine Rolle spielt, ein Problem, das bisher in der Literatur übersehen wurde. Obwohl umfangreiche Arbeiten zum Entwurf und Verständnis von DNNs durchgeführt wurden, die gegen diese Angriffe resistent sind, sind ihre Generalisierungseigenschaften weniger bekannt. Wie gut verallgemeinert sich die gegnerische Robustheit vom Trainingssatz auf unsichtbare Daten? Wir verwenden die Statistical Learning Theory (SLT), um das sogenannte kontradiktorische Risiko von DNNs zu begrenzen. Der Nachweis von SLT-Grenzen für tiefes Lernen ist eine fortlaufende Forschung mit verschiedenen bestehenden Rahmenbedingungen. Unter diesen SLT-Frameworks wählen wir eine auf Komprimierung basierende Technik aus, die die neuesten Ergebnisse für DNNs im nicht-kontradiktorischen Regime liefert. Unsere Bindung nutzt die durch das kontradiktorische Training induzierten Sparsity-Strukturen und ist nicht explizit von der Input-Dimension oder der Anzahl der Klassen abhängig. Dieses Ergebnis stellt eine Verbesserung gegenüber bestehenden Grenzen dar. Um diese Arbeit abzuschließen, konzentrieren wir uns von gestörten Eingaben auf rauschbehaftete Beschriftungen und analysieren, wie DNNs lernen, wenn ein Teil der Eingaben falsch beschriftet ist. In diesem Aufbau verwenden wir die Informationstheorie, um das Verhalten von Klassifikatoren zu charakterisieren. Unter verrauschten Bezeichnungen untersuchen wir die Flugbahn von DNNs in der Informationsebene, die durch die Entropie geschätzter Bezeichnungen und die bedingte Entropie zwischen gegebenen und geschätzten Bezeichnungen gebildet wird. Wir analysieren die Flugbahn in der Informationsebene und zeigen die Entrauschungsfähigkeit von DNNs. In vereinfachten Szenarien können wir diese Trajektorien für einschichtige neuronale Netze, die mit stochastischem Gradientenabstieg trainiert wurden, analytisch charakterisieren. Dieses Ergebnis zeigt eine Flugbahn für richtig trainierte Netzwerke, die unter DNNs in realen Bildklassifizierungsaufgaben konsistent zu sein scheint. Darüber hinaus zeigen wir, dass unter- und überausgestattete sowie gut trainierte DNNs in der Informationsebene signifikant unterschiedliche Flugbahnen aufweisen. Solche Phänomene sind nicht sichtbar, wenn nur Trainings- und Validierungsfehler berücksichtigt werden. Diese Ergebnisse zeigen, dass informationstheoretische Größen eine umfassendere Sicht auf den Lernprozess bieten als Standard-Trainings- und Validierungsfehler.$$lger
000780519 520__ $$aIn this thesis, we study the robustness and generalization properties of Deep Neural Networks (DNNs) under various noisy regimes, due to corrupted inputs or labels. Such corruptions can be either random or intentionally crafted to disturb the target DNN. Inputs corrupted by maliciously designed perturbations are known as adversarial examples and have been shown to severely degrade the performance of DNNs. However, due to the non-linearity of DNNs, crafting such perturbations is non-trivial. We first address the problem of designing algorithms for generating adversarial examples, known as adversarial attacks. We start with a general formulation of this problem and, through successive convex relaxations, propose a framework for computing adversarial examples under various desired constraints. Using this approach, we derive novel methods that consistently outperform existing algorithms in tested scenarios. In addition, new algorithms are also formulated for regression problems. We show that adversarial vulnerability is also an issue in various regression tasks, a problem that has so far been overlooked in the literature. While there has been a vast amount of work on the design and understanding of DNNs resistant to these attacks, their generalization properties are less understood. How well does adversarial robustness generalize from the training set to unseen data? We use Statistical Learning Theory (SLT) to bound the so-called adversarial risk of DNNs. Proving SLT bounds for deep learning is on-going research with various existing frameworks. Among these SLT frameworks, we choose a compression-based technique that established state of the art results for DNNs in the non-adversarial regime. Our bound leverages the sparsity structures induced by adversarial training and has no explicit dependence on the input dimension or the number of classes. This result constitutes an improvement over existing bounds. To complete this work, we shift our focus from perturbed inputs to noisy labels and analyze how DNNs learn when a portion of the inputs is incorrectly labeled. In this setup, we use information theory to characterize the behavior of classifiers. Under noisy labels, we study the trajectory of DNNs in the information plane, formed by the entropy of estimated labels and the conditional entropy between given and estimated labels. We analyze the trajectory in the information plane and show the de-noising capabilities of DNNs. Under simplified scenarios, we are able to analytically characterize these trajectories for one-layer neural networks trained with stochastic gradient descent. This result shows a trajectory for properly trained networks that seems to be consistent among DNNs in real image classification tasks. In addition, we show that underfitted, overfitted and well-trained DNNs exhibit significantly different trajectories in the information plane. Such phenomena are not visible when considering only training and validation error. These results show that information-theoretic quantities provide a richer view of the learning process than standard training and validation error.$$leng
000780519 588__ $$aDataset connected to Lobid/HBZ
000780519 591__ $$aGermany
000780519 653_7 $$amachine learning
000780519 653_7 $$aneural networks
000780519 7001_ $$0P:(DE-82)IDM00567$$aMathar, Rudolf$$b1$$eThesis advisor$$urwth
000780519 7001_ $$0P:(DE-82)IDM02387$$aLeibe, Bastian$$b2$$eThesis advisor$$urwth
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.pdf$$yOpenAccess
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519_source_s.zip$$yRestricted
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.gif?subformat=icon$$xicon$$yOpenAccess
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.jpg?subformat=icon-1440$$xicon-1440$$yOpenAccess
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.jpg?subformat=icon-180$$xicon-180$$yOpenAccess
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.jpg?subformat=icon-640$$xicon-640$$yOpenAccess
000780519 8564_ $$uhttps://publications.rwth-aachen.de/record/780519/files/780519.jpg?subformat=icon-700$$xicon-700$$yOpenAccess
000780519 909CO $$ooai:publications.rwth-aachen.de:780519$$popenaire$$popen_access$$pVDB$$pdriver$$pdnbdelivery
000780519 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM02957$$aRWTH Aachen$$b0$$kRWTH
000780519 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM00567$$aRWTH Aachen$$b1$$kRWTH
000780519 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM02387$$aRWTH Aachen$$b2$$kRWTH
000780519 9141_ $$y2019
000780519 915__ $$0StatID:(DE-HGF)0510$$2StatID$$aOpenAccess
000780519 9201_ $$0I:(DE-82)613410_20140620$$k613410$$lLehrstuhl und Institut für Theoretische Informationstechnik$$x0
000780519 961__ $$c2020-02-05T13:19:58.244797$$x2020-01-15T14:14:45.962219$$z2020-02-05T13:19:58.244797
000780519 9801_ $$aFullTexts
000780519 980__ $$aI:(DE-82)613410_20140620
000780519 980__ $$aUNRESTRICTED
000780519 980__ $$aVDB
000780519 980__ $$abook
000780519 980__ $$aphd