Rinnakkaislaskennan hyödyntäminen neuroverkkojen kouluttamisessa ja käytössä
Heikkinen, Tomi (2023)
Heikkinen, Tomi
2023
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-202304276581
https://urn.fi/URN:NBN:fi:amk-202304276581
Tiivistelmä
Opinnäytetyössä hyödynnettiin rinnakkaislaskentaa ja kehyksiä neuroverkkojen kouluttamisessa ja käytössä. Opinnäytetyöhön koulutettiin kissa- ja koiraneuroverkko hyödyntämällä TensorFlow- ja Keras-tekniikkaa sekä PetImages-kuvia. Moniytimistä GPU:ta hyödyntävän neuroverkon koulutusprosessiin liitettiin lisäkehyksiä tai niiden ominaisuuksia. Saatuja koulutustuloksia vertailtiin keskenään ja saatiin vertailu erilaisten kehyksien vaikutuksessa neuroverkon oppimiseen.
Kaikissa neuroverkko koulutuksissa käytettiin samaa PetImages-kuvadataa. Kaikkien kehyksien kouluttamisessa käytettiin pohjana samaa TensorFlow- ja Keras-mallia. Opinnäytetyössä koulutettiin laskentayksikön kahdella GPU-suorittimella neuroverkko ja malliin lisättiin Horovod-, Sonnet-, TensorFlowOnSpark-kehykset tai niiden ominaisuuksia.
Parhaimmalla tarkkuudella saatiin kehyksistä koulutusprosessi toimimaan TensorFlowOnSpark-kehyksellä ja huonoiten Horovod-kehyksellä. Sonnetin-replikaattori vaihdettiin TensorFlow’n strategian tilalle ja sen vaikutusta mitattiin neuroverkon oppimiseen. Jokainen opinnäytetyössä käytetty kehys tai kehyksen ominaisuus on lisätty eri näkökulmasta MultiGPU:ta hyödyntävään TensorFlow- ja Keras-neuroverkkoon. Opinnäytetyön tulokset ovat vertailukelpoisia, koska eri neuroverkon kouluttamisessa on käytetty samaa neuroverkkomallia ja koulutusdataa sekä TensorFlow- ja Spark-tekniikoita.
Opinnäytetyö tuotti tietoa, miten ja millä tavalla lisäkehyksiä voidaan hyödyntää TensorFlow- ja Keras-pohjaisessa neuroverkon koulutusmallissa. Opinnäytetyö tuotti tietoa neuroverkon oppimisen tarkkuuden muutoksista, kun siihen lisätään kehyksiä tai niiden ominaisuuksia.
Opinnäytetyössä on hyödynnetty Kajaanin ammattikorkeakoulun supertietokone Bullin laskentayksikköä. Opinnäytetyö edistää Kajaanin ammattikorkeakoulun MLOps-kehitystä. Opinnäytetyö tuotti avointa tietoa neuroverkkoon liitettävistä kehyksistä ja niiden hyödyntämisen mahdollisuuksista Kajaanin ammattikorkeakoulun koneoppimisympäristössä. The thesis utilizes parallel computing and frameworks in training and using neural networks. For the thesis, a cat and dog neural network was trained using TensorFlow and Keras technology and PetImages. Additional frameworks or their properties were added to the training process of the neural network utilizing a multi-core GPU. The obtained training results were compared with each other, and a comparison was obtained in the effect of different frameworks on neural network learning.
All neural network trainings used the same PetImages image data. The same TensorFlow and Keras model was used as a basis for training all networks. In the thesis, a neural network was trained with the two GPU processors of the computing unit and the Horovod, Sonnet and TensorFlowOnSpark frameworks or their features were added to the model.
With the best accuracy, the training process was made to work with the TensorFlowOnSpark framework and the worst with the Horovod framework. The Sonnet replicator was replaced by the TensorFlow’s strategy and its effect on neural network learning was measured. Each framework on feature of the framework used in the thesis is added form a different perspective to the TensorFlow and Keras neural network utilizing MultiGPU. The results of the thesis are comparable because the same neural network model and training data as well as TensorFlow and Spark technologies have been used to train different neural networks.
The thesis produced information on how and in what way additional frameworks can be utilized in a neural network training model based on TensorFlow and Keras. The thesis produced information about the changes in the learning accuracy of the neural network when additional frames or their properties are added to it. Kajaani University of Applied Sciences’ supercomputer Bull’s computing unit has been utilized in the thesis. The thesis promotes the MLOps development of Kajaani University of Applied Sciences. The thesis produced open information about the framework that can be connected to the neural network and the possibilities of their utilization in the machine learning environment of Kajaani University of Applied Sciences.
Kaikissa neuroverkko koulutuksissa käytettiin samaa PetImages-kuvadataa. Kaikkien kehyksien kouluttamisessa käytettiin pohjana samaa TensorFlow- ja Keras-mallia. Opinnäytetyössä koulutettiin laskentayksikön kahdella GPU-suorittimella neuroverkko ja malliin lisättiin Horovod-, Sonnet-, TensorFlowOnSpark-kehykset tai niiden ominaisuuksia.
Parhaimmalla tarkkuudella saatiin kehyksistä koulutusprosessi toimimaan TensorFlowOnSpark-kehyksellä ja huonoiten Horovod-kehyksellä. Sonnetin-replikaattori vaihdettiin TensorFlow’n strategian tilalle ja sen vaikutusta mitattiin neuroverkon oppimiseen. Jokainen opinnäytetyössä käytetty kehys tai kehyksen ominaisuus on lisätty eri näkökulmasta MultiGPU:ta hyödyntävään TensorFlow- ja Keras-neuroverkkoon. Opinnäytetyön tulokset ovat vertailukelpoisia, koska eri neuroverkon kouluttamisessa on käytetty samaa neuroverkkomallia ja koulutusdataa sekä TensorFlow- ja Spark-tekniikoita.
Opinnäytetyö tuotti tietoa, miten ja millä tavalla lisäkehyksiä voidaan hyödyntää TensorFlow- ja Keras-pohjaisessa neuroverkon koulutusmallissa. Opinnäytetyö tuotti tietoa neuroverkon oppimisen tarkkuuden muutoksista, kun siihen lisätään kehyksiä tai niiden ominaisuuksia.
Opinnäytetyössä on hyödynnetty Kajaanin ammattikorkeakoulun supertietokone Bullin laskentayksikköä. Opinnäytetyö edistää Kajaanin ammattikorkeakoulun MLOps-kehitystä. Opinnäytetyö tuotti avointa tietoa neuroverkkoon liitettävistä kehyksistä ja niiden hyödyntämisen mahdollisuuksista Kajaanin ammattikorkeakoulun koneoppimisympäristössä.
All neural network trainings used the same PetImages image data. The same TensorFlow and Keras model was used as a basis for training all networks. In the thesis, a neural network was trained with the two GPU processors of the computing unit and the Horovod, Sonnet and TensorFlowOnSpark frameworks or their features were added to the model.
With the best accuracy, the training process was made to work with the TensorFlowOnSpark framework and the worst with the Horovod framework. The Sonnet replicator was replaced by the TensorFlow’s strategy and its effect on neural network learning was measured. Each framework on feature of the framework used in the thesis is added form a different perspective to the TensorFlow and Keras neural network utilizing MultiGPU. The results of the thesis are comparable because the same neural network model and training data as well as TensorFlow and Spark technologies have been used to train different neural networks.
The thesis produced information on how and in what way additional frameworks can be utilized in a neural network training model based on TensorFlow and Keras. The thesis produced information about the changes in the learning accuracy of the neural network when additional frames or their properties are added to it. Kajaani University of Applied Sciences’ supercomputer Bull’s computing unit has been utilized in the thesis. The thesis promotes the MLOps development of Kajaani University of Applied Sciences. The thesis produced open information about the framework that can be connected to the neural network and the possibilities of their utilization in the machine learning environment of Kajaani University of Applied Sciences.