파이토치 LeakyReLU 함수 사용하는 방법

ReLU 함수는 0보다 큰 경우에는 y=x 이고 0보다 작은 경우에는 y=ax 인 함수입니다. a를 설정해주어야 합니다. 

먼저 모듈들을 불러옵니다. 

import torch.nn as nn
import torch

LeakyReLU 함수를 사용하기 위해서는 LeakyReLU 라는 인스턴스를 하나 만들어야 합니다. 기울기 a를 입력해주어야 합니다. 아래와 같이 만듭니다. inplace=True 로 설정해줄 수도 있습니다. 이때는 my_lkrelu 사용 시 my_lkrelu(텐서) 에서 입력된 텐서가 변경됩니다. 

 

my_lkrelu=nn.LeakyReLU(0.2)

 

nn.LeakyReLU 라는 클래스를 이용하여 인스턴스를 생성한 것입니다. 이제 텐서를 하나 정의하고 my_lkrelu 를 사용해봅시다. 

 

t=torch.tensor([-0.3, 0.3])

 

적용하는 방법은 아래와 같습니다. my_lkrelu 를 아래와 같이 함수처럼 사용할 수 있습니다. 

 

>>> my_lkrelu(t)
tensor([-0.0600,  0.3000])