파이토치 ReLU 함수 사용하는 방법

ReLU 함수는 0보다 큰 경우에는 y=x 이고 0보다 작은 경우에는 y=0 인 함수입니다. 

 

먼저 모듈들을 불러옵니다. 

 

import torch.nn as nn
import torch

 

ReLU 함수를 사용하기 위해서는 ReLU 라는 인스턴스를 하나 만들어야 합니다. 아래와 같이 만듭니다. inplace=True 로 설정해줄 수도 있습니다. 이때는 my_relu 사용 시 my_relu(텐서) 에서 입력된 텐서가 변경됩니다. 

 

my_relu=nn.ReLU()

 

nn.ReLU 라는 클래스를 이용하여 인스턴스를 생성한 것입니다. 이제 텐서를 하나 정의하고 my_relu 를 사용해봅시다. 

 

t=torch.tensor([0.3])

 

적용하는 방법은 아래와 같습니다. my_relu 를 아래와 같이 함수처럼 사용할 수 있습니다. 

 

>>> my_relu(t)
tensor([0.3000])