Programming/Pytorch 검색 결과

해당 글 3건

Pytorch docs 요약] Cuda semantics

CUDA SEMANTICS torch.cuda는 CUDA operations들을 설정하고 실행할 수 있게 해준다. 선택한 GPU를 추적하고 할당한 모든 CUDA tensor는 ‘torch.cuda.device’ 같이 명시하지 않는한 default GPU에 할당된다. 일단 할당되면 계속 그 GPU에서 처리 되기 때문에 copy_()나 to(), cuda()로 따로 복사해서 옮기지 않는 한 해당 GPU에서만 동작한다. 예시 cuda = torch.device('cuda') # 기본 CUDA 장치에 할당 cuda0 = torch.device('cuda:0') # 보통 0부터 시작 cuda2 = torch.device('cuda:2') # GPU 2에 할당 x = torch.tensor([1., 2.], dev..
Programming/Pytorch 2019. 2. 2. 19:22

Pytorch docs 요약] Broadcasting Semantics

원본 BROADCASTING SEMANTICS 많은 pytorch operation은 NumPy Broadcasting Semantics을 지원한다. 짧게 말해, PyTorch operation이 broadcast를 지원하면, 그 텐서 매개변수들은 자동적으로 (데이터를 복사하지 않고서) 동일한 크기(size)로 확장될 수 있다. GENERAL SEMANTICS 만약 다음 두 가지 규칙을 유효하면, 두 개의 텐서는 "broadcastable"하다. 각 텐서는 최소한 한 차원(dimension)은 가지고 있다. 차원 크기에 따라 반복할 때, 뒤 쪽에서 시작하여 차원의 크기는 동일해야하고, 그 중 하나는 1이거나 존재하지 않아야 한다. 예를 들어 >>> x=torch.empty(5,7,3) >>> y=torc..
Programming/Pytorch 2019. 1. 30. 12:31

Pytorch docs 요약] Autograd Mechanics

원본 AUTOGRAD MECHANICS Autograd가 어떻게 동작하는 지에 대한 이야기. 꼭 몰라도 되지만 알면 좋다. EXCLUDING SUBGRAPHS FROM BACKWARD 모든 텐서는 requires_grad를 가지고 있으며 이를 통해 gradient 계산을 포함할지를 결정할 수 있다. 만약 어떤 입력이 require_grad=True라면 당연히 그 이후 출력도 계산을 해야하기 때문에 True값이다. 반대로 입력이 필요없다면 마찬가지로 출력에서도 필요없다. 그렇다면 입력이 여러 개 일때, 제각각이라면? 하나라도 있다면 그 gradient를 위해 그 이후 출력은 필요하다. >>> x = torch.randn(5, 5) # requires_grad=False by default >>> y = t..
Programming/Pytorch 2019. 1. 27. 14:09