전체 글 검색 결과

해당 글 49건

블로그 작업 일기 1] Nuxt 프로젝트 생성하기

이미 블로그는 한 번 만들어 봤고, 글도 써봤지만..좀 더 확실하게 나의 부업이 되어줄 블로그를 만들고 싶었다. 하지만 공부한다는 핑계로 포스팅도 미루고 토이프로젝트라는 그럴싸한 핑계로 아무것도 하지 않게 되었다. 다시 시작하는 것은 늘 어렵고 긴 시간이 걸린다. 이번만큼은 까먹지 말자. 내가 해야할게 무엇인지. Nuxt 설치 다시 블로그를 만들어야 한다. Nuxt 프로젝트에 필요한 재료들을 정리하자면.. node: 최신 버전으로 하는 것을 추천한다. VSCode: Vetur 확장자도 깔면 Vue를 사용하기 쉽다. VSCode 대신 WebStorm을 써도 되지만 난 개인적으로 VSCode가 좋다. 프로젝트 생성 npm을 주로 사용하기 때문에 npm 방식으로 프로젝트를 생성했다. 나는 블로그를 만들고싶은 ..
Programming/Nuxt 2021. 11. 18. 03:51

JQuery - 동적으로 내용 수정하기 append, prepend, remove, empty, html, text

JQuery를 사용하면서 동적으로 내용을 수정하고 싶은 경우가 생긴다. 그럴 때 자주 사용되는 6가지 함수에 대해 알아보겠다. .append(): 요소 내부의 뒤에서부터 내용을 채운다. .prepend(): 요소 내부의 앞에서부터 내용을 채운다. .remove(): 요소 자체를 지운다. .empty(): 요소 내부를 비운다. 보통 append나 prepend 하기 전에 사용. .html(): 요소 내부를 비우고 태그를 실행한 내용을 채운다. 또는 태그 포함한 채로 내용을 가져올 수 있다. .text(): 요소 내부를 비우고 태그 포함 있는 그대로 내용을 채운다. 또는 태그를 제외한 내용만 가져온다. append 안녕하세요 뒤에 append로 안녕히가세요를 붙이는 코드이다. See the Pen JQuer..
Programming/Javascript 2021. 11. 2. 15:06

딥러닝 서버에 ssh로 연결해서 VSCode로 코드를 짜보자!

나의 목표최근 취업 교육 때문에 밖에 나와야할 경우가 많아졌다. 마침 Python 교육을 하고 있었고 어느 정도 알고 있던 나는 PyTorch를 공부하기로 했다. 정리하는 김에 Jupyter로 하면 좋겠다는 생각이 들었고 이게 내 집에 있는 컴퓨터로 실행되면 더 좋겠다는 생각이 들었다. 그렇게 물고 늘어지다가 결국 SSH를 구축하고 뭔지도 모를 포트포워딩을 하고…네트워크 책을 사고…jupyter보단 내가 쓰는 vscode가 좋을 거 같아서 최종적으로 ssh를 이용해서 vscode라는 gui로 집 컴퓨터의 성능을 가진 딥러닝 개발 환경을 맥북에서 사용할 수 있게 된다!!(뭔 말이래…)정말 해내는건 쉬웠으나 이 과정까지 오기에 많은 시간이 걸렸다. FTP로 해본다거나…Remote vscode를 해본다거나…최..
Project/환경설정 2019. 6. 24. 17:39

강화학습 Sutton [Ch6 Temporal-Difference] #1 TD Prediction

Temporal-difference (TD)는 Monte Carlo (MC)처럼 환경의 dynamics 모델없이 experience만으로 학습하고, dynamic programming (DP)처럼 return이 아닌 학습했던 estimate를 사용해서 estimate한다.(bootstrap) TD, MC, DP간의 관계는 강화학습 이론에서 자주 나오며, n-step이나 TD($\lambda$)와 같이 다양한 형태로 조합이 나올 수 있다. DP와 TD, MC는 모두 GPI에서 약간 변형된 형태로 볼 수 있다. 다만 다른 점은 모두 prediction 문제를 어떻게 해결하냐의 차이이다. 이전에도 그랬듯 주어진 정책 $\pi$로부터 가치 $v_\pi$를 구하는 prediction 문제를 다루고 최적의 정책을 ..
Sutton Books/Sutton 노트 2019. 3. 19. 09:44

강화학습 Sutton [Ch5 Dynamic Programming] #10 Summary

Summary sample episode라는 경험을 통해 최적의 가치와 정책을 학습하는 Monte Carlo를 다룸 DP보다 좋은 장점 3가지 환경의 dynamics의 모델 없이 환경과 상호작용(interaction)으로 최적의 행동을 학습한다. 모델을 구성하기 힘든 시뮬레이션이나 샘플 모델에도 사용할 수 있다. 흥미로운 상태 일부분들에만 집중해서도 사용할 수 있다.(8장에서 더 자세히 다룸) 또다른 장점은 4장에서 소개된 generalized policy iteration(GPI) 방법을 따라서 사용할 수 있다. (Policy evaluation, Policy improvement) 다만 policy evaluation에서 모델없이 한다는 점과 episode-by-episode 기반으로 한다는 점이 다..
Sutton Books/Sutton 노트 2019. 3. 18. 14:16

강화학습 Sutton [Ch5 Dynamic Programming] #9 *Per-decision Importance Sampling

Per-decision Importance Sampling return을 보상의 합으로 보고 off-policy importance sampling을 하면서 생기는 분산을 줄이는 또다른 방법이 있다. 이전 ordinary와 weighted importance sampling을 다시 떠올려보자. 여기서 $V$를 estimate 하기 때문에 estimator라고 부른다. 잘 보면 두 estimator 분자 부분은 동일하다. 그런데 여기서 첫 번째 항 $\rho_{t:T-1}R_{t+1}$을 풀어보면 다음과 같다. 이전 절에서도 그랬듯 실제로는 $ \frac{\pi(A_t|S_t)}{b(A_t|S_t)} $ 항과 $R_{t+1}$이 관련이 높고 나머지는 관련이 없다고 볼 수 있다. 왜냐하면 $R_{t+1}$ ..
Sutton Books/Sutton 노트 2019. 3. 18. 13:38

강화학습 Sutton [Ch5 Dynamic Programming] #8 *Discounting-aware Importance Sampling

지금까지 봐왔던 Off-policy는 importance-sampling weight를 discount return에 곱하는 식으로 했었다. 그런데 이것은 discounted rewards의 합이라는 내부 구조를 고려하지 않고 그저 return 하나로만 생각했다. 이렇게 하면서 생기는 문제는 분산이 늘어난다는 것이다. 예를 들어, 에피소드가 길고 $\gamma$가 1보다 많이 작다고 생각해보자. 그냥 정확하게 에피소드가 100이고, $\gamma=0$이라고 하자. 첫 번째 time step에서 return은 $G_0=R_1$이지만, importance sampling ratio는 100개 $\frac{\pi(A_0|S_0)}{b(A_0|S_0)}\frac{\pi(A_1|S_1)}{b(A_1|S_1)}\c..
Sutton Books/Sutton 노트 2019. 3. 16. 00:27

강화학습 Sutton [Ch5 Dynamic Programming] #7 Off-policy Monte Carlo Control

Off-policy Monte Carlo Control control 문제에서 off-policy 방법에 대해 다룬다. on-policy는 control을 위해 사용했던 policy의 가치(value)를 추정(estimate)하지만, off-policy는 policy가 행동하는 behavior policy와 평가(evaluate)되고 개선되는 target policy로 나뉜다. 이렇게 나누면서 생기는 장점은 target policy가 greedy 같은 deterministic policy가 되면서도, behvior policy를 통해 계속해서 새로운 다른 행동을 할 수 있다. 아래 알고리즘은 GPI와 weighted importance sampling 기반으로 하여 최적의 $\pi_\ast$와 $q_\a..
Sutton Books/Sutton 노트 2019. 3. 14. 23:41