[CS231n]Lecture10-Recurrent Neural Networks

[수리통계학] 나혼자 정리하는 통계생의 수리통계학 00

먼저, 이 글은 data science라는 분야를 공부하며 원래 통계학을 전공했던 나였지만 학부과정에서 배웠던 그리고 부끄럽지만 석사 때 배웠다고 기억하고 있는 조각들을 모아 수리통계학을 간단히 정리하기 위해 쓰는 글이다. 확률과 확률분포여러 가지 조사 연구들은 동일한 조건에서의 반복 실험이 대체적으로 표준이 된다는 것이 특징이다. 예를 들어, 의학 연구에

[CS231n]Lecture09-CNN_Architectures

LeNet 산업에 아주 성공적으로 적용된 최초의 ConvNet이다. 이미지를 입력으로 받아 Stride = 1인 5x5필터를 거치고 몇 개의 Conv Layer와 Pooling Layer를 거친다. 그리고 마지막 출력 노드 전에 Fully Connected Layer가 붙는다. 엄청 간단한 모델이지만 숫자 인식에서 엄청난 성공을 거두었다. Al

내가 정리하는 C/C++ 00

개발환경 구축하기C와 C++1) C++는 기본적으로 C의 기능을 확장한 형태의 프로그래밍 언어이다.2) 따라서 C 언어의 기능을 포함하고 있다는 점에서 C++프로젝트로 .C 확장자를 갖는 파일을 생성하여 코딩해도 정상적으로 동작한다. 개발환경 구축하기 나는 개인적으로 IDE(Integrated Development Environment) 중에서 Atom을

[CS231n]Lecture08-Deep learning Software

GPU Graphics card 또는 Graphics Processing Unit이라고 하는데 결국엔 우리가 아는 사실 처럼 computer graphics를 랜더링하기 위해 더 와닿게 말하자면 게임을 더 최적의 환경에서 하기 위해 만들어 졌다고 할 수 있다. # Cores Clock speed Memory Price CPU 4 4.4 G

[CS231n]Lecture07-Training Neural Networks2

지난 6강에서는 activation function을 중점적으로 다루어 보았는데, 10년전 까지만 해도 sigmoid가 아주 유명했다. 허나, Vanishing gradient가 생기는 문제로 인해 최근에는 Sigmoid와 tanh 보다는 ReLU를 쓴다라고 했다. 대부분의 경우 normalize나 zero-centered로 데이터를 처리해 주지 않으면,

[CS231n]Lecture06-Training Neural Networks

Optimization을 통해서 네트워크의 파라미터를 학습시킬 수 있다. Loss가 줄어드는 방향으로 이동하는데 이것은 gradient의 반대 방향으로 이동하는 것과 같다. Mini-batch SGD 알고리즘으로 가중치들(네트워크의 파라미터)을 업데이트하는 과정은 다음과 같다. Mini-batch SGD로 가중치 업데이트 과정Loop: 데이터의 bat

[CS231n]Lecture05-Convolution Neural Network

CNN의 역사는 생략하겠다. CNN의 기본적인 구조기존의 Fully connected Layer와 CNN의 주된 차이점은 기존의 이미지 구조를 보존시킨다는 점이다. 그리고 필터가 가중치 역할을 하는 것이라고 생각하면 될 것이다. 간단히 표현하자면, 필터를 통해 이미지를 슬라이딩하면서 공간적으로 내적을 수행하는 방식이 CNN 구조이다. 더 자세히 말하자면,

[CS231n]Lecture02-Image classification pipeline

기본적으로 Computer vision에서 가장 핵심이 될 수 있는 작업은 Image Classification이라고 할 수 있을 것이다. Image classification이 가능하면 detection, segmentation, captioning 작업들이 수월하게 작업이 가능해진다. 이미지는 기본적으로 3차원의 배열 형태로 [0, 255] 사이의 수로