Archive: 2019/12

2019
machine learning

머신러닝의 개요

Machine learning Machine Learning으로 할 수 있는 것들 독립변수 반응변수 모형 고객들의 개인 정보 및 금융 관련 정보 대출 연체 여부 대출 연체자 예측 탐지 모델, 대출 연체 관련 주요 feature 추출 게임 유저들의 게임 내 활동 정보 게임 이탈 여부. 어뷰징 여부 이상 탐지 모델(anomaly detectio

data engineering

data engineering (DB에 table 만들기)

Spotify가 국내에 음원 진출을 확정지었다는 기사를 보면서 다시 한번 이 토이프로젝트에 대해 동기부여가 되었다. Spotify API를 통해 AWS에 만들어 놓은 DB에 입력해 볼 것이다. Spotify API를 이용해서 DB 구축하기 먼저, 혹시라도 필자의 토이 프로젝트의 목표가 무엇인지 모르실 분들을 위해 말하자면, Spotify data를 통

data engineering

data engineering (AWS로 DB 만들기)

AWS RDB 만들기 Spotify data를 크롤링 하고난 후에 AWS RDB에 저장하기 위해서 먼저 DB를 만들어 줄 것이다.Youtube 초보자를 위한 AWS 시작하기! AWS RDS 생성 개발자나 필자 처럼 데이터를 분석하는 분들을 제외한 분들은 아마 Amazon이라는 단어를 듣게 된다면, 물건을 사고파는 뭐 그런 웹사이트 페이지를 떠올리는 분들이

linear algebra

선형 대수 공부할 때 도움되는 사이트

기초 선형 대수 공부할 때 도움되는 사이트 아래의 설명들은 사이트들에 대한 주관적인 의견이므로, 개인마다 차이가 있을 것이다. 영어가(도) 편하신 분들을 위한 자료 선형대수 cheat sheet 엄청 기본적인 개념들을 모르는 분들께만 추천 Gilbert Strang 교수님 강의 기본적인 개념부터 차근차근 그리고 조금은 직관적으로 선형대수를 공부하고

Recommendation System

추천시스템(Recommendation System)

1) 추천 시스템(Recommendation System)이란?위키백과의 정의를 통해 먼저 정리해보자! 정보 필터링 (IF) 기술의 일종 특정 사용자가 관심을 가질만한 정보 (영화, 음악, 책, 뉴스, 이미지, 웹 페이지 등)를 추천하는 것 ㄴ.종류(Different Types of Recommendation Engines) :1) 협업 필터링 기법(C

data engineering

data engineering (API는 무엇인가?!?)

REST API의 정의와 예제들API(Application Programming Interface) 두 개의 시스템이 서로 상호 작용하기 위한 인터페이스 데이터를 주고 받는 인터페이스 API라고 하면 보통 REST API를 지칭 웹사이트는 HTTP(S)프로토콜을 사용하는 REST API 기반으로 구축 API 접근 권한Authentication V

deep learning

Basic ConvNN(VGG-16모방한 기본)구현

Basic ConvNN 구현 참고로 저는 mac을 사용하기에 local에서말고 GPU를 사용하게끔 Google Colab을 사용하였다. 제가 구현한 방식은 tensorflow 2.0 version이므로(tf.function을 사용하느라) colab의 tensorflow의 version이 뭔지 먼저 확인했습니다. 1.15 version이어서 2.0으로 설치를

deep learning

Convolution Neural Network(1)

합성곱 연산과 이미지 필터 아날로그 신호처리는 선형이고 시불변인 시스템에 의존해서 개발이 되게 되는데, Noise가 있는 입력이 들어왔을 때 넣어주면 Noise가 제거된 출력이 나오는 이런 시스템을 모두 LTI system이라고 부른다. 디지털 신호가 아닌 아날로그 신호로부터 LTI system이 정의되어있다. 선형이라는 것은 대부분 알고 있듯이 선형대수

data engineering

data engineering basic(SQL Basic)

SQL(Structured Query Language)DB (Database) 데이터를 통합하여 관리하는 데이터의 집합 DBMS (Database Management system) DB를 관리하는 미들웨어 시스템을 의미 Database 분류 RDBMS(Relational Database Management System) NoSQL - 데이터

data engineering

data engineering basic(Unix환경 및 커맨드)

Pipes and Filterscat : 해당 파일 전체를 printhead : 해당 파일 앞의 10줄 정도를 printtail : 해당 파일 뒤의 20줄 정도를 print command > file : 기존의 파일 내용은 지우고 현재 command한 결과 파일에 저장command >> file : 기존의 파일에 덮붙여서 결과를 저장(pyt

deep learning

심층 신경망의 구조

심층 신경망의 구조 은닉 계층 추가 = 특징의 비선형 변환 추가!!선형 변환의 이해 선형대수의 선형 변환을 함수의 개념에서 보았을때, 입력 차원(n)이 출력 차원(m)보다 크다면 Onto(전사함수: 모든 공역이 치역이 되있는 상태)가 될 수 있지만, 그 반대인 경우는 적은 차원을 갖는 입력벡터의 차원으로 일부분의 출력 벡터의 차원을 커버하는 것이

deep learning

쉽게 배우는 경사하강 학습법

쉽게 배우는 경사하강 학습법 어떤 손실 함수를 사용하느냐에 따라서 학습이 어떻게 이루어질 것인지, 그리고 학습을 할 때 정답의 형태를 결정하기 때문에 손실 함수는 중요하다! Traning Data를 Model에 입력해 우리가 학습시키고자 하는 Trainable Parameters를 얻게 되는데 Trainable Parameters들을 inpu

deep learning

가장 단순한 신경망을 통한 작동원리

Node가 단일 뉴런 연산을 의미한다고 했는데 여기서의 단일 뉴런 연산이란 input에 가중치를 곱하고 합계를 낸 후에 activation function까지 통과시키는 과정을 의미한다. 위의 식에서 편향을 잊어버리지 말자!! 예를들면, 편향이 없다면 원점을 지나는 선만 표현할 수 있지만 편향을 통해 원점을 지나지 않는 선들도 표현

deep learning

딥러닝이 무엇인가?

딥러닝의 이해 기계학습의 경우에는 위의 고양이와 개를 구분하기 위해서 이진 분류기를 구현할 것인데, 이런 이진 분류기를 구현하기 위해서는 Feature Extractor가 필요하다. 여기서 말하는 Feature Extractor 란 구분에 용이한 특징을 추출하여 feature vector를 만드는 데 사용하는 것이다. 이렇게 잘 추출한 특징 벡터를