NLP란?

자연어란?

NLP란?

NLP의 어려움

• 우리가 실생활에서 사용하는 언어는 복잡성, 애매함, 그리고 의존성을 지니고 있기 때문이다.

  • 복잡성이란 예를 들어 필자가 좋아하는 게임인 배틀그라운드로 예를 들어 보겠다. 몇 주전 PUBG에서는 배틀그라운드의 신맵인 카라킨에 대해 반응을 보기 위해 각 배틀그라운드 커뮤니티 사이트에 대한 댓글을 분석한다고 가정해보자. 그렇다면, 우선 게임 용어가 어떤 것들을 지칭하는 지 사전지식이 필요할 것이다. 이렇듯 복잡하게 연관되어 있는 Token간의 관계를 복잡성이라고 한다.

  • 애매함은 다중모드라는 것이 있기 때문에 발생하는 것이다. 예를 들어, 우리가 실생활에서 사용하는 어구 중 ‘너 참 잘한다.’라는 문장은 여러가지 상황에서 사용되며, 상황에 따라 다른 의미를 갖는다. ‘데이터 전처리를 이렇게 잘해놨어? 와.. 너 참 잘한다.’와 ‘응? 이거 뭐야? 이거 왜 최소 글자수를 8자로했어? 전체 Corpus에 단어 평균 길이는 11인데??? 몰랐다고?? 참 잘한다~!’ 앞의 두 문장은 ‘참 잘한다’의 의미가 문맥적으로 다르다는 것이다.

  • 의존성은 특정 질문에 대한 답변을 할때 정보가 부족해서 의존적인 부분들이 생기는 문제를 의미한다. 한가지 예로, ‘젤리 먹고싶은데 젤리 하나만 사다줄래’의 질문에 대한 답을 할때, 위의 질문만 들었을 땐 도대체 어떤 젤리를 사야할지 모를것이다. 이런 상황에 다시 ‘어떤 젤리 먹고싶은데’라는 질문을 통한 상호작용으로 해결할 수 있을 것이다.

NLP분야에서의 Machine learning vs Deep learning

• 반복해서 얘기하지만 Feature의 추출을 사람이 직접하는 Machine learning같은 경우는 언어학에 대한 지식을 깊이 알고 있어야 가능할 것이다. 그에 반해, 상대적으로 deep learning은 feature를 만들어 줄 수 있는 구조를 만들면 그에따라 Feature를 알아서 생성해주므로 상대적으로 언어학에 대한 깊이 있는 지식이 없어도 분석이 가능하다.

NLP의 Applicatio의 종류

• 네이버의 파파고, 구글의 구글 번역기 같은 번역 서비스를 예로 들수 있다.

• 여러 회사에서 특히 은행이나 카드사, 쇼핑몰등에서 많이 보았을 법한 챗봇 서비스도 NLP의 응용분야이다. 스캐터랩의 핑퐁이나, 심심이같은 챗봇 서비스들도 있다.

• 예를 들면, 구글 애드 센스 같은 서비스가 있다.