summ의 블로그

자연어 처리의 모든 것  https://www.boostcourse.org/ai330/joinLectures/369533 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   w2v  희소 표현 vs 밀집 표현  희소 표현: one-hot encoding 으로 표현. 벡터나 행렬의 값이 0과 1로만 이루어짐 단어의 갯수가 크면 클수록 고차원의 벡터가 만들어지며, 해당 단어만 1이고 나머지는 다 0으로 처리됨→ '메모리 공간 부족' 이라는 문제점이 발생함  밀집 표현 : 단어의 갯수와 상관없이 차원을 사용자가 설정함. 백터나 행렬의 값이 실수로 이루어짐워드 임베딩이 밀집 표현에 해당함  이러한 밀집 벡터가 워드 임베딩을 통해 나온 결과로 embedding vector 라고 한다...

자연어처리의 모든 것 https://www.boostcourse.org/ai330/joinLectures/369533 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  워드 임베딩  word embedding : 주어진 텍스트들을 숫자로 변환시키는 과정   기존의 자연어 처리는?단어 별 어순으로 나누고, 번역하는 등 언어적 지식을 활용한 rule-based 모델  transformer 2017년 !  트랜스포머 transformer 모델: 언어학적 룰 기반이 아닌 번역된 영어&한글 번역 쌍을 학습 데이터로 사용하여 시퀀스 데이터를 처리하는 self-attention 구조를 사용한 딥러닝 기계번역 모델 → 번역 성과가 월등히 향상하는 결과self-attention self-at..