summ의 블로그

부스트코스 자연어처리  https://www.boostcourse.org/ai330/lecture/1455802?isDesc=false  자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   transformer 구조를 바탕으로 한 여러 모델   GPT1  pre-trainedtext prediction 입력된 텍스트를 기반으로 다음 단어 예측 task classifier 텍스트 생성에 중점을 두며 다양한 task를 활용하여 동시 학습 classification [start → Text → Extract]→ transformer → linear entailment [start → premise → dellim → hypothesis → Extract]→ transformer →..

부스트코스 자연어 처리의 모든 것 Transformer  https://www.boostcourse.org/ai330/lecture/1455763?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  " Attention is all you need " attention 으로만 구현한 인코더 디코더 구조의 모델    RNN의 문제점  Long-term dependency인코더는 입력 시퀀스를 처리하면서 각 시점마다 hidden state를 업데이트하고최종적으로 마지막 시점의 hidden state가 context vector로 사용전체 입력 시퀀스의 정보를 요약한 것으로, 디코더가 이를 이용해 출력을 생성 단어의 위치에 따라 순차적으로 입력받아 처리하기에 ..

https://www.boostcourse.org/ai330/lecture/1455757?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org decoding 출력값 생성 기법 greedy decoding  test time에서 순차적으로 실행  전체가 아닌 가장 높은 확률을 가지는 단어를 택해 decoding 진행time step 현시점에서 가장 좋아 보이는 단어를 그때그때 선택하여 최적의 score 선택.  만약, 단어를 잘못 생성했다면? : 최적의 예측값을 생성해 낼 수 없다.  생성을 끝내는 시점. (종료시점): 모델의 end token을 생성했을 때   exhaustive search  가능한 모든 경우의 수를 탐색하여 가장 높은 확률을 갖는 시퀀스..

https://www.boostcourse.org/ai330/lecture/1455754?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  Seq2seq model 앞서 배운 RNN 구조에서 many to many에 해당챗봇과 기계번역에 많이 쓰임seq2seq model은 입력문장(단어)인 encoder와 출력문장인 decoder로 이루어져 있다.   encoder encoder: 문장 입력받기 context vector: 모든 입력 문장을 하나로 압축하여 (hidden state) vector를 만든다.  이후 context vector를 decoder로 이동하여 output 단어를 순차적으로 출력한다.  이때 context vector는 decode..

https://www.boostcourse.org/ai330/joinLectures/370180?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  RNN(Recurrent Neural Network)각각의 time step 마다 동일한 A 활성화 함수를 지난 module의 출력이 다음 step 의 입력으로 들어가는 형식이전의 hidden state와 현재의 입력을 기반으로 다음 hidden state를 계산하여, 시간의 흐름에 따라 정보를 처리함 x --> RNN hidden state vector --  y hidden state: 메모리 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값t: 현재의 time stepweight: 가중치x..

자연어 처리의 모든 것  https://www.boostcourse.org/ai330/joinLectures/369533 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   w2v  희소 표현 vs 밀집 표현  희소 표현: one-hot encoding 으로 표현. 벡터나 행렬의 값이 0과 1로만 이루어짐 단어의 갯수가 크면 클수록 고차원의 벡터가 만들어지며, 해당 단어만 1이고 나머지는 다 0으로 처리됨→ '메모리 공간 부족' 이라는 문제점이 발생함  밀집 표현 : 단어의 갯수와 상관없이 차원을 사용자가 설정함. 백터나 행렬의 값이 실수로 이루어짐워드 임베딩이 밀집 표현에 해당함  이러한 밀집 벡터가 워드 임베딩을 통해 나온 결과로 embedding vector 라고 한다...

자연어처리의 모든 것 https://www.boostcourse.org/ai330/joinLectures/369533 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  워드 임베딩  word embedding : 주어진 텍스트들을 숫자로 변환시키는 과정   기존의 자연어 처리는?단어 별 어순으로 나누고, 번역하는 등 언어적 지식을 활용한 rule-based 모델  transformer 2017년 !  트랜스포머 transformer 모델: 언어학적 룰 기반이 아닌 번역된 영어&한글 번역 쌍을 학습 데이터로 사용하여 시퀀스 데이터를 처리하는 self-attention 구조를 사용한 딥러닝 기계번역 모델 → 번역 성과가 월등히 향상하는 결과self-attention self-at..