Syeonny의 블로그

PDF두 종류 존재이미지와 텍스트 둘 다 있음 페이지 전체가 텍스트가 아닌 이미지로 들어있음따라서 text 추출과 이미지 텍스트 추출 코드 두 가지를 사용했다. OCR은 테서랙트를 사용했음  기본적으로 수행했던 코드def process_pdf_folder(pdf_folder): pdf_data = {} for file_name in os.listdir(pdf_folder): if file_name.endswith(".pdf"): pdf_path = os.path.join(pdf_folder, file_name) text = extract_text_from_pdf(pdf_path) pdf_data[file_name] = te..

ChatGPT 및 거대언어모델의 추론 능력 향상을 위한 프롬프트 엔지니어링 방법론 및 연구 https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11674572 DBpia논문, 학술저널 검색 플랫폼 서비스www.dbpia.co.kr   프롬프트: 사용자의 input 그 자체. 프롬프트 엔지니어링에 따라 거대언어의 답변 양상이 달라진다.  추론: 새로운 정보를 생성하거나 이해하는 사고과정→ 인간이 가진 사고 능력을 최대한 유사하게 구현하는 인공지능의 본래 목표에 부합  1) 추론을 가능하게 한 문맥내 학습에 대한 이해2) 프롬프트 엔지니어링의 개념 3) 추론 유형 및 벤치마크 데이터4) 프롬프트 엔지니어링 기법 5) 발전과정과 기법들 간의 연관성 프롬프트 엔..

LLM에 대해 작성된 논문 읽고 나만의 정리를 차근 차근 진행 할 예정이다. 우선,

드디어 9월 마지막 주부터 듣기 시작했던 자연어처리 강좌가 끝이 났다. 내가 1학기 중순부터 여름방학까지 했던 자연어처리에 관해 지식을 잊어버리지 않고 더 깊이 있게 계속 이 분야에 대해 공부하고 싶었기에 듣기로 결정했다. 다른 부트캠프를 진행하며 듣는 것이었기에 강의 진도율이 좀 더뎠다. 강의를 들으며 좋았던 내용은 수준 높은 이론과 원리의 이해가 가능했다는 점이었다. 나는 항상 코딩보다 이론, 원리, 수식적인 내용이 더 관심이 간다. 그러나 지금까지의 배움은 이론 20 % (정말 원초적인) 나머지 코딩 80% 였기에 아쉬움이 남았었는데이를 충족할 수 있어서 만족했다. 이러한 내용을 잊어버리지 않게 블로그의 내용을 자주 보며 공부하면 더 좋을 것 같다. 이 강의를 끝까지 마친 나에게 수고했다는 말을 하..

부스트코스 자연어처리   https://www.boostcourse.org/ai330/lecture/1455805/?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   GPT 2  다음 단어를 순차적으로 예측하는 동일한 모델이긴 하나이전보다 대규모 좋은 품질의 데이터 셋을 사용함 40B  motivation  DecaNLP: Natural Language Decathlon  multitask learning as question answering 다중 작업 학습을 질의응답 형식으로 통합 자연어는 각각의 task에 따라 출력 구조의 변경이 필요하다.task 수행을 위해 일반적으론 fine tuning 을 시행해야 했지만 문장의 마지막에 질문을 덧붙여질의응..

부스트코스 자연어처리  https://www.boostcourse.org/ai330/lecture/1455802?isDesc=false  자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   transformer 구조를 바탕으로 한 여러 모델   GPT1  pre-trainedtext prediction 입력된 텍스트를 기반으로 다음 단어 예측 task classifier 텍스트 생성에 중점을 두며 다양한 task를 활용하여 동시 학습 classification [start → Text → Extract]→ transformer → linear entailment [start → premise → dellim → hypothesis → Extract]→ transformer →..

부스트코스 자연어 처리의 모든 것 Transformer  https://www.boostcourse.org/ai330/lecture/1455763?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  " Attention is all you need " attention 으로만 구현한 인코더 디코더 구조의 모델    RNN의 문제점  Long-term dependency인코더는 입력 시퀀스를 처리하면서 각 시점마다 hidden state를 업데이트하고최종적으로 마지막 시점의 hidden state가 context vector로 사용전체 입력 시퀀스의 정보를 요약한 것으로, 디코더가 이를 이용해 출력을 생성 단어의 위치에 따라 순차적으로 입력받아 처리하기에 ..

https://www.boostcourse.org/ai330/lecture/1455757?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org decoding 출력값 생성 기법 greedy decoding  test time에서 순차적으로 실행  전체가 아닌 가장 높은 확률을 가지는 단어를 택해 decoding 진행time step 현시점에서 가장 좋아 보이는 단어를 그때그때 선택하여 최적의 score 선택.  만약, 단어를 잘못 생성했다면? : 최적의 예측값을 생성해 낼 수 없다.  생성을 끝내는 시점. (종료시점): 모델의 end token을 생성했을 때   exhaustive search  가능한 모든 경우의 수를 탐색하여 가장 높은 확률을 갖는 시퀀스..

https://www.boostcourse.org/ai330/lecture/1455754?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  Seq2seq model 앞서 배운 RNN 구조에서 many to many에 해당챗봇과 기계번역에 많이 쓰임seq2seq model은 입력문장(단어)인 encoder와 출력문장인 decoder로 이루어져 있다.   encoder encoder: 문장 입력받기 context vector: 모든 입력 문장을 하나로 압축하여 (hidden state) vector를 만든다.  이후 context vector를 decoder로 이동하여 output 단어를 순차적으로 출력한다.  이때 context vector는 decode..

https://www.boostcourse.org/ai330/joinLectures/370180?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  RNN(Recurrent Neural Network)각각의 time step 마다 동일한 A 활성화 함수를 지난 module의 출력이 다음 step 의 입력으로 들어가는 형식이전의 hidden state와 현재의 입력을 기반으로 다음 hidden state를 계산하여, 시간의 흐름에 따라 정보를 처리함 x --> RNN hidden state vector --  y hidden state: 메모리 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값t: 현재의 time stepweight: 가중치x..