Syeonny의 블로그

241203  mysql 기반  IF 문  조건문 처리: 조건이 참이면 1 거짓이면 2 선택  SELECT  IF(조건, 참, 거짓)FROM  student 테이블에서 age가 10보다 크면 high 작으면 low 를 age level 열로 이름과 함께 반환 SELECT name, IF(age > 10, 'High', 'Low') AS age_levelFROM student;  조건이 많다면 case 문 사용 가능  CASE 문  특정 조건에 따라 각기 다른 반환값 존재 SELECT CASE         WHEN 조건1 THEN 값1        WHEN 조건2 THEN 값2        ELSE 기본값END AS 열 FROM   student 테이블에서 score열이 90 이상이면 A, 80 이..

241203  데이터베이스 모델링  데이터베이스 모델링? 데이터를 구조화하여 관리하고 운영하기 위해 설계하는 과정  데이터베이스 모델링은 총 3가지 단계로 나누어진다.  개념적 모델링 / 논리적 모델링 / 물리적 모델링  개념적 모델링: 데이터의 개념 정의논리적 모델링: 데이터 모델링물리적 모델링: 실제 데이터베이스에 적재   개념적 모델링   데이터모델링을 위한 준비단계데이터 주요 개체와 관계를 정의. 실제 데이터베이스에 들어가는 것은 아님데이터의 개념을 그림으로 표현 (시각화) : ER 다이어그램 erd 특성 표현 개체: 사각형속성: 타원형 관계: 마름모관계선: 직선식별자: 밑줄  논리적 모델링  개념적 모델링을 토대로 데이터베이스에 적재할 수 있도록 형태 구체화  데이터베이스의 논리적 구조 정의 →..

241202  MYSQL 기반 SQL  SQL 이란?데이터베이스에서 데이터를 조회하거나 처리할 때 사용하는 언어로 데이터 정의(DDL), 데이터 조작(DML), 데이터 제어(DCL) 등 수행 가능 종류) MYSQL, PL/SQL, T-SQL ..   주석 다는 방법 1.  /* */ 사용  /* 이것은주석입니다.*/ 2. -- 사용 -- 이것은 주석입니다.  쿼리 데이터베이스에서 필요한 데이터를 요청하거나 조작하기 위해 작성하는 명령어조회, 삽입, 수정, 삭제, 구조 정의   테이블  열과 행으로 구성됨   데이터 조회  데이터를 조회할 때 사용 SELECT 열FROM  테이블명   돌아가는 순서from 테이블 선택 →  select 선택된 데이터 반환  예시)employees 테이블에서 → 이름과 나이..

빅데이터분석기사 실기 2유형 회귀 또는 분류문제로 무조건 랜덤포레스트 모델링 분류import pandas as pdimport numpy as np from sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.metrics import classification_report, accuracy_scoretrain.info()train.isnull().sum()train.describe()# 전처리 y = train['y']x = train.drop({'변수1','y'}, axis=1) # 아이디 값이나 너무 많은 nunique값 test = test.drop..

241125    스토리지   스토리지: 저장장치를 장착한 대용량 고속 저장 장비. 서버 및 클라이언트와 네트워크로 연결해서 사용 저장장치: 컴퓨터의 데이터를 저장하기 위한 비 휘발성 기억 장치   스토리지 데이터 저장 방식  RAID:  여러 개의 디스크를 하나의 논리적 디스크처럼 사용RAID 0: 데이터를 여러 디스크에 분산 저장하여 하나의 디스크처럼 사용. 장애 시 데이터 모두 손실 RAID 1: 데이터를 다른 디스크에 동일하게 중복 저장. 비용 증가 RAID 5: 디스크에 패리티 정보를 저장. 일정 수준의 성능&안정성 확보 RAID 6: 5에 패리티 하나 더 추가  0+1 속도와 안정성 결합 JBOD: 2개 이상의 디스크 하나처럼 묶어서 사용. 비용 효율적   스토리지 종류DAS: 직접 연결 NA..

241125  서버 서버 클라이언트 관계  서버: 네트워크를 통해 클라이언트가 요청한 정보를 처리하여 클라이언트에게 결과를 제공클라이언트: 네트워크를 통해 서버에 접속해 제공된 정보를 확인  서버 종류  웹: 정적 데이터필요, 요청 →  탐색 →  응답 →  조회 →  내용 제공 →  기록애플리케이션: 동적 데이터필요, 요청 →  탐색 →  요청 →  확인 →  기록 →  전달 →  응답 →  기록DB: 앱 정보 저장 및 운영 관리  리버스 프록시: 클라이언트 요청 처리할 수 있는 앱 서버 전달 (ex 티켓팅)포워드 프록시: 클라이언트 요청 대신 처리. 미리 데이터를 저장한 뒤 요청이 존재하면 전달 (캐시) 서버 HW / SW  서버 하드웨어 폼펙터: 하드웨어 or 하드웨어 부품의 크기, 모양, 실제 사..

드디어 9월 마지막 주부터 듣기 시작했던 자연어처리 강좌가 끝이 났다. 내가 1학기 중순부터 여름방학까지 했던 자연어처리에 관해 지식을 잊어버리지 않고 더 깊이 있게 계속 이 분야에 대해 공부하고 싶었기에 듣기로 결정했다. 다른 부트캠프를 진행하며 듣는 것이었기에 강의 진도율이 좀 더뎠다. 강의를 들으며 좋았던 내용은 수준 높은 이론과 원리의 이해가 가능했다는 점이었다. 나는 항상 코딩보다 이론, 원리, 수식적인 내용이 더 관심이 간다. 그러나 지금까지의 배움은 이론 20 % (정말 원초적인) 나머지 코딩 80% 였기에 아쉬움이 남았었는데이를 충족할 수 있어서 만족했다. 이러한 내용을 잊어버리지 않게 블로그의 내용을 자주 보며 공부하면 더 좋을 것 같다. 이 강의를 끝까지 마친 나에게 수고했다는 말을 하..

부스트코스 자연어처리   https://www.boostcourse.org/ai330/lecture/1455805/?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   GPT 2  다음 단어를 순차적으로 예측하는 동일한 모델이긴 하나이전보다 대규모 좋은 품질의 데이터 셋을 사용함 40B  motivation  DecaNLP: Natural Language Decathlon  multitask learning as question answering 다중 작업 학습을 질의응답 형식으로 통합 자연어는 각각의 task에 따라 출력 구조의 변경이 필요하다.task 수행을 위해 일반적으론 fine tuning 을 시행해야 했지만 문장의 마지막에 질문을 덧붙여질의응..

부스트코스 자연어처리  https://www.boostcourse.org/ai330/lecture/1455802?isDesc=false  자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org   transformer 구조를 바탕으로 한 여러 모델   GPT1  pre-trainedtext prediction 입력된 텍스트를 기반으로 다음 단어 예측 task classifier 텍스트 생성에 중점을 두며 다양한 task를 활용하여 동시 학습 classification [start → Text → Extract]→ transformer → linear entailment [start → premise → dellim → hypothesis → Extract]→ transformer →..

부스트코스 자연어 처리의 모든 것 Transformer  https://www.boostcourse.org/ai330/lecture/1455763?isDesc=false 자연어 처리의 모든 것부스트코스 무료 강의www.boostcourse.org  " Attention is all you need " attention 으로만 구현한 인코더 디코더 구조의 모델    RNN의 문제점  Long-term dependency인코더는 입력 시퀀스를 처리하면서 각 시점마다 hidden state를 업데이트하고최종적으로 마지막 시점의 hidden state가 context vector로 사용전체 입력 시퀀스의 정보를 요약한 것으로, 디코더가 이를 이용해 출력을 생성 단어의 위치에 따라 순차적으로 입력받아 처리하기에 ..