일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- 모평균
- 사조사
- 균일분포
- 첨가행렬
- 범주형자료
- 이변량자료
- 기본행연산
- 이항분포
- 이산확률질량함수
- 수치형자료
- 확률밀도함수
- 절삭평균
- 기댓값과 분산
- 피어슨상관계수
- 조건부확률
- 베르누이분포
- 수학적확률
- Anaconda
- 포아송분포
- 표본공간
- 모수
- 통계학입문
- pmf
- 행사다리꼴
- 누적분포함수
- 표본평균
- jupyter notebook
- 이산형
- 통계학개론
- 연속확률변수
- Today
- Total
목록전체 글 (97)
summ의 블로그
프롬프트 프롬프트?사용자의 대화 주제나 방향을 설정하는 데 도움이 되거나시나리오에서 모델이 어떻게 반응하는지 평가하고 개선하는 데 사용이 됨. 구성 요소로 지시, 질문, 문맥, 입력, 예제, 답변 등이 들어감 주어진 context만 이용하여 대답하도록 설정함. prompt = """ Answer the ~~~. Context: ~~~. Question: ~~~. Answer: """ 1) langchain에 PromptTemplate 사용 from langchain import PromptTemplate 위에 만든 prompt를 이용하여 사용 prompt_template = PromptTemplate( inp..
Langchain이란 ?LLM 개발을 중점으로 둔 프레임워크 사용 전 pip install langchain코랩사용시 (!붙여서) langchian 구성 시 프롬프트 설정 필요 프롬프트란? 요구사항, 작업을 정의하기 위해 만들어짐. PromptTemplate을 가져와서 {변수}를 할당하며 초기화, 생성 prompt 생성됨. question이 prompt에 들어가 llm을 거쳐 답변을 사용자에게 알려줌. from langchain import PromptTemplatetemplate = """Question: {question}Answer: """prompt = PromptTemplate( template=template, input_variables=['question'])quest..
의사결정 나무 의사결정 나무는 회귀, 분류 문제에 모두 사용이 가능하다. 최상 root node 하단의 terminal node 존재.직관적이며, greedy로 학습이 진행됨. 나무가 깊어질수록 과적합 문제가 발생함. >>겹치지 않는 구역으로 데이터를 나눔. ==> 어떻게? - 회귀: 해당 구역에 있는 데이터의 실제 값과 예측값의 오차제곱합을 최소화함. SSR - 분류: 불순도 impurity를 최소화하도록 나눔. * 불순도란? 다른 데이터가 섞여 있는 정도를 뜻함. 불순도 측정 방법: 지니계수 이용. 지니계수: 구역 안에서 특정 클래스에 속하는 data 비율을 모두 제외한 값으로 다양성을 계산하는 방법임. = 1- (yes 의 확률)**2 - (no 의 확률)**2지니계..
머신러닝 머신러닝은지도학습 / 비지도학습 / 강화학습 으로 나뉜다. 비지도학습은Clustering / 차원축소 가 있다. y 라벨(정답)이 주어지지 않은 것이다. Clustering 클러스터링은 유사한 특성을 가진 개체끼리 군집화하는 것이다. 군집 간 유사성은 최소화 군집 내 유사성은 최대화 - hard: x 집단에 포함되는지 여부를 나타냄. k-means clustering 이 포함됨. k-means clustering: 제공된 데이터를 k개로 군집화.랜덤하게 각 군집의 중심을 정함. 이렇게 정한 중심을 기점으로 군집에 각 데이터를 할당. 원하는 결과가 나오지 않았을 땐 여러번 실행하면 됨. EM알고리즘을 기반으로 함. 대용량 데이터에 적합하며 시간과 비용이 적게 들음.- soft: ..
머신러닝 : 기계학습 지도학습 / 비지도학습 / 강화학습 으로 나뉜다. 지도학습은 회귀 / 분류 문제로 나뉜다. 회귀 회귀분석이란? 회귀식의 계수 beta0, beta1을 구하는 것. 각 데이터의 실제값과 예측값의 차이인 loss를 최소화하는게 목표이다. 선형회귀 / 다중회귀 / 다항회귀가 존재하며, 다항회귀는 차수가 높은것으로 데이터가 선형이 아니더라도 사용 가능하다. 과적합 방지 방법으로는 1. cross validation - k fold : 데이터 k번 나눠서 학습.2. 페널티 부여 - L1 L2 Elasticnet 방법이 존재한다. 회귀 평가지표도 존재한다. 1. SSR, MSE, MAE 평균제곱오차, 평균절대값오차2. R**2 결정계수 분류 분류란? 주어진 데이터 입력값 x ..
OpenAI api key 발급받기 우선, 모듈 설치부터 해준다. pip install openai 설치를 다 했으면, 주어진 링크로 이동하면 된다. https://platform.openai.com/playground/chat?models=gpt-4o OpenAI 플랫폼 링크로 여기에서 API KEY를 발급받을 수 있다. 로그인 후 아래 캡쳐에서 보이는 톱니바퀴 (Settings) 를 클릭한다. 그 후, 왼쪽칸에 보이는 Billing에 들어가 결제수단을 등록해준다. 이제 거의 다 되었다. 그 후 create new secret key 로 들어가 나만의 키를 생성하면 된다. 생성된 'sk-'로 시작되는 나만의 키를 환경변수에 저장하나 코랩의 경우에선 복사하여 사용하면 된다. 다른 사람이 보..
비모수란? 말 그대로 비 모수 --> 모수가 아니다 모집단의 성격이나 형태가 정해지지 않은 상태에서 검정을 시행하는 것이다. WHY? (모집단) 데이터의 수량이 적기 때문에 분포를 가정할 수 없음.--> 모집단에 대한 가정은 '연속' 이며 필요에 따라 '대칭성'을 추가로 가정할 수 있음. 비모수적 방법 1. 순수 비모수적 방법 모수 자체에 관심을 두지 않음. -> 분포형태에 관한 검정 2. 분포무관 방법귀무가설(H0)하에서 검정통계량의 분포가 모집단 분포와 무관한 검정. 분포무관 신뢰구간은 모집단의 분포함수에 영향을 받지 않음 특징 - 모수에 대한 가정이 필요 없다.- 모집단의 수가 적을수록 유용하다.- 검정통계량의 분포는 모집단 분포와 무관하다. - 간단한 모형을 사용하므로 직관적으로 이..
안녕하세요! 오늘은 빅데이터분석기사 필기에 대해 알아보겠습니다. 우선 빅데이터분석기사란? 빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집·저장·처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 말한다. 라고 데이터자격검정 웹에 명시되어 있습니다. 응시자격은 대학 4학년 재학 이상이면 자격 요건에 해당하기에 다수가 무난하게 통과가능하리라 생각합니다. 데이터 직무에 관심 있는 분들이 주로 응시하는 것 같습니다. 아래 웹에서 시험 일정, 접수 등 확인이 가능합니다! 데이터자격시험데이터아키텍처 준전문가 제56회 - 2.12~16 2.29 3.16(토) 4.5~9 4.12 -www.dataq.or.kr 과목 4과목으로 이루어져 있으며, 4과목 평균 60 과락 40% 기준이 존재합니다...
Automated Machine Learning: 자동화된 머신러닝 모델 생성에서, 데이터셋의 특징에 따라 주어진 데이터셋에서는 어떤 기법이 최적인지 선택하는 것이 중요 --> 따라서 최적의 머신 러닝 알고리즘, 하이퍼파라미터 튜닝 등등 자동화가 필요 이때, autoML을 사용하여 비용과 시간을 줄이고, 모델의 정확도를 높일 수 있는 장점이 존재 사용은 둘로 나뉘는데 CASH ( Combined Algorithm Selection and Hyperparameter optimization) 최적화 NAS ( Neural Architecture Search ) 신경망 탐색 autoML의 다양한 프레임워크가 존재: pycaret, H2O, TPOT, LightAutoML, autogluon ..
안녕하세요! 오늘은 정보처리기사 필기에 대해 알아보겠습니다. 우선 정보처리기사란? [기본정보] 컴퓨터를 효과적으로 활용하기 위해서 하드웨어뿐만 아니라 정교한 소프트웨어가 필요하다. 이에 따라 우수한 프로그램을 개발하여 업무의 효율성을 높이고, 궁극적으로 국가발전에 이바지하기 위해서 컴퓨터에 관한 전문적인 지식과 기술을 갖춘 사람을 양성할 목적으로 제정됨. 라고 큐넷에 명시되어 있습니다. 응시자격 또한 큰 제약이 없기 때문에 요즘 IT 쪽으로 취업을 희망하시는 분들은 다 가지고 있는 자격증이랍니다! 접수 방법 요즘 거의 대부분의 자격증은 큐넷에서 접수합니다. 수도권 외 지역은 10시, 수도권은 2시에 접수가 시작됩니다. https://www.q-net.or.kr/man001.do?gSite=Q Q-net ..