일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- Anaconda
- 통계학개론
- 누적분포함수
- 사조사
- 기댓값과 분산
- 균일분포
- pmf
- jupyter notebook
- 연속확률변수
- 피어슨상관계수
- 조건부확률
- 모평균
- 포아송분포
- 이산형
- 범주형자료
- 행사다리꼴
- 첨가행렬
- 표본공간
- 이항분포
- 기본행연산
- 절삭평균
- 수학적확률
- 이변량자료
- 이산확률질량함수
- 모수
- 표본평균
- 통계학입문
- 확률밀도함수
- 베르누이분포
- 수치형자료
- Today
- Total
목록전체 글 (97)
summ의 블로그
retrieval augmented generation 거대언어 hallucination 환각 문제 발생거대언어의 문제점: 최신 정보의 부재-> 극복방안: 분야의 제한 없이 광범위한 주제의 질문을 받고 답변하는 질의응답 시스템을 응용해서 RAG거대언어 이전: Q&A쌍을 만들어 둠쿼리 들어오면 제일 유사한 쿼리를 찾아냄. ex) 코사인 유사도이용 후 tf-idf를 이용한 벡터형으로 변환하여 저장 RAG : 검색된 정보를 바탕으로 언어 모델이 텍스트를 생성하는 방식으로 작동수집한 데이터를 일정 단위(문서 혹은 그보다 작은 단위)로 임베딩(Document Indexing)쿼리가 들어오면 임베딩하고 수집된 데이터 임베딩과 유사도를 비교해 가장 유사한 데이터 검색(Retriever)쿼리 + 데이터(문서)로 프롬프..
이표본 위치문제 맨 휘트니 U 검정 모든 자료에 대해 (Yj>Xi) 를 만족하는 쌍 자료의 개수를 이용함 검정통계량 맨 휘트니 U 검정통계량 혹은 가설설정 --> 검정통계량 구하기 --> 유의확률 유의수준 비교 --> 가설 선정 * 대표본근사 표본이 30보다 큰 경우에 사용하며 중심극한정리에 의해 R t.test(y, x, paried=FALSE, var.equal=FALSE, alternative="")wilcox.test(y, x, mu=0, alternative=c(), paried=FALSE)
이표본 위치문제윌콕슨 순위합 검정 두 집단 간 차이를 비교하는 문제 X와 Y의 혼합 표본을 구성함. rj를 구함. * 이 때 데이터 중 더 작은 데이터 값을 가진 데이터가 y가 됨 wilcoxon 검정 통계량: Ybar 표본에 부여된 순위의 합 이 값을 이용하여 검정 실행 * 유의확률 예시 윌콕슨 부호순위 검정과 다른 점 부호와 순위를 고려한 검정이나, 윌콕슨 순위합 검정은 순위들의 합을 고려. 윌콕슨 부호순위 검정은 부호와 순위로 고려. R wilcox.test(y,x, ~~) 반드시 데이터 수가 적은 처리그룹 먼저 넣음
agent agent?우리의 대리인이라 생각하면 됨사용자가 명령을 주면, (tool) 알아서 검토하고 작업 결과물을 전달함chain of thought 에 행동을 부여 agent를 사용하기 위한 세가지 기본 LLM tool control the interaction agent agent 작동 방식 input 할당 (사용자가) agent가 생각 action/action input 사용할 도구 tool 결정, 도구의 input 결정 도구의 출력 결과 관찰 observation 관찰 결과가 작업이 완료 됐다고 판단될 때까지 과정을 반복함. ex. 계산기 llmmathchain을 사용하여 계산하는 함수를 만들어서 사용할거임 = 초기화함 tool 생성함, 이 tool엔 llm_math.run 가 실행하도록 저장되..
일표본 위치문제대응비교 2 윌콕슨 부호순위 검정 부호와 순위 rank 를 고려한 검정 검정 절차 윌콕슨 부호순위 검정 절차 1. 가설 설정2. zi 구하기. zi = xi-theta03. 부호순위 통계량표 작성 후 W+ 값 설정4. 유의확률 p 선정 5. 유의확률 p값과 유의수준 a 비교하여 가설 선정. 대표본근사 표준화된 W+ 통계량 동점처리 |Zi| 에 0이 아닌 동점이 있다면 평균순위 theta0과 같은 값은 갖는다면 제외함. R wilcox.test(x, alternative = c("two.sided", "less", "greater"), mu = 0, paried = FALSE)
Containers 컨테이너 두 개 이상의 값을 저장함.리스트 딕셔너리 집합 튜플 컨테이너는 보통 iterable Iterator 이터레이터 여러 개를 반환, 반복 next()를 이용하여 순차적으로 반환함. 컨테이너는 iter()를 이용하여 이터레이터로 변환 가능함 Generater 제너레이터 yield 문으로 한번에 하나의 결과 반환.yield가 호출될 때마다 함수의 실행이 멈추고, 이후 다시 호출되면 멈춘 지점부터 다시 실행이미 만든 함수를 사용하는 것은 제너레이터에 해당함. 제너레이터는 [] 대신 () 사용을 함리스트 컴프리헨션을 사용하는 것보다 메모리 사용이 적기에 제너레이터를 사용함 리스트 컴프리헨션 모든 값에 대해 조건을 적용하고 결과를 다시 리스트로 표현[조건 for i in list_n..
대화형 agent정적 데이터 세트를 학습시키기에 최신 데이터에 액세스 할 수 없음모든 분야가 아닌 전문 분야에 관한 지식을 가짐순수한 rag 사용해당 컨텍스트가 필요한지 여부에 관계없이 모든 쿼리에서 관련 컨텍스트나 정보를 검색실제로 외부 지식이 필요하지 않은 쿼리에 대해 시스템이 불필요하거나 관련 없는 데이터를 가져올 수 있음- 데이터 불러오기- 벡터 저장 인덱스 생성: 기존 인덱스가 존재하는지 확인 후, 생성벡터 삽입: 모델에서 생성된 벡터가 인덱스에 들어가는 형태장점) 일관성을 유지하고 인덱스가 벡터를 적절하게 처리가능Indexing처리 과정배치: 데이터세트를 100개 레코드의 더 작은 부분(배치)으로 분할메타데이터 수집: 데이터에서 제목, 맥락 등의 정보를 추출임베딩 생성: 모델을 사용하여 텍스트..
2024 하반기 ~ 25.02 노션 구체화 노션에 이력서 정리깃허브 관리 공부한 파일 깃헙에 올리기티스토리 그날그날 공부한 거 바로바로 정리해서 올리기하반기 공채 지원부족하더라도 지원해 보기코딩테스트 코테 준비하기cs지식 쌓기자격증 요즘 아무리 자격증이 필요 없다 하더라도, 필기를 딴 이상,, 실기는 끝까지 마무리하자영어 opic 부트캠프 관련 아직까지도 나에게 부트캠프가 큰 도움이 될지, 해서 얻는 이익이 무엇일까, 혼자서도 열심히 하면 할 수 있을 것 같은데라고 생각이 들지만, 이왕 하기로 결정한 거 열심히 해보자. 부트캠프를 진행하며 나만의 목표를 세워보자. cs지식코테 준비부캠 수료 후 25년도 상반기 공채 합격아침에 일찍 일어나기를 힘들어하는 나로선, 취준 루틴을 세우는 가장 크고 확실한 방법..
일표본위치문제 대응비교 1 일표본 문제의 가정 a1. 기본 모형 xi = θ + eia2. n개 오차항 e들은 서로 독립 a3. n개 오차항 e들은 동일한 연속분포를 가짐a4. e의 중앙값은 0a5. e ~ N 정규분포 부호검정 부호검정을 사용할 때 ex) 모집단 1개에서 (사용/처리) 전 후 차이 B는 theta0보다 큰 관측값의 개수 검정통계량 B B = θ_0보다 큰 관측값의 개수 절차 1. 가설설정 2. 부호 검정 통계량 B 설정3. 부호검정표 사용하여 유의확률 p 값 설정4. 유의확률 p값과 유의수준 a 비교하여 가설 선정 *** 표본 n이 충분히 큰 경우 (n>30) 대표본근사 표준화된 B 통계량 연속성 보정 요인 : 이산형 이항분포 --> 연속형 정규분포 근사의 차..
chain chain ? 단계의 출력이 다음 단계의 입력이 되는 프로세스. 한 task의 출력이 다음 task의 input이 됨 만약, prompt에 수식을 계산해 달라고 하면?계산을 실제로 하는게 아니라 '계산하는' 패턴을 학습하는 것임.여러 계산 수식을 하는 원리가 학습되어 있음.lstm으로 계산을 예측플러그인 > 수식을 생성 > 플러그인 사용 > 답 > llm으로 답변을 생성하여 보여줌chain의 종류 3가지 utility chain generic chaincombine document chain1. LLMMathChain: 수학 계산을 위한 Utility Chain from langchain_openai import ChatOpenAIfrom langchain.chains import LLMM..