집중과 선택, 그리고 몰입

1. 트랜스포머가 바꾼 것- NLP : BERT, GPT, T5, BART 모두 트랜스포머 기반- 비전 : ViT, Transformer, MAE 등- 멀티모달, LLM 등2. 향후 연구 방향이 모두 실현됨- 다른 태스크 적용 : BERT, GPT- Restricted attention. : Longformer, BigBird본 논문은 시퀀스 패러다임을 RNN에서 어텐션으로 완전히 전환시킨 논문이다. 여기서 특히 인상적인 점은 "단순함"이다. 복잡한 LMTM 게이트 메커니즘이나 정교한 CNN 구조 대신, "Q·K로 유사도 구하고 V에 가중합"이라는 단순한 연산을 반복할 뿐...."Simple is Best" 1. Abstract 기존의 지배적인 시퀀스 변환(sequence transduction) 모델은..

시계열 분석 — 계절성, 정상성(Stationarity), 자기상관(ACF/PACF) 정리트렌드와 계절성 분석부터 Random Walk, 자기상관/편자기상관(ACF/PACF) 개념, 그리고 Box-Jenkins 모형으로 가는 준비 단계까지목차계절성(Seasonality) 분석회귀모형으로 시계열 적합하기구조변화(Break Point) 분석 — 9·11 사례정상성(Stationarity)과 비정상성(Non-stationarity)산점도로 자기상관 시각화하기자기상관함수(ACF)와 편자기상관함수(PACF)시계열 모델링의 실전 팁보너스 — 심슨의 역설(Simpson's Paradox)1. 계절성(Seasonality) 분석계절성의 기준 해석계절성을 분석할 때 주의할 점은 기준월(Reference Month) 입니..

트랜스포머(Transformer)의 발전 — 어텐션부터 최신 LLM 구조까지Lesson 10 강의 정리 | 2017년 Attention is all you need 논문 이후, 트랜스포머가 어떻게 진화해왔는가목차복습 — 트랜스포머와 어텐션의 핵심자연어 처리에서의 트랜스포머 활용 방식발전 방향 ① — 특수 토큰의 사용발전 방향 ② — 위치 인코딩의 변형발전 방향 ③ — 어텐션 모듈 보완 (위치 정보 반영): RoPE & ALiBi발전 방향 ④ — 표현력 강화 (FFN 개선)발전 방향 ⑤ — 어텐션 연산 효율성 향상발전 방향 ⑥ — 학습 안정성 향상 (정규화)정리 — 최근 LLM의 표준 구성1. 복습 — 트랜스포머와 어텐션의 핵심트랜스포머란?2017년 Vaswani et al.의 Attention is al..