심층신경망-딥러닝의 종류

📌 인공지능, 머신러닝, 딥러닝 한 번에 정리

1. 인공지능 → 머신러닝 → 딥러닝 관계

• 인공지능(AI)
  → 인간처럼 사고하는 컴퓨터 시스템 전체
• 머신러닝(ML)
  → 데이터를 통해 패턴을 학습하는 방법
• 딥러닝(DL)
  → 신경망(Deep Neural Network)을 사용하는 머신러닝 방법

👉 한 줄 요약

딥러닝 ⊂ 머신러닝 ⊂ 인공지능

---

2. 머신러닝의 핵심 3요소

머신러닝 모델을 만들 때 사람이 정의해야 하는 건 딱 3가지:

1) 가설 클래스 (Hypothesis Class)

• 가능한 함수들의 집합
• 예: y = 3x, y = 5x 등

👉 “어디서 답을 찾을지 범위를 정하는 것”

---

2) 손실 함수 (Loss Function)

• 예측값과 정답의 차이
• 오차를 수치로 표현

👉 “이 모델이 얼마나 틀렸는지 측정”

---

3) 최적화 알고리즘 (Optimization)

• 손실을 최소화하는 방향으로 학습
• 대표: 경사하강법

👉 “어떻게 정답에 가까워질지 방법”

---

📌 비유

• 가설 클래스 → 서울 안에서 찾기
• 손실 함수 → 높이(지대)
• 최적화 → 어디부터 탐색할지 전략

---

📌 3. 학습 방법 3가지 (핵심)

1) 지도학습 (Supervised Learning)

특징

• 입력(X) + 정답(Y) 존재
• 정답을 “외우는” 방식

예시

• 이미지 → 강아지 / 고양이 분류
• 스팸 메일 분류

장점

• 빠르고 안정적
• 성능 잘 나옴

단점

• 라벨링 비용 큼
• 과적합 위험
• 일반화 부족

---

2) 비지도학습 (Unsupervised Learning)

특징

• 정답(Y) 없음
• 데이터 패턴만 학습

대표 방법

① 클러스터링

• 비슷한 데이터끼리 묶기

② 차원 축소 (PCA 등)

• 데이터를 압축해서 표현

③ 자기지도학습 (Self-supervised)

• 데이터로 스스로 정답 생성

👉 예:
이미지 일부 가리고 복원하기

---

장점

• 라벨 필요 없음
• 데이터 활용도 높음

단점

• 학습 목표 정의 어려움
• 잘못 설계하면 의미 없음

---

3) 강화학습 (Reinforcement Learning)

특징

• 정답 대신 “보상” 존재
• 시행착오 기반 학습

핵심 개념

• Agent (행동 주체)
• State (상태)
• Action (행동)
• Reward (보상)

---

예시

• 자율주행
• 게임 AI

---

장점

• 연속적인 의사결정에 강함

단점

• 시뮬레이션 필요
• 보상 설계 어려움

---

📌 4. 중요한 개념: No Free Lunch

👉 핵심

모든 문제에서 항상 최고의 모델은 없다

• 어떤 모델도 모든 문제에서 최고일 수 없음
• 결국:
  👉 “여러 방법 시도 → 성능 비교”

---

📌 5. 딥러닝이 강력한 이유

문제점 (기본 구조)

• 단순히 층만 쌓으면 → 여전히 선형 모델

해결책

👉 활성함수(Activation Function)

---

대표 활성함수

1) Sigmoid

• 출력: 0 ~ 1
• 확률 해석 가능

❌ 단점: 기울기 소실

---

2) ReLU (가장 중요 ⭐)

• 0보다 크면 그대로
• 0보다 작으면 0

✔ 장점

• 계산 빠름
• 성능 좋음

❌ 단점

• 죽은 뉴런 문제

👉 실무 기본 선택 = ReLU

---

3) 변형 함수들

• Leaky ReLU
• ELU
• GELU (자연어 처리에서 사용)

---

📌 6. 핵심 요약

👉 머신러닝 핵심

• 가설 클래스
• 손실 함수
• 최적화

👉 학습 방식

• 지도학습 → 정답 있음
• 비지도학습 → 패턴 학습
• 강화학습 → 보상 기반

👉 딥러닝 핵심

• 신경망 + 활성함수 = 비선형 표현

---

📌 마무리 한 줄 정리

딥러닝은 “데이터에서 패턴을 배우고, 그 패턴을 통해 문제를 해결하는 기술”이다.