스프링 대규모시스템설계 (2)

게시글 테이블 설계

column_name	Type	Description
article_id	BIGINT	Primary Key
title	VARCHAR(100)	제목
content	VARCHAR(3000)	내용
board_id	BIGINT	게시판ID(Shard Key)
writer_id	BIGINT	작성자ID
created_at	DATETIME	생성시간
modified_at	DATETIME	수정시간

여기서 Shard Key는 게시판 ID
왜? 게시글 서비스는 게시판 단위로 서비스를 이용하기에, 게시판 단위로 게시글 목록이 조회되는 것

primary key 생성 알고리즘은 Snowflake 사용

• 분산 시스템에서 고유한 64bit ID를 생성하는 알고리즘
• 분산 환경에서도 중복 없이 순차적 ID를 생성하기 위한 규칙
  • [1bit][41bits:타임스탬프][10bits:노드ID][12bits:시퀀스 번호]
  • 타임스탬프 : 순차성
  • 노드ID + 시퀀스 번호 : 고유성
• 유니크, 시간 기반 순차성, 분산환경에서의 높은 성능

DB Shard 란?

수평적 데이터 분할을 통해 대규모 데이터베이스의 확장성과 성능을 개선하는 기술이다.
데이터를 여러 개의 DB로 분리하여 저장하고 관리하는 방식이다.
각 분리된 DB를 Shard라고 하며, 샤드에는 데이터의 일부분만 저장된다.

사용 이유

• 데이터 양 증가 문제해결
• 확장성(Scalability)
• 성능 향상
• 가용성(Availability)

원리

데이터를 특정 기준에 따라 나누어 각 샤드에 저장한다. 샤드 간에는 데이터가 중복되지 않으며, 데이터의 분할 기준은 설계에 따라 달라진다.

1. 샤딩 키(Sharding Key)
   데이터를 나누는 기준이 되는 키
2. 샤드 할당 방식
   데이터를 어떤 샤드에 배치할지 결정하는 방법
   • 범위 기반 샤딩(Range-based Sharding)
     데이터를 특정 값 범위로 나눔
   • 해시 기반 샤딩(Hash-Based Sharding)
     샤딩 키를 해싱하여 샤드를 선택
   • 지역 기반 샤딩(Geographic-Based Sharding)
     데이터를 지리적 위치에 따라 분할

장점과 단점

장점

1. 확장성
2. 성능향상
3. 독립적 장애 처리
4. 데이터 분산

단점

1. 복잡성 증가
2. 데이터 이동 : 샤드 간 데이터를 이동하거나 재분할(resharding)할 때 복잡한 작업 필요
3. 글로벌 트랜잭션 처리 어려움 : 샤드간 트랜잭션(Distrubuted Transactions)을 처리하기 어려움
4. 쿼리 제한 : 데이터가 분산되므로 집계 쿼리와 같은 작업이 어려울 수 있음
5. 데이터 불균형 : 잘못된 샤딩키 사용시 특정 샤드에 데이터가 몰릴 수 있음

헛튼짓 2

이번에는 docker에서 구성한 db 연결에서 문제발생;;;
정상적으로 잘한거같은데;;

server:
  port: 9000
spring:
  application:
    name: kuke-board-article-service
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/article
    username: root
    password: root
  jpa:
    database-platform: org.hibernate.dialect.MySQLDialect
    open-in-view: false
    show-sql: true
    hibernate:
      ddl-auto: none

근데 계속해서 연결 실패;!

별별짓 다해봤다....

uri 변경부터 docker container 재시작 등등 근데 혹시...... 내 pc에 mysql 있는데... 걔도 3306 인데;;;

확인 결과

역시나 2개가 돌아가는중...

이미 내 노트북 mysql이  127.0.0.1:3306을 사용중이었던 것!

그래서 docker의 mysql을 3307:3306 으로 변경하여 다시 생성해주니 정상 동작!

헛튼짓 3

test를 위해서 RestClient를 이용했는데 계속 http://localhost:9000/v1/articles를 못찾는다고 나왔다...

알고보니 Spring Boot Application을 실행하면서 테스트 코드를 돌려야했음.... ㅎㅎㅎㅎ