(TIL) Data Warehouse, TPS

 

새 프로젝트의 ERD를 각자 만들어 본 후 피드백을 받았습니다.

이번 TIL은 피드백을 받은 후 모르거나 새로 알게 된 점을 작성하겠습니다.

 

1. Data Warehouse

 

이용자의 사용량이나 선호도를 저장해 놓는 테이블이 있습니다.

동료분은 해당 테이블이 사용량이 많을 것이고 각 정보에 대한 통계를 낼 때 현재의 ERD구조로 문제가 없을지 질문을 하셨습니다.

 

이에 대한 피드백으로 통계를 낼 때 문제가 발생하는 경우가 온다면

그때는 Data Warehouse를 사용하면 된다고 답변하셨습니다.

 

데이터 웨어하우스란

사용자의 의사 결정에 도움을 주기 위하여 기간 시스템의 데이터 베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말합니다.

 

 

데이터 웨어하우스에는 여러 개의 데이터베이스가 포함될 수 있습니다. 각 데이터베이스 내에서 데이터는 테이블 및 열로 구성됩니다. 각 열 내에서 사용자는 정수, 데이터 필드 또는 문자열 등 데이터의 설명을 정의할 수 있습니다. 

 

 

데이터 웨어하우스 동작법

출처: aws.data-warehouse

데이터베이스에서 데이터를 연결 -> 데이터 준비 -> 선택한 데이터를 데이터 웨어하우스로 이동 -> 보고 수행

 

데이터 웨어하우스에서 데이터 연결 -> 데이터 분석 -> 데이터 공유하여 다른 분석 및 기계 학습 서비스와 함께 활용

 

 

데이터 웨어하우스와 데이터베이스 비교

 

특징	데이터 웨어하우스	트랜잭션 데이터베이스
적합한 워크로드	분석, 보고, 빅 데이터	트랜잭션 처리
데이터 원본	여러 소스로부터 수집되고 정규화된 데이터	트랜잭션 시스템과 같이 단일 소스에서 있는 그대로 캡쳐한 데이터
데이터 캡쳐	대개 미리 결정된 대량 배치 일정에 따른 대량 쓰기 작업	트랜잭션 처리량을 최대화할 수 있도록 새로운 데이터가 사용 가능해지면서 연속적인 쓰기 작업에 최적화됨
데이터 정규화	스타 스키마 또는 눈송이 스키마와 같이 비정규화된 스키마	고도로 정규화된 정적 스키마
데이터 스토리지	컬럼 방식 스토리지를 사용하여 간단한 에겟스 및 고속 쿼리 성능에 대해 최적화됨	단일 행 지향 물리적 블록ㅇ ㅔ대한 고도의 처리량 쓰기 작업에 최적화됨
데이터 엑세스	Input/Output를 최소화하고 데이터 처리량을 최대화하도록 최적화됨	대량의 소규모 읽기 작업

 

 

데이터 웨어하우스의 이점

 

- 정보에 기반한 의사 결정

 

- 여러 소스의 데이터 통합

 

- 과거 데이터 분석

 

- 데이터 품질, 일관성 및 정확성

 

- 트랜잭션 데이터베이스와 분석 처리를 분리하여 두 시스템 모두 성능을 향상

 

 

관련 영상

 

What Is a Data Warehouse?

 

 

2. TPS(transactions per second)

 

그리고 기능의 TPS가 늘어날 수 있으니 테이블을 단순하게 짜라는 피드백을 받았습니다.

 

여기서 의미하는 TPS는 무엇일까요.

 

Transaction Per Second

TPS(초당 트랜잭션)는 정보 시스템에서 1초에 완료된 트랜잭션 수를 나타내는 컴퓨터 소프트웨어 및 하드웨어 측정입니다

 

Transaction Process System

트랜잭션 프로세스 시스템(TPS)은 모든 트랜잭션 데이터의 수집, 수정 및 검색을 포함하는 비즈니스 트랜잭션을 위한 정보 처리 시스템입니다. TPS의 특성에는 성능, 안정성 및 일관성이 포함됩니다.

TPS는 트랜잭션 처리 또는 실시간 처리라고도 합니다.

 

아무래도 TPS가 늘어나는 경우는 초당 트랜잭션의 수가 증가할 경우를 말씀하신거라고 생각합니다.

 

 

이상입니다.

 

출처

데이터 웨어하우스

https://aws.amazon.com/ko/data-warehouse/

https://www.oracle.com/kr/database/what-is-a-data-warehouse/

TPS

https://www.techopedia.com/definition/25081/transaction-per-second

https://www.techopedia.com/definition/707/transaction-process-system-tps