데이터 아키텍처와 휴먼 데이터 아키텍처

사람을 센서라고 생각해 보자.

• 5감 - 시각, 청각, 후각, 미각, 촉각 : 외부 신호를 수용
• 신경계 - 뇌에서 신호를 처리, 저장
• 근육 - 행동

잠자거나 깨어있거나 끊임없이 센서가 작동하고, 신호가 흡수된다,

• 특히나, 스마트폰으로 인해서 끊임없이 뇌가 움직인다.
• 자극이 계속되는 만큼, 새로운 아이디어도 끊임없이 쏟아지디고 한다.

이렇게 계속 떠오르는 아이디어를 1) 정리해서 인사이트로 바꾸거나, 2) 처리가 힘들면 버리거나 등 양 극단 중 하나만 선택해야 하는 경우가 있는데,

• 실시간으로 처리가 힘들면, 그 자체로 정리안된 상태로 일단은 저장해 놓는 것도 도움이 된다.
• 일종의 아파치 카프카처럼 데이터 스트리밍을 하는 것.
• 쌓아둔 데이터를 나중에 시간이나 리소스가 허락할 때 제대로 처리해 본다.

노션을 활용해서…

1. 데이터 스트리밍 단계(백엔드 엔지니어) = 아이디어를 막 적는다
2. ETL 단계(데이터 엔지니어) = 아이디어를 개요로 만든다.
3. 인사이트 뽑는 단계(데이터 사이언스, 데이터 분석가, ML 모델러 등) = 개요에 살을 덧붙여 본다.
4. 표현과 디자인을 붙여서 완성된 콘텐츠를 만든다.