Today I Learned. @cheers_hena 치얼스헤나

[Big Query] 빅쿼리 스케쥴링이란? (쿼리 자동실행 예약 방법 )

* 빅쿼리 스케쥴링이란 ?쿼리가 반복적으로 실행되도록 일정을 예약하는 기능.예약된 쿼리는 Google 표준 SQL로 작성되어야 하며 데이터 정의 언어(DDL) 및 데이터 조작 언어(DML) 문을 포함할 수 있다. 쿼리 문자열과 대상 테이블을 매개변수화하여 쿼리 결과를 날짜와 시간별로 구성할 수 있다.빅쿼리 콘솔에서 스케쥴링 기능을 제공하므로 간단히 작업이 가능하다. 쿼리 일정을 만들거나 업데이트하면 쿼리의 예약된 시간이 현지 시간에서 UTC로 변환되므로 KST > UTC 계산하여 등록해야한다.  1. 쿼리창에 원하는 쿼리 입력 후 상단의 SCHEDULE 클릭 * 일자별 샤드 테이블 스케쥴링인 경우쿼리 내 날짜 설정:- @run_date 를 사용하면 자동으로 시스템 날짜를 인식함. - DATE_SUB 를 ..

빅쿼리에서는 문자열이나 정수 등 단순한 데이터형 외에도 ARRAY, STRUCT 등 복잡한 데이터형 지원한다. 주요데이터 타입) 분류 데이터형 설명 정수형 INT64 정수인 숫자 부동소수점형 FLOAT64 소수가 있는 근삿값, 배정도 십진수 값 숫자형 NUMBER 38자리 정밀도와 소수점 9자리 비율을 사용하는 십진수 값 부울형 BOOL TRUE / FALSE로 표시(대소문자 구분 X) 문자열형 STRING 가변 길이 문자(Unicode) 데이터 바이트형 BYTES 가변 길이 문자 바이너리 데이터 날짜형 DATE YYYY-MM-DD 날짜/시간형 DATETIME YYYY-MM-DD hh:mm:ss Time zone이나 summer time 등 관습적인 것을 반영한 날짜/시간 시간형 TIME hh:mm:ss..

빅쿼리에서 샤드 테이블 개념을 사용한다고 했다. 해서 날짜별로 스키마가 같은 테이블이 여러개 생성되게 되는데 그렇다면 테이블을 삭제해야하는 경우 어떻게 해야할까? * 샤드 테이블이란? https://cheershennah.tistory.com/296 [Big Query] 테이블 샤딩이란? Table Sharding. Data Sharding. 분산 컴퓨팀 환경 내 여러 노드 또는 서버에 대규모 데이터 세트를 수평으로 분할하고 배포하기 위해 빅데이터 시스템에 사용되는 주요기술. Dataset을 샤드(Shard)라고 하는 더 작고 관 cheershennah.tistory.com SQL 에서 테이블 삭제시 아래와 같이 DROP 문을 사용하는데 DROP TABLE [database_name.]table_name..

빅쿼리 샤드 테이블 마이그레이션 방법 정리 (feat. 빅쿼리 절차적 언어_동적 SQL 만들기.) 먼저 빅쿼리에서는 서브쿼리를 많이 사용하는 쿼리는 실행할때마다 모든 쿼리에대해 요금이 발생한다. 가능하면 서브쿼리의 필요한 부분을 select 한뒤 별도 테이블로 만들어주고 해당 테이블에 대해 메인 쿼리를 실행하는 방법으로 실행할 때 마다 대용량의 요금이 발생하는 것을 지양할 수 있다. 단, 빅쿼리는 테이블을 날짜별로 나누는 샤드 테이블 형태를 사용하기 때문에 이 형태를 그대로 사용하고 싶다면 별도 테이블 또한 날짜별로 쌓아야 한다. 미래 날짜의 경우 빅쿼리 스튜디오에서 제공하는 스케쥴러를 통해서 어렵지 않게 가능하지만 과거의 날짜로는 스케쥴링이 불가하다. 예를 들어 1년치의 데이터가 필요한 경우라면, 1년..

Data Sharding. 분산 컴퓨팀 환경 내 여러 노드 또는 서버에 대규모 데이터 세트를 수평으로 분할하고 배포하기 위해 빅데이터 시스템에 사용되는 주요기술. Dataset을 샤드(Shard)라고 하는 더 작고 관리하기 쉬운 조각으로 나누어 데이터 관리, 확장성 및 성능 향상을 목표로 함. 데이터 샤딩을 사용하는 이유? 데이터 배포 및 병렬처리 향상. 빅쿼리는 위와같이 일별로 분할된 테이블을 생성한다. 이를 테이블 샤딩이라고(Table Sharding) 하며 이러한 방식은 쿼리 속도를 높이고, 데이터 중복을 방지하며, 테이블 그룹관리를 위한 유연한 옵션을 제공함. 테이블 샤딩 장점 샤딩은 쿼리의 각 날짜에 자체 테이블이 존재하므로 하루의 데이터가 중복되는 것을 방지함. 세트의 모든 테이블은 동일한 테..

일반적으로 전통적인 관계형 DBMS 의 스토리지 방식은 로우(ROW, 행) 지향 스토리지 방식으로 동작한다. 실무에서 빅쿼리를 접하게 되면서 빅쿼리가 빅데이터에 적합하게 만들어진 데이터베이스라는 건 알고 있었지만 여타 다른 SQL 문과 거의 동일한 방식의 쿼리를 사용할 수 있기 때문에 당연히 같은 방식으로 동작할거라는 편견을 나도 모르게 갖고 있던 터라 삽질을 하던 과정에서 빅쿼리는 통상적인 로우 지향이 아닌 컬럼 지향 스토리지 방식으로 동작한다는 사실을 알게되어 학습/기록한다. 컬럼 지향 스토리지 형식 빅쿼리는 완전 관리형 스토리지를 제공. 사용되는 빅쿼리 스토리지 크기는 자동 조절되며 과금은 사용한 만큼만 부과. 컬럼지향 스토리지에 담긴 데이터를 사용하여 대규모 데이터 분석 수행하도록 설계됨. Pos..

빅쿼리에서 대부분 대용량 데이터를 다룬다. 특히 기본적으로 빅쿼리는 NEST방식으로 데이터를 저장하기 때문에 배열 형식의 데이터는 UNNEST 함수를 써야만 하기 때문에 여간 번거로운게 아니다. 참고 포스팅) https://cheershennah.tistory.com/244 BigQuery 빅쿼리란? BigQuery 빅쿼리란? 빅쿼리는 구글에서 만든 클라우드용 데이터웨어하우스(DW)로, 빅데이터에 최적회된 저장 및 분석용 클라우드 서비스이다. 빅쿼리의 구조는 관계형이 아닌 NoSQL기반의 데이터 저 cheershennah.tistory.com 전체 데이터가 아닌 일부 데이터 결과만을 데이터 풀로 보고자 할 때 SELECT 한 결과를 별도의 하나의 테이블로 만들어 사용할 수 있다. 여기서는 CSV로 로컬에..

측정기준 Dimension (디멘젼) 데이터의 속성 및 분류 기준. 데이터를 설명하고 분류하는 기준이 되며 일반적으로 숫자가 아닌 텍스트인 경우가 많다. ex) 연령, 성별, 소스/매체, 방문페이지, 이벤트명, 거래ID 등.. 측정항목 Metrics (메트릭) 정량적 측정 요소 및 수치. 합계, 비율, 시간 또는 금액으로 측정될 수 있는 양적 측정 요소를 의미하며 대부분 숫자인 경우가 많고 수학연산을 적용할 수 있다는 특징이 있다. ex) 사용자, 새사용자 수, 참여세션수, 평균참여시간, 이벤트수, 전환, 총 수익 등.. 즉, 디멘전으로 어떤 데이터를 볼지 기준을 먼저 정하고, 메트릭으로 어떤 값을 볼지 구성하여 데이터를 보는 것. 디멘전과 메트릭은 GA4에서 제공하는 기본 보고서나 탐색 보고서의 유형 ..

GA4 의 이벤트는 웹사이트에서 사용자의 상호작용 즉, 방문자의 모든 행동을 의미. GA4 이벤트 타입. 사용자 행동에 따라 first_visit, session_start, page_view, click, scroll ... 등으로 구분 됨. GA4 이벤트 이름과 매개변수. 각각의 이벤트는 event_name 과 event_parameters 로 구성된다. 1) 이벤트 이름 event_name 사용자의 특정행동을 규정하는 이벤트 이름. 예를 들어 회사소개 사이트의 서비스 소개서가 1개 등록되어 있는 경우는 단순히 '소개서 다운로드'라는 이름 항목만으로도 수집이 충분하다. 2) 이벤트 매개변수 event_parameters 특정 이벤트과 관련하여 추가적으로 수집하는 정보. 예를 들어 이커머스 사이트의 상..

querySelectorAll element의 자식 요소 중 주어진 CSS 선택자에 대응하는 모든 요소 반환. querySelector(css) 주어진 css선택자에 대응하는 요소 중 첫번째 요소 반환 후 검색 종료. closest element.closest(css) 요소 자신을 포함하여 css 선택자와 일치하는 가장 가까운 조상 요소 검색. 해당 요소부터 시작해 DOM트리를 한 단계씩 거슬러 올라가면서 원하는 요소 반환. 1장 2장