2024/03 3

[Big Query] 빅쿼리 주요 데이터 타입

빅쿼리에서는 문자열이나 정수 등 단순한 데이터형 외에도 ARRAY, STRUCT 등 복잡한 데이터형 지원한다. 주요데이터 타입) 분류 데이터형 설명 정수형 INT64 정수인 숫자 부동소수점형 FLOAT64 소수가 있는 근삿값, 배정도 십진수 값 숫자형 NUMBER 38자리 정밀도와 소수점 9자리 비율을 사용하는 십진수 값 부울형 BOOL TRUE / FALSE로 표시(대소문자 구분 X) 문자열형 STRING 가변 길이 문자(Unicode) 데이터 바이트형 BYTES 가변 길이 문자 바이너리 데이터 날짜형 DATE YYYY-MM-DD 날짜/시간형 DATETIME YYYY-MM-DD hh:mm:ss Time zone이나 summer time 등 관습적인 것을 반영한 날짜/시간 시간형 TIME hh:mm:ss..

[Big Query] 샤드 테이블 전체 삭제하는 방법. DROP shard tables

빅쿼리에서 샤드 테이블 개념을 사용한다고 했다. 해서 날짜별로 스키마가 같은 테이블이 여러개 생성되게 되는데 그렇다면 테이블을 삭제해야하는 경우 어떻게 해야할까? * 샤드 테이블이란? https://cheershennah.tistory.com/296 [Big Query] 테이블 샤딩이란? Table Sharding. Data Sharding. 분산 컴퓨팀 환경 내 여러 노드 또는 서버에 대규모 데이터 세트를 수평으로 분할하고 배포하기 위해 빅데이터 시스템에 사용되는 주요기술. Dataset을 샤드(Shard)라고 하는 더 작고 관 cheershennah.tistory.com SQL 에서 테이블 삭제시 아래와 같이 DROP 문을 사용하는데 DROP TABLE [database_name.]table_name..

[Bigquery] Shard 테이블 날짜별 마이그레이션 (feat. 빅쿼리 절차적 언어_동적 SQL 만들기)

빅쿼리 샤드 테이블 마이그레이션 방법 정리 (feat. 빅쿼리 절차적 언어_동적 SQL 만들기.) 먼저 빅쿼리에서는 서브쿼리를 많이 사용하는 쿼리는 실행할때마다 모든 쿼리에대해 요금이 발생한다. 가능하면 서브쿼리의 필요한 부분을 select 한뒤 별도 테이블로 만들어주고 해당 테이블에 대해 메인 쿼리를 실행하는 방법으로 실행할 때 마다 대용량의 요금이 발생하는 것을 지양할 수 있다. 단, 빅쿼리는 테이블을 날짜별로 나누는 샤드 테이블 형태를 사용하기 때문에 이 형태를 그대로 사용하고 싶다면 별도 테이블 또한 날짜별로 쌓아야 한다. 미래 날짜의 경우 빅쿼리 스튜디오에서 제공하는 스케쥴러를 통해서 어렵지 않게 가능하지만 과거의 날짜로는 스케쥴링이 불가하다. 예를 들어 1년치의 데이터가 필요한 경우라면, 1년..