구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내
구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내
안녕하세요. 구글 빅쿼리(BigQuery)를 첨으로 사용하시는 분들께 구글 빅쿼리 사용법에 대해서 간단하게 안내를 드립니다. 우선 구글 빅쿼리(BigQuery) 가 무엇이고, 왜 사용하는지, 그리고 어떻게 편하게 사용 하는지에 대해서 알아보도록 하겠습니다. 자, 따라오시죠.
구글 빅쿼리는 머신러닝(ML)에 특화된 Cloud Database 입니다. 비교적 저렴한 비용으로 많은 데이터에서 아주 빠르고 간단하게 Ansi SQL을 이용하여 데이터를 추출 해 낼수 있습니다.
OLAP성 데이터베이스로 이용하시면 아주 편합니다. 따로 물리서버나 개인 PC에 DB를 설치할 필요도 없이 언제 어디서든 데이터를 확인하고, 분석 할 수 있습니다.
사용방법은 매우 간단합니다. 우선 구글에 가입을 하시고, 계정이 있으신 분들은 로그인을 합니다. 그리고 아래 링크로 이동하여 아래 버튼을 눌러줍니다.
BigQuery: 클라우드 데이터 웨어하우스 | Google Cloud
BigQuery: 클라우드 데이터 웨어하우스 | Google Cloud
BigQuery는 비용 효율성을 갖춘 서버리스 멀티 클라우드 데이터 웨어하우스로, 빅데이터에서 가치 있고 유용한 비즈니스 정보를 얻을 수 있도록 설계되었습니다. 무료로 시작해 보세요.
cloud.google.com
그럼 300$의 기본 크레딧이 제공 됩니다. 또한 매월 10GB 스토리지를 사용 할 수 있으며, 1TB 쿼리가 무료로 제공되는 혜택을 받으실 수 있습니다. 그럼 시작해볼까요?
위와 같이 사용약관 동의를 해줍니다.
그리고 계속하기를 눌러주시면 됩니다.
우선, 이 화면에서 프로젝트를 생성 해줘야 합니다. 상단에 있는 프로젝트 선택 버튼을 누르시고, 다음 화면과 같이 새 프로젝트를 선택해서 생성을 해주셔야 합니다.
그럼 다음과 같은 화면이 뜹니다.
여기에서 프로젝트 이름 잘 지어주시고 만들기를 눌러주시면 진행이 됩니다.
이렇게 만들기를 누르고 기다리면 다음과 같이 초기화면에서 알림이 뜨는것을 확인 할 수 있습니다.
당연히 프로젝트 선택을 눌러주시면 됩니다.
그리고 다음과 같이 좌측 상단의 삼선버튼을 눌러 스크롤을 좀 내리다 보면 BigQuery가 보이실 겁니다.
선택 하시면 됩니다.
여기서 고정핀으로 고정을 해두시면 다음에 좀 더 편하겠죠?
이젠 구글빅쿼리 화면이 보이실텐데, 여기서 우선 프로젝트 하위에 데이터세트를 만들어주셔야 합니다. 그리고나서 테이블을 만들던지, 쿼리를 실행하던지 해야 하는거죠.
다음과 같이 탐색기 좌측 삼점버튼을 눌러서 데이터 세트를 만들어 줍니다.
자, 이러면 다음과 같이 탐색기 섹션에 방금 생성한 데이터 세트가 있는것을 확인 할 수 있습니다.
짜잔!!
자, 우선 이렇게 구글 클라우드 플랫폼(GCP), 구글빅쿼리 쪽 작업은 데이터 세트를 만드는것 까지 해두고 다음은 datagrip에서 구글빅쿼리를 연동 시키는 방법을 안내해 드릴께요.
datagrip과 같은 외부 툴에서 구글빅쿼리를 연동 하려면 GCP에서 서비스 계정을 생성 해야 합니다.
다음 링크로가서 서비스 계정을 생성 해주세요.
https://console.cloud.google.com/iam-admin/
Google Cloud Platform
하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요.
accounts.google.com
전 뭐, 일단 권한은 소유자로 했습니다. 전체 모든 권한을 가지는 걸로 설정을 하고 진행 하겠습니다.
그리고 계속 버튼을 눌러서 진행 하시면 됩니다.
완료를 누르고나니 아래와 같이 목록에 서비스 계정이 생성 된것을 확인 할 수 있네요.
잘 생성이 되었습니다.
자, 이번엔 키를 만들어 줘야 합니다.
다음과 같이 작업 아래에 있는 삼점버튼을 눌러서 키 관리로 들어갑니다.
그러면 이젠 키가 생성이 되고 자동으로 PC에 저장이 될 것 입니다.
여기서 datagrip에는 어떻게 연동을 하느냐 안내를 드릴께요.
먼저, datagrip을 열고 DB추가를 하면 다음과 같이 화면이 나옵니다. 그리고 구글빅쿼리를 선택 하죠. 여기서 Connection type을 Service Account로 설정을 먼저 하세요.
그리고 Host와 Port는 그대로 두고 Project ID와 아까 생성한 서비스 계정과 다운받은 키의 PC내 경로를 써주시면 됩니다. 간단하게 접속이 됩니다.
위 화면을 참고 하시면 되겠습니다.
쉽게 시작 하실 수 있을것입니다.
일단 설정 소개는 여기까지 하겠습니다.
실 사용편은 다음편에서 뵈요!
감사합니다.
2021.07.28 - [Data Science] - 구글 빅쿼리(BigQuery) create table 방법 및 주의사항
구글 빅쿼리(BigQuery) create table 방법 및 주의사항
구글 빅쿼리(BigQuery) create table 방법 및 주의사항 안녕하세요. 지난번에 구글 빅쿼리(BigQuery)를 셋팅하고 서비스 계정을 만들어 datagrip과 연동하는것까지 포스팅을 드렸었는데요. 이번엔 연동한 da
stricky.tistory.com
2021.01.20 - [Database/mariaDB administrator] - datagrip 편의 기능 지원 DBMS 소개 및 사용법 | sTricky
datagrip 편의 기능 지원 DBMS 소개 및 사용법 | sTricky
datagrip 편의 기능 지원 DBMS 소개 및 사용법 | sTricky 안녕하세요. datagrip에 대한 장점이나 지원하는 DBMS나 초기 설정 부분 등은 지난편에서 안내를 드렸었습니다. 최근에 보니 datagrip에서 Google Bigque.
stricky.tistory.com
2021.02.17 - [Data Science] - Rain in Australia 캐글 날씨 데이터셋 다운로드 받아 mysql에 넣는 방법
Rain in Australia 캐글 날씨 데이터셋 다운로드 받아 mysql에 넣는 방법
Rain in Australia 캐글에서 테스트 데이터셋을 다운로드 받아 나의 mysql에 넣는 방법 소개!! 오늘은 데이터분석을 위한 첫걸음, 바로 분석할 데이터를 다운받아서 넣는 과정에 대해서 진행을 해보려
stricky.tistory.com
2020.02.10 - [Daily life] - 데이터 엔지니어의 업무분야별 특성, dba 커리어 이야기 feat.데이터 베이스 연봉
데이터 엔지니어의 업무분야별 특성, dba 커리어 이야기 feat.데이터 베이스 연봉
데이터 엔지니어 업무분야별 특성, dba 커리어 이야기 feat.데이터베이스 연봉 안녕하세요. 전 8년차 DBA 업무를 하고 있는 데이터 엔지니어 입니다. 이 글을 시작하기에 앞서, 같은 데이터베이스
stricky.tistory.com
by.sTricky