빅데이터 (5) 썸네일형 리스트형 구글 빅쿼리(BigQuery) create table 방법 및 주의사항 구글 빅쿼리(BigQuery) create table 방법 및 주의사항 안녕하세요. 지난번에 구글 빅쿼리(BigQuery)를 셋팅하고 서비스 계정을 만들어 datagrip과 연동하는것까지 포스팅을 드렸었는데요. 이번엔 연동한 datagrip에서 구글 빅쿼리(BigQuery) 테이블 생성하는 DDL 샘플을 보여 드릴까 합니다. 2021.07.27 - [Data Science] - 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 안녕하세요. 구글 빅쿼리(BigQuery)를 첨으로 사용하시는 분들께 구글 빅쿼리 사용법에 대해서 간단하게 안내를 드립니다.. 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 안녕하세요. 구글 빅쿼리(BigQuery)를 첨으로 사용하시는 분들께 구글 빅쿼리 사용법에 대해서 간단하게 안내를 드립니다. 우선 구글 빅쿼리(BigQuery) 가 무엇이고, 왜 사용하는지, 그리고 어떻게 편하게 사용 하는지에 대해서 알아보도록 하겠습니다. 자, 따라오시죠. 구글 빅쿼리는 머신러닝(ML)에 특화된 Cloud Database 입니다. 비교적 저렴한 비용으로 많은 데이터에서 아주 빠르고 간단하게 Ansi SQL을 이용하여 데이터를 추출 해 낼수 있습니다. OLAP성 데이터베이스로 이용하시면 아주 편합니다. 따로 물리서버나 개인 PC에 DB를 설치할 필요도 없이 언제 어디서든 데이터를 확인하고, 분석 할 수 있습니다. 사용방.. Rain in Australia 캐글 날씨 데이터셋 다운로드 받아 mysql에 넣는 방법 Rain in Australia 캐글에서 테스트 데이터셋을 다운로드 받아 나의 mysql에 넣는 방법 소개!! 오늘은 데이터분석을 위한 첫걸음, 바로 분석할 데이터를 다운받아서 넣는 과정에 대해서 진행을 해보려고 합니다. 사실 데이터 분석이든 SQL실습이든 하려면 대용량 데이터가 있었으면 할때가 많으실겁니다. 그래서 오늘 준비를 좀 해봤습니다. 1. 데이터가 많은곳을 찾아라 데이터가 그럼 어디에 많이 있을까요? 많은 분들이 아시겠지만 kaggle이라는곳이 있습니다. 여긴 데이터를 이용해서 데이터 분석 대회도 하는 그런 커뮤니티와 같은 곳입니다. 저도 예전에 여기서 타이타닉 캐글 데이터 분석을 실습 해보기도 했습니다. 구글에서 kaggle을 검색하셔서 들어가 보시면 됩니다. 간단하게 구글 로그인으로 sig.. 데이터 3법 법사위 통과, 본회의에서 상정, 처리 수순 정부가 데이터 경제 확성화를 위해 적극 추진하고 있는 데이터 3법이 국회 법제사법위원회를 통과했다. (2020.01.09) 데이터 3법은 IT, 금융, 유통 등의 산업에서 빅데이터 분석 등을 위해 비식별조치된 가명정보를 활요하여 데이터를 사용 할 수 있도록 하다는 취지의 법안이다. 4차산업, 빅데이터 시대에 데이터를 더 쓸 수 있다는건 그만큼 많은 데이터를 기업이나 기관에서 활용하여 새로운 신기술과, 편의 혜택을 가져올 수 있다. 한편 지금 통과되는 개정안이 유럽연합의 개인정보보호규정(GDPR)의 충분조건을 갖췄나 라는 의문이 있기도 하다. 아마 이 법안으로 인해 데이터 마켓이 더욱 활성화 될 것이고 이를 이용한 새로운 서비스도 곧 만나볼 수 있을것으로 기대가 된다. 하지만, 데이터를 가공하고, 비식별화.. [GPDB] 실시간 빅데이터 처리 DBMS 비교 Firebase Realtime Database vs GPDB 안녕하세요. DB 중에 실시간으로 빅데이터를 처리할 수 있는 게 제가 아는 것 중 GPDB라는 게 있어서 이 GPDB의 정보를 Firebase Realtime Database 와 비교해서 정리해 보았습니다. GPDB란 Pivotal에서 만든 DBMS로 MPP 기반의 병렬처리 빅데이터용 DB입니다. 성능은 매우 빠르고, 저장소를 무한히 확장할 수 있다는 장점이 있습니다. 병렬 처리를 하다 보니 데이터를 읽어오는 데 있어서 상당한 성능을 보입니다. Postgres 기반으로 개발된 DBMS 이기에 Postgres를 접해본 사람이라면 쉽게 다가갈 수 있습니다. 다만 그 병렬 처리를 위한 아키텍처를 이해해야 한다는 과정은 필요하겠죠. 참고로, 제가 직접 GPDB를 다룬 건 약 1년 전 국내 모 대기업 전자 회사에.. 이전 1 다음
