Database/GPDB with BIG_data (8) 썸네일형 리스트형 [gpdb 백업] pg_dump & pg_restore 간단 사용법 [gpdb 백업] pg_dump & pg_restore 간단 사용법 안녕하세요. GPDB 에서 PG_DUMP 와 PG_RESTORE를 이용한 백업과 복구에 관해서 간략하게 안내해 드릴께요. pg_dump & pg_restore는 sql 기반으로 gpdb안의 데이터를 백업 및 복구를 할 수 있습니다. 바로 시작 하겠습니다. 우선 pg_dump를 이용해서 백업을 받는 커맨드 입니다. pg_dump -Cs dbname -n schemaname -n schemaname2 -E utf-8 > ddl_schema.sql pg_dump -a dbname -n schemaname -n schemaname2 -E utf-8 > data_schema.sql pg_dump -Cs dbname -t schema.table -.. [GPDB] greenplum sql 튜닝 파라미터 정리 (쿼리 튜닝 parameter) #greenplum sql 튜닝 파라미터 정리 (쿼리 튜닝 parameter) 안녕하세요. greenplum database는 오라클처럼 힌트를 사용할 수 없습니다. 그렇다고 느린 쿼리 성능을 그냥 GPORCA 가 시키는 데로 쿼리가 수행되게끔 둘 수는 없죠. gpdb의 파라미터값을 조절하여 쿼리의 성능을 향상할 수 있습니다. 아래에 정리 되어 있는 파라미터 값을 참고하여 최적의 성능으로 GPDB를 사용하세요. - gp_workfile_compress_algorithm=none # default 값은 none 이며, zlib 일 경우에는 pgsql_tmp 사용 시 압축 모드로 사용하기 때문에 동시 사용자수가 높을 경우에 적용할 필요가 있음. - statement_mem # default 값은 125MB이.. [GPDB] 실시간 빅데이터 처리 DBMS 비교 Firebase Realtime Database vs GPDB 안녕하세요. DB 중에 실시간으로 빅데이터를 처리할 수 있는 게 제가 아는 것 중 GPDB라는 게 있어서 이 GPDB의 정보를 Firebase Realtime Database 와 비교해서 정리해 보았습니다. GPDB란 Pivotal에서 만든 DBMS로 MPP 기반의 병렬처리 빅데이터용 DB입니다. 성능은 매우 빠르고, 저장소를 무한히 확장할 수 있다는 장점이 있습니다. 병렬 처리를 하다 보니 데이터를 읽어오는 데 있어서 상당한 성능을 보입니다. Postgres 기반으로 개발된 DBMS 이기에 Postgres를 접해본 사람이라면 쉽게 다가갈 수 있습니다. 다만 그 병렬 처리를 위한 아키텍처를 이해해야 한다는 과정은 필요하겠죠. 참고로, 제가 직접 GPDB를 다룬 건 약 1년 전 국내 모 대기업 전자 회사에.. [greenplum]GPDB sequence cycle 안녕하세요. 오늘은 GPDB sequence cycle에 대해 Test 해봤습니다.sequence는 Database에서 꼭 필요한 기능 중 하나인데요.아마, 어떤건지 잘 아시리라 생각 합니다. 그렇다면 sequence cycle은 무엇이냐..예를들어 sequence에 아무런 옵션을 주지 않고 생성 한다면그냥 숫자는 정한 범위만큼 일정하게 증가를 하겠죠.1,2,3,4,5,......101,102,103...... 이런식으루요.. 하지만, sequence cycle을 적용한다면?우선 범위를 먼저 설정합니다. 1 ~ 100 까지로 설정 한다면1부터 100까지 sequence가 순차적으로 증가한 이후 다시 1부터 시작을 하게 됩니다. 매우 간단하죠? 제가 Test 했던 스크립트는 아래와 같습니다.create s.. greenplum GPDB download 방법 (sandbox) 안녕하세요. greenplum GPDB download 방법에 대해 안내 해드릴께요.일단, GPDB의 아키텍쳐를 먼저 살펴 보셨다면최소, 4대이상의 서버가 있어야 아키텍처에 어울리는 방식의 설치가 가능 합니다. 하지만, 처음 설치를 하고, TEST를 위해서 설치를 한다면..간단하게 sandbox를 이용해서 vmware로 올릴수 있습니다. 우선, https://greenplum.org/download/위 링크에 접속하셔서위 캡쳐와 같은 화면을 보시게 되면 빨간 박스안에 Sandbox를 클릭 합니다. 이후에 자기에게 맞는 환경의 파일을 선택해서 다운로드 하시면 됩니다. (.ova, .aws) 이상입니다.감사합니다.By. stricky GPDB 에서 linux shell script를 이용하여 partition table 생성 하기 안녕하세요. 오늘은 greenplum의 GPDB에서 linux shell을 이용한 partition table 생성 하는 방법을 안내 합니다. greenplum의 GPDB는 오라클 처럼 스케쥴러가 따로 없기 때문에 shell script를 많이 이용합니다. 물론 crontab과 함게 말이죠. 아래의 쉘 스크립트를 현재 상황에 맞게 잘 수정 하셔서 이용 한다면 GPDB partition table을 주기적으로 생성하는데 있어서 좋은 방안이 될 겁니다. #!/bin/bash START_TM1=`DATE "+%Y%m%d%H%M%S"` LOADDATE=`date "+%Y%m%d%H%M%S"` echo "us_partition_month_create.sh:START TIME : " $START_TM1 source.. GPDB 기본 명령어 [greenplum database] 안녕하세요. GPDB 기본 명령어를 살펴볼까요? 특별히 쿼리를 하지 않더라도 다양한 정보들은 간편한 명령어로 확인 할 수 있습니다. \da [aggregate_pattern]Lists all available aggregate functions, together with the data types they operate on. If a pattern is specified, only aggregates whose names match the pattern are shown. \db [tablespace_pattern] | \db+ [tablespace_pattern]Lists all available tablespaces and their corresponding filespace locations. I.. what is GPDB? 이게 뭘까? GPDB를 만났다. Greenplum Database 이게 뭘까? 네이버에 검색해본다. 안 나온다... 구글에 검색해 본다. 쫌 나온다... 연달아서 MPP도 나오고, 대용량, 빅데이터 뭐 이런 말도 나온다. PostgreSQL 오픈 소스 기술을 기반으로 하는 DBMS의 한 종류로써, 대부분의 SQL을 지원하며, 최종 사용자 기능 등과 관련하여 PostgreSQL과 매우 유사하단다.. 일단, 설치를 해서 사용해보고 싶다. 아니, 일단 설치를 해야 한다... 이젠 GPDB랑 일 해야 하니깐. 일단 아키텍처부터 찾아본다. 기본적으로 약간 다르다.. 무엇과? 오라클이랑.. 더 적게도 가능하긴 하지만, 일반적인 GPDB 테스트 환경에는 서버 6대가 필요하다. 난 물론, VMware로 한다. 1. 마스터 (mdw.. 이전 1 다음
