본문 바로가기

All

(513)
데이터 3법 법사위 통과, 본회의에서 상정, 처리 수순 정부가 데이터 경제 확성화를 위해 적극 추진하고 있는 데이터 3법이 국회 법제사법위원회를 통과했다. (2020.01.09) 데이터 3법은 IT, 금융, 유통 등의 산업에서 빅데이터 분석 등을 위해 비식별조치된 가명정보를 활요하여 데이터를 사용 할 수 있도록 하다는 취지의 법안이다. 4차산업, 빅데이터 시대에 데이터를 더 쓸 수 있다는건 그만큼 많은 데이터를 기업이나 기관에서 활용하여 새로운 신기술과, 편의 혜택을 가져올 수 있다. 한편 지금 통과되는 개정안이 유럽연합의 개인정보보호규정(GDPR)의 충분조건을 갖췄나 라는 의문이 있기도 하다. 아마 이 법안으로 인해 데이터 마켓이 더욱 활성화 될 것이고 이를 이용한 새로운 서비스도 곧 만나볼 수 있을것으로 기대가 된다. 하지만, 데이터를 가공하고, 비식별화..
[GPDB] 실시간 빅데이터 처리 DBMS 비교 Firebase Realtime Database vs GPDB 안녕하세요. DB 중에 실시간으로 빅데이터를 처리할 수 있는 게 제가 아는 것 중 GPDB라는 게 있어서 이 GPDB의 정보를 Firebase Realtime Database 와 비교해서 정리해 보았습니다. GPDB란 Pivotal에서 만든 DBMS로 MPP 기반의 병렬처리 빅데이터용 DB입니다. 성능은 매우 빠르고, 저장소를 무한히 확장할 수 있다는 장점이 있습니다. 병렬 처리를 하다 보니 데이터를 읽어오는 데 있어서 상당한 성능을 보입니다. Postgres 기반으로 개발된 DBMS 이기에 Postgres를 접해본 사람이라면 쉽게 다가갈 수 있습니다. 다만 그 병렬 처리를 위한 아키텍처를 이해해야 한다는 과정은 필요하겠죠. 참고로, 제가 직접 GPDB를 다룬 건 약 1년 전 국내 모 대기업 전자 회사에..
[python] 파이썬으로 주식 상장기업 크롤링한 데이터 엑셀 저장 및 엑셀 파일 불러오기 feat.pandas 안녕하세요. 오늘은 파이썬으로 크롤링한 데이터를 엑셀로 저장하는 방법과 더불어 엑셀에 저장된 데이터를 파이썬 pandas dataset 으로 불러오는 방법 간단하게 소개 합니다. 우선 데이터를 크롤링해 봅니다. 한국거래소에서 운영하는 kind.krx.co.kr에서 상장기업 정보를 불러 오겠습니다. import pandas as pd code_df = pd.read_html('http://kind.krx.co.kr/corpgeneral/corpList.do?method=download&searchType=13', header=0)[0] # 웹에 있는 데이터를 불러 옵니다. # header = 0 옵션을 준 이유는, # 맨 윗줄의 데이터를 헤더로 사용하기 위해서 입니다. 그리고 읽어온 데이터를 DataFra..
[CES2020] 스피커 없는 카 오디오, 신개념 자동차 와우! 사실 카 오디오엔 스피커라는건 필수 였다. 그런데, 스피커가 없다? 그럼 소리는 어디서 나지? 소리는 스피커의 원리를 조금만 이해 하면 어떻게 나는지 알 수 있는데, 울림통이라는게 스피커에는 있다. 이 울림통이 달려있는 스피커라는걸 쓰지 않고 자동차 전체, 혹은 일부 파트가 울리면서 소리를 내겠다는 것이다. 콘티넨탈과 오디오 전문기업 젠하이저는 라스베이거스에서 열리고 있는 CES 2020 에서 이 스피커 없는 자동차 실내 음향 시스템을 선보이고 있다. 자동차 실내 곳곳에 있는 스피커를 대신할 파츠들이 울림통이 되어 소리를 내는 것 이다. 뭐, 좋은것 같다. 디자인 측면에서도 많이 유리해 질 것 같다. 하지만 한가지 걱정이 되는건, 우리는 아마 예전 집에 있던 대형 오디오 시스템을 기억 할 것이다. 어린아..
[팔라완_신혼자유여행] 지하강을 향해 떠나다, 우공락 과 짚라인 #5 ##4편 보러 가기 2020/01/07 - [Je vous aime trop] - [팔라완_신혼자유여행] 필리핀 최고의 맛은 생참치! #4 [팔라완_신혼자유여행] 필리핀 최고의 맛은 생참치! #4 ##3편 보러 가기 2020/01/06 - [Je vous aime trop] - [팔라완_신혼자유여행] PPC의 시티 투어! #3 [팔라완_신혼자유여행] PPC의 시티 투어! #3 ##2편 보러 가기 2020/01/03 - [Je vous aime trop] - [팔라완_신혼.. stricky.tistory.com 2014.10.6 눈부신 햇살이 우리를 깨웠다. 힘들었던 비행, 전날 음주, 시티투어.. 내리 달렸던 것 같다. 정말 푹~~ 잤다. 아~ 맞다!! 오늘은 지하강 투어다! 전 세계에서 가장 긴 지하강..
전자책 밀리의 서재, 종이책 정기 구독 신청 책을 읽음으로써 장점은 매우 많다. 하나 다들 그 장점을 알면서도 여러 가지 본인의 처한 상황과 여건을 핑계로 외면 하기 일쑤이다. 나 역시 그랬던 사람이다. 초, 중, 고를 다니면서 시험을 보기 위한 공부에는 매우 소홀한 학생이었다. 사실, 소홀한 게 아니라 관심이 없었던 것 같다. 하지만 책만큼은 정말 많이 읽었었다. 초, 중, 고 내내 다독상, 교내 독후감 대회, 때론 도단위 글짓기 대회에서도 상을 받곤 했었다. 특히 초등학교 땐 집에선 무조건 책만 읽었었다. 전집류가 한창 유행하던 시절이라, 집엔 엄마가 동네 책장사 아줌마 꾐에 넘어가 들인 전집이 책장 두 개를 가득 채웠었다. 위인전, 세계명작, 한국문학, 이솝우화 등등.. 하지만 그건 딱 고등학교 때 까지였다. 대학을 가고, 군대를 거쳐 사회로..
[mariadb] DB 계정 별 권한 확인, 적용, 부여, 회수 계정 생성 mariadb, mysql 에서 사용 할 수 있는 DB 계정별 권한 확인, 적용, 부여 안내드리도록 하겠습니다. 우선, 계정 목록을 보는 방법 select host, user from user; 계정 생성 방법 create user 'user'@'127.0.0.1' identified by 'Password'; # localhost에서만 접속 허용 create user 'user'@'%' identified by 'Password'; # everywhere 접속 허용 유저별 권한 부여 grant all privileges on TableName.* to 'user'@'127.0.0.1'; #localhost에서만 허용 grant select on testDB.* to 'user'@'%'; #everywh..
[python] 파이썬 데이터분석, 민간아파트 분양가격 동향 v.2019 #1 안녕하세요. 파이썬으로 데이터 분석 공부하고 있는 sTricky 입니다. 오늘은 유튜브 영상을 보고 따라하며 민간아파트 분양가격 데이터를 분석 하는 실습을 해보겠습니다. 아마, 몇편으로 나뉠지는 모르겠지만, 한편으로 끝날것 같지는 않습니다. 우선 보고 따라는 실습 영상 올릴께요. 위 영상을 보고 진행을 해보겠습니다. 우선 데이터를 다운로드 받습니다. 데이터는 공공데이터포털에서 받습니다. 여긴 정말 유용한 데이터가 많이 있으니, 종종 들어가보시면 참고가 될만한 자료를 찾으실수 있을겁니다. https://www.data.go.kr/dataset/3035522/fileData.do 공공데이터포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방..