본문 바로가기

데이터

(9)
python으로 excel 데이터 탭 별로 mysql DB로 이관 하기 (data migration) python으로 excel 데이터 탭 별로 mysql DB로 이관 하기 (data migration) 오늘은 python을 이용하여 아주 간단하게 excel에 있는 데이터들을 DB로 이관 하는 방법에 대해서 확인 해보도록 하겠습니다. 우선, excel 파일을 하나 준비를 하고, mysql DB에 테이블을 생성 하는것부터 파이썬 코딩 까지 해보도록 하겠습니다. 따라오시죠! 엑셀 데이터 파일 준비 우선 nation.xlsx 라는 이름으로 엑셀 파일을 준비를 합니다. 그리고 텝을 두개를 만들겁니다. 다음과 같이 준비 해보시면 됩니다. 이렇게 엑셀 데이터 준비 하시고, 다음은 테이블을 생성 하겠습니다. mysql DB 테이블 준비 위 두개의 탭, 국가와 도시 데이터를 넣을 테이블을 mysql DB에 생성 해줍니..
구글 빅쿼리(BigQuery) CSV 데이터 import 하는 방법 구글 빅쿼리(BigQuery) CSV 데이터 import 하는 방법 안녕하세요. 구글 빅쿼리(BigQuery) 에 생성된 테이블의 데이터를 채워보도록 할께요. 지난번에 구글 빅쿼리 계정 생성하고, 데이터를 넣을 테이블을 생성 했습니다. 이번엔 거기에 데이터를 넣도록 할께요. 2021.07.27 - [Data Science] - 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 구글 빅쿼리(BigQuery) 시작하기 및 datagrip 연동 안내 안녕하세요. 구글 빅쿼리(BigQuery)를 첨으로 사용하시는 분들께 구글 빅쿼리 사용법에 대해서 간단하게 안내를 드립니다. 우선 구글 빅쿼리(BigQu stricky.tis..
[python 데이터 분석 실습] 코로나 19 2021 현재 시점 데이터 동적 시각화 분석하기 2편 [python 데이터 분석 실습] 코로나 19 2021 현재 시점 데이터 동적 시각화 분석하기 2편 파이썬 데이터 분석 코로나19 데이터 분석 실습 두번째 시간 입니다. 1편을 올리고 시간이 좀 늦었습니다. 이번편에서는 남은 전처리를 좀 하고, 시각화 하는것을 실습 하겠습니다. 바로 그럼 시작 하도록 하겠습니다. 2021.03.29 - [Data Science] - [python 데이터 분석 실습] 코로나 19 2021 현재 시점 분석하기 1편 [python 데이터 분석 실습] 코로나 19 2021 현재 시점 분석하기 1편 코로나 19 2021 현재 시점 python으로 데이터 분석하기 안녕하세요. 파이썬 데이터 분석 실습 쉽게 따라해보기~ 이번 시간은 코로나 19의 2021년 현재 상황 분석 하기 입니..
검색 키워드 데이터 정보 간편하게 조회하고 저장하자! 검색 키워드 데이터 정보 간편하게 조회하고 저장하자! 검색어를 찾고 계신가요? 검색 키워드 데이터가 필요하십니까? 아래와 같이 네이버의 검색 결과 정보를 쉽게 찾아볼 수 있습니다. 검색 키워드 정보 알아보기 네이버 광고 사이트로 방문을 합니다. 네이버에 검색하시면 쉽게 찾으실수가 있습니다. 위 사이트에 접속을 하신뒤에 아래와 같이 메뉴를 클릭 하시고 들어가보십시요. 자, 그럼 아래와 같은 화면이 나오는것을 볼 수 있습니다. 여기에서 도구 -> 키워드 도구 로 클릭하여 이동을 합니다. 여기서 키워드를 하나 입력을 해보겠습니다. 저는 SQL 이라는 키워드를 입력을 했습니다. 입력 후에 버튼을 클릭 해주시면 됩니다. 여기에서 아래 나와있는 연관 키워드중 가장 상단에 있는 SQL을 클릭 해 볼께요. 그러면 아래..
데이터 품질 진단, 데이터 품질이라는게 무엇인가? (#DQ.01) 데이터 품질 진단, 데이터 품질이라는게 무엇인가? (#DQ.01) 데이터 품질이란? 요즘과 같이 데이터가 넘쳐나는 세상에서 데이터의 품질은 매우 중요한 부분이다. 그렇다면, 데이터 품질은 어떤 개념을 이야기 하는것 일까? DB에는 데이터가 있다. 누군가는 그 데이터를 이용해서 서비스를 받거나, 제공하고 있다. 서비스를 제공하는 사람은 데이터를 입력 또는 가공 하는 행위를 하며, 서비스를 받는 사람은 데이터 값을 이용해서 유의미한 정보를 제공 받는 쪽에 있다. 여기에서 그 데이터의 품질, 즉 퀄리티는 당연히 좋아야 한다. 데이터 품질이 곧 서비스의 성패를 가르게 되는것이다. 그럼 데이터 품질에 대해서 간단한 예를 들어보자. 위와 같은 사원목록 테이블이 있다. 회사의 사정을 잘 모르는 이가 봤을때도 문제가 ..
[python] 파이썬 데이터분석, 민간아파트 분양가격 동향 v.2019 #1 안녕하세요. 파이썬으로 데이터 분석 공부하고 있는 sTricky 입니다. 오늘은 유튜브 영상을 보고 따라하며 민간아파트 분양가격 데이터를 분석 하는 실습을 해보겠습니다. 아마, 몇편으로 나뉠지는 모르겠지만, 한편으로 끝날것 같지는 않습니다. 우선 보고 따라는 실습 영상 올릴께요. 위 영상을 보고 진행을 해보겠습니다. 우선 데이터를 다운로드 받습니다. 데이터는 공공데이터포털에서 받습니다. 여긴 정말 유용한 데이터가 많이 있으니, 종종 들어가보시면 참고가 될만한 자료를 찾으실수 있을겁니다. https://www.data.go.kr/dataset/3035522/fileData.do 공공데이터포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방..
[python 데이터분석] 캐글 타이타닉 따라해보기 #2 # 캐글 타이타닉 따라해보기 2탄 입니다. 아마 타이타닉 따라하기는 마지막 편이 될 것 같습니다. 전편 보기 : 2019/12/26 - [DB엔지니어가 공부하는 python] - [python] 캐글 타이타닉 따라해보기 #1 [python] 캐글 타이타닉 따라해보기 #1 오늘 부터는 캐글에서 진행했던 데이터 분석 대회중 하나인 타이타닉을 따라해볼꺼다. 아직 난 파린이닌깐... # 대회 링크는 : https://www.kaggle.com/c/2019-1st-ml-month-with-kakr/data 위 링크에 들어가서 데.. stricky.tistory.com 전편에도 제가 언급했지만, 캐글 타이타닉 따라해보기는 아래 참조 블로그가 있습니다. 참조 블로그 : https://cyc1am3n.github.io..
[python 데이터분석] 캐글 타이타닉 따라해보기 #1 오늘부터는 캐글에서 진행했던 데이터 분석 대회 중 하나인 타이타닉을 따라 해 볼 거다. 아직 난 파린이닌깐... # 대회 링크는 : https://www.kaggle.com/c/2019-1st-ml-month-with-kakr/data 위 링크에 들어가서 데이터 셋도 한번 살펴보고.. 대회 요강 등도 한번 살펴보자.. 그리고 나는, 괜찮은 튜토리얼 블로그를 하나 보고 따라 할 생각이다. 그래서 찾은 블로그는... https://cyc1am3n.github.io/2018/10/09/my-first-kaggle-competition_titanic.html 캐글 타이타닉 생존자 예측 도전기 (1) 이번에는 캐글의 입문자를 위한 튜토리얼 문제라고 할 수 있는 Titanic: Machine Learning fro..