본문 바로가기

DB엔지니어가 공부하는 python

(54)
구글 데이터 스튜디오 소개 및 mysql 연동 기본 사용방법 설명 구글 데이터 스튜디오 소개 및 mysql 연동 기본 사용방법 설명 안녕하세요. 오늘은 구글 데이터 스튜디오 기본사용방법에 관해서 알아보도록 하겠습니다. 구글 데이터 스튜디오가 뭔지 한번 알아봐야겠네요! Google 데이터 스튜디오 란? Google 데이터 스튜디오란, 여러 데이터들.. csv나 데이터베이스나, 엑셀, 스프레드시트, 구글 빅쿼리 등등.. 이러한 데이터 소스에서 데이터를 가지고와서 보고서나, 차트, 모니터링 등을 쉽게 만들고 관리 할 수 있게 해줍니다. 그리고 온라인으로 여러 팀원들이 보고서를 공유 할 수 있는게 장점 입니다. 좀 더 자세한 내용은 아래 링크에서 확인을 하실 수 있습니다. https://marketingplatform.google.com/intl/ko/about/data-st..
네이버카페 파이썬 크롤링 데이터 간단한 분석 및 워드클라우드 예제 네이버카페 파이썬 크롤링 데이터 간단한 분석 및 워드클라우드 예제 안녕하세요. 일전에 제가 자주 활동하는 한 카페의 자유게시판과 나눔게시판 데이터를 파이썬으로 크롤링하였습니다. 데이터를 모았으니, 이젠 분석을 해봐야겠죠? 분석이래봐야 뭐 대단한건 없습니다. 그냥 통계정도를 뽑아보고 게시글의 제목이나, 본문의 텍스트를 이용하여 워드클라우드 실습도 해보도록 하겠습니다. 참고로, 파이썬으로 네이버 카페 크롤링한 소스 및 자세한 내용은 아래 링크에서 확인 하실수 있습니다. 2021.06.15 - [DB엔지니어가 공부하는 python] - [파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 제목, 본문, 작성..
[파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 제목, 본문, 작성자, 글번호 웹 스크래핑 2021년 버전 안녕하세요. 한 2년여전에 네이버 카페 스크래핑을 할 일이 있어서 했었고, 이번에 다시 하는데, 안되더라구요. 역시.. 네이버..ㅎㅎ 많이 바꿨더군요. 그래서 아예 새롭게 개발을 했습니다. 다른 여러분들께도 조언도 구하고, 구글링도 해가면서 여차저차 완성을 하여 이렇게 공개를 합니다. 바로 시작 해보겠습니다. database 테이블 생성 우선, 저는 스크래핑한 데이터를 DB에 저장 할겁니다. mysql을 기반으로 사용했습니다. 저장 하기 위해선 테이블이 필요하겠죠. 테이블 생성 DDL은 다음과 같습니다. mysql이 있으시면 접속하셔서 생성 하시면 됩니다. create table clubrav4.jau_2021 ( s..
네이버 주식 일자별 매매동향 정보 파이썬 데이터 분석(2) 네이버 주식 일자별 매매동향 정보 파이썬 데이터 분석(2) 안녕하세요. 지난번 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1)편에 이어서 가지고온 데이터를 이용해서 데이터 분석을 하는 과정을 포스트 해보도록 하겠습니다. ##지난편 보러가기## 2020/09/22 - [DB엔지니어가 공부하는 python] - 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 안녕하세요. 요즘 다들 주식들 많이 하시나요? 저도 주식을 조금씩 공부 하고 있습니다. 주식에 대해서 잘 모르시는 분들이 stricky.tistory.com 위 내용을 아직..
파이썬 No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 에러 해결 konlpy를 이용하여 텍스트 분석 코딩을 하는도중 아래와 같은 에러를 만났습니다. 해결을 해야겠죠. PS D:\jscode\python_basic> & C:/Users/sas/AppData/Local/Programs/Python/Python38/python.exe d:/jscode/python_basic/sale_data_line.py Traceback (most recent call last): File "d:/jscode/python_basic/sale_data_line.py", line 11, in okt = Okt() File "C:\Users\sas\AppData\Local\Programs\Python\Python38\lib\site-packages\konlpy\tag\_okt.py", lin..
네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 안녕하세요. 요즘 다들 주식들 많이 하시나요? 저도 주식을 조금씩 공부 하고 있습니다. 주식에 대해서 잘 모르시는 분들이라도, 개미, 기관, 뭐 이런 말들을 많이 들어보셨을것 같아요. 개미는 이젠 개인 투자자를 말하고, 그 외에는 외국인, 기관등이 있겠죠. 개미투자자와 기관 및 외국인 투자자들의 투자성향, 매매동향을 살펴보기 위하여 이번 파이썬 포스팅을 기획 해보았습니다. 이번 포스트는 https://www.youtube.com/watch?v=xS81bSSDNHQ 이분의 유튜브를 보고 따라서 작성 해보았습니다. 더 자세한 설명은 위 링크에서 확인 할 수 있습니다. 파이썬 공부도 하고, 어떻게 하면 투자자별 매매동향을 쉽게 가지고 올 수..
파이썬 로또번호 추출기 shuffle, sample 사용예제 파이썬 로또번호 추출기 shuffle, sample 사용예제 안녕하세요. 파이썬을 이용해서 로또번호를 추출하는 코드를 작성해 보았습니다. 아주 간단한 코드지만, 저와 같은 파린이 들을 위하여 공부를 위한 기록 정도로 봐주시면 좋겠습니다. 이번 파이썬 로또번호 추출을 위한 코드에서 사용하는 대표적인 라이브러리와 함수는 random 라이브러리와 함께 shuffle과 sample 입니다. 사실 shuffle은 어떻게 보면 무의미한 과정입니다. 어차피 sample을 통해서 나오는 값 자체가 random하게 나오기 때문이죠. 그래도, 공부를 위한 과정이라 넣어본것이니 처음 접하시는 분들은 잘 따라서 해주시면 좋겠습니다. 파이썬 로또번호 추출 코드 파이썬에서는 아주간단한 코드로 random한 로또번호를 추출 해낼 ..
python 라이브러리 haversine 사용법 python 라이브러리 haversine 사용법 파이썬 라이브러리 중에 위경도 값 데이터를 이용해서 두 지점 간 거리를 구할 때 유용하게 쓸 수 있는 패키지가 있습니다. 바로 하버사인 (haversine) 패키지입니다. #하버 사인 (haversine) 필요성 어떤 평면에서 두 점 사이의 거리를 구하는 방법은 아래와 같이 피타고라스 정리를 사용하면 됩니다. 아주 간단하게 두 지점 사이의 직선거리를 구할 수 있겠죠? 하지만 다들 아시다시피 지구는 둥급니다. 이렇게 둥근 지구에서 직선거리를 평면에서 거리를 구하듯이 구하면 안 되겠죠? 두 지점 사이에는 호가 생기기 때문입니다. 최단거리가 직선이 아닌 곡선이 되는 것 이죠. 이때 거리를 구하는 방법이 바로 하버 사인(Haversine) 공식이 되겠습니다. #하..