본문 바로가기

DB엔지니어가 공부하는 python

(56)
파이썬을 이용하여 postgresql DB에 접속하여 SQL 실행 결과를 변수에 저장 하여 활용하기 (1) 파이썬을 이용하여 postgresql DB에 접속하여 SQL 실행 결과를 변수에 저장 하여 활용하기 (1) 안녕하세요. 우선 파이썬에서 postgresql DB에 접속하기 위한 라이브러리가 있어야겠죠. 바로 psycopg2를 활용 할 수 있습니다. 그리고나서 적당한 변수를 선언하고, DB 접속정보를 넣어주면 바로 SQL을 실행 할 수 있겠죠. 테이블 목록을 가지고 오는 쿼리를 한번 예로 코드를 작성 해보도록 하겠습니다. import psycopg2 # PostgreSQL 데이터베이스 연결하기 conn = psycopg2.connect( host="아이피", database="데이터베이스", user="유저명", password="비밀번호" ) # 커서 생성 cur = conn.cursor() # SQL ..
파이썬으로 postgresql table ddl 추출 하는 프로그램 만들기 파이썬으로 postgresql table ddl 추출 하는 프로그램 만들기 안녕하세요. 파이썬을 이용해서 postgresql에 존재하는 테이블에 대한 DDL을 추출해내는 프로그램을 생성 해보았습니다. 필요하신 분들이 잘 사용 하실수 있도록 공유해 드리도록 하겠습니다. 감사합니다. import subprocess def extract_table_ddl(table_name): command = f"pg_dump -st public.{table_name} --schema-only dbname= " \ f"-U -h -p " process = subprocess.Popen(command, stdout=subprocess.PIPE, shell=True) (output, err) = process.communica..
구글 데이터 스튜디오 소개 및 mysql 연동 기본 사용방법 설명 구글 데이터 스튜디오 소개 및 mysql 연동 기본 사용방법 설명 안녕하세요. 오늘은 구글 데이터 스튜디오 기본사용방법에 관해서 알아보도록 하겠습니다. 구글 데이터 스튜디오가 뭔지 한번 알아봐야겠네요! Google 데이터 스튜디오 란? Google 데이터 스튜디오란, 여러 데이터들.. csv나 데이터베이스나, 엑셀, 스프레드시트, 구글 빅쿼리 등등.. 이러한 데이터 소스에서 데이터를 가지고와서 보고서나, 차트, 모니터링 등을 쉽게 만들고 관리 할 수 있게 해줍니다. 그리고 온라인으로 여러 팀원들이 보고서를 공유 할 수 있는게 장점 입니다. 좀 더 자세한 내용은 아래 링크에서 확인을 하실 수 있습니다. https://marketingplatform.google.com/intl/ko/about/data-st..
네이버카페 파이썬 크롤링 데이터 간단한 분석 및 워드클라우드 예제 네이버카페 파이썬 크롤링 데이터 간단한 분석 및 워드클라우드 예제 안녕하세요. 일전에 제가 자주 활동하는 한 카페의 자유게시판과 나눔게시판 데이터를 파이썬으로 크롤링하였습니다. 데이터를 모았으니, 이젠 분석을 해봐야겠죠? 분석이래봐야 뭐 대단한건 없습니다. 그냥 통계정도를 뽑아보고 게시글의 제목이나, 본문의 텍스트를 이용하여 워드클라우드 실습도 해보도록 하겠습니다. 참고로, 파이썬으로 네이버 카페 크롤링한 소스 및 자세한 내용은 아래 링크에서 확인 하실수 있습니다. 2021.06.15 - [DB엔지니어가 공부하는 python] - [파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 제목, 본문, 작성..
[파이썬]네이버 카페 게시판 크롤링 웹 스크래핑 2021년 버전 [파이썬]네이버 카페 게시판 제목, 본문, 작성자, 글번호 웹 스크래핑 2021년 버전 안녕하세요. 한 2년여전에 네이버 카페 스크래핑을 할 일이 있어서 했었고, 이번에 다시 하는데, 안되더라구요. 역시.. 네이버..ㅎㅎ 많이 바꿨더군요. 그래서 아예 새롭게 개발을 했습니다. 다른 여러분들께도 조언도 구하고, 구글링도 해가면서 여차저차 완성을 하여 이렇게 공개를 합니다. 바로 시작 해보겠습니다. database 테이블 생성 우선, 저는 스크래핑한 데이터를 DB에 저장 할겁니다. mysql을 기반으로 사용했습니다. 저장 하기 위해선 테이블이 필요하겠죠. 테이블 생성 DDL은 다음과 같습니다. mysql이 있으시면 접속하셔서 생성 하시면 됩니다. create table clubrav4.jau_2021 ( s..
네이버 주식 일자별 매매동향 정보 파이썬 데이터 분석(2) 네이버 주식 일자별 매매동향 정보 파이썬 데이터 분석(2) 안녕하세요. 지난번 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1)편에 이어서 가지고온 데이터를 이용해서 데이터 분석을 하는 과정을 포스트 해보도록 하겠습니다. ##지난편 보러가기## 2020/09/22 - [DB엔지니어가 공부하는 python] - 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 안녕하세요. 요즘 다들 주식들 많이 하시나요? 저도 주식을 조금씩 공부 하고 있습니다. 주식에 대해서 잘 모르시는 분들이 stricky.tistory.com 위 내용을 아직..
파이썬 No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 에러 해결 konlpy를 이용하여 텍스트 분석 코딩을 하는도중 아래와 같은 에러를 만났습니다. 해결을 해야겠죠. PS D:\jscode\python_basic> & C:/Users/sas/AppData/Local/Programs/Python/Python38/python.exe d:/jscode/python_basic/sale_data_line.py Traceback (most recent call last): File "d:/jscode/python_basic/sale_data_line.py", line 11, in okt = Okt() File "C:\Users\sas\AppData\Local\Programs\Python\Python38\lib\site-packages\konlpy\tag\_okt.py", lin..
네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 네이버 주식 일자별 매매동향 정보 파이썬으로 한번에 가지고 오기(1) 안녕하세요. 요즘 다들 주식들 많이 하시나요? 저도 주식을 조금씩 공부 하고 있습니다. 주식에 대해서 잘 모르시는 분들이라도, 개미, 기관, 뭐 이런 말들을 많이 들어보셨을것 같아요. 개미는 이젠 개인 투자자를 말하고, 그 외에는 외국인, 기관등이 있겠죠. 개미투자자와 기관 및 외국인 투자자들의 투자성향, 매매동향을 살펴보기 위하여 이번 파이썬 포스팅을 기획 해보았습니다. 이번 포스트는 https://www.youtube.com/watch?v=xS81bSSDNHQ 이분의 유튜브를 보고 따라서 작성 해보았습니다. 더 자세한 설명은 위 링크에서 확인 할 수 있습니다. 파이썬 공부도 하고, 어떻게 하면 투자자별 매매동향을 쉽게 가지고 올 수..