도쿄사는 외노자

https://tech.uzabase.com/entry/2024/02/02/120601

1. get_env .env파일에서 환경변수 취득 import os from dotenv import load_dotenv load_dotenv() def get_env(key, default_value=""): value = os.getenv(key, default_value) return value사용법 API_KEY=get_env("API_KEY")parallel_execute 지정한 함수를 병렬기동 from concurrent.futures import ThreadPoolExecutor def parallel_execute(function, args_list, max_workers=20): futures = [] with ThreadPoolExecutor( max_workers=max_worker..

개요 Glue Jobs에서 Tableau로 데이터 연계 방법을 검증 상세 AWS Glue Jobs에서 S3의 엑셀 파일을 불러와 Tableau의 데이터 타입인 Hyper로 바꿔서 Tableau에 Publish해 보았다. 위의 내용을 3개의 파트로 나누어 검증. S3의 엑셀 파일을 Pandas DataFrame으로 받아오기 PandasDF로 Hyper파일 만들기 Hyper파일을 Tableau Server에 보내기 외부 라이브러리 Import Glue Job에서는 외부 라이브러리를 사용할 경우 아래와 같이 설정해야 한다. 같은 Glue Job이라도 notebook과 script로 대응 방법이 갈리니 주의. AWS Glue와 함께 Python 라이브러리 사용 Notebook %additional_python_..

Requests&BeautifulSoup Requests Requests get() method import requestsresponse = requests.get("https://www.naver.com/")response.status_code200Response 출력 response.textResponse를 바이너리 데이터로 출력 response.contentResponse의 인코딩 확인 response.encoding'UTF-8'Response의 Header확인 response.headers{'Server': 'NWS', 'Content-Type': 'text/html; charset=UTF-8', 'Cache-Cont..

Pandas Pandas Dataframe 2차원의 데이터에 대응하는 데이터 구조 열&행으로 데이터 추출 가능 1행 or 1열의 정보는 series에 대응 Pandas read_html 지정한 URL상의 table태그를 가져옴 pd.read_html(url, 그외 임의의 인수) 인수 필수/임의 설명 URL 필수 읽기 대상의 URL header 임의 헤더에 지정하는 행 지정 index_col 임의 인덱스에 지정하는 열 지정 skiprows 임의 읽지 않는 행수 반환값 DataFrame 리스트 Yahoo Finance에서 일본주 랭킹 가져오기 import pandas as pd url = "https://info.finance.yahoo.co.jp/ranking/?kd=4" data = pd.read_htm..

Requests requests 라이브러리는 http통신에 유용하게 사용 가능. 여기서는 NHK에서 제공하는 CSV데이터를 다운로드 받는 용도로 사용해 보자. import requests import os NHK 일본 국내 코로나 감염자수 데이터 url = "https://www3.nhk.or.jp/n-data/opendata/coronavirus/nhk_news_covid19_domestic_daily_data.csv" 파일을 다운로드할 장소 dir = "./" 파일 다운로드 open함수 open(파일명, 모드 옵션, 문자 인코딩) 모드 ‘w’ : 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경우 덮어씀 ‘r’ : 읽기 모드 ‘x’ : 새로 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경..