도쿄사는 외노자

https://tech.uzabase.com/entry/2024/02/02/120601

1. get_env .env파일에서 환경변수 취득 import os from dotenv import load_dotenv load_dotenv() def get_env(key, default_value=""): value = os.getenv(key, default_value) return value사용법 API_KEY=get_env("API_KEY")parallel_execute 지정한 함수를 병렬기동 from concurrent.futures import ThreadPoolExecutor def parallel_execute(function, args_list, max_workers=20): futures = [] with ThreadPoolExecutor( max_workers=max_worker..

단일 기사 취득 from newspaper import Article url = "https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=101" article = Article(url, memorize_article = False) article.download() article.parse() article.publish_date article.text.replace("\n", "") '최근 합리적 이유 없이 나이를 기준으로 임금을 깎는 임금피크제는 무효라는 대법원의 확정 판결이 나오면서 임금피크제를 적용한 기업의 불안감도 커지고 있다. …이데일리'복수 기사 취득 하나의 사이트 import newspaper url = "https://..

BeautifulSoup 복수의 뉴스 정보를 취득 import requests from bs4 import BeautifulSoup import time url = "https://www.yahoo.co.jp/" res = requests.get(url) soup = BeautifulSoup(res.text, "html.parser") find_all로 a태그 가져오기 elems = soup.find_all("a") re를 사용한 필터링 URL에 https://news.yahoo.co.jp/pickup 이 포함된 태그만 추출 import re elems = soup.find_all(href=re.compile("news.yahoo.co.jp/pickup")) elems [円安進行を憂慮 政府・日銀が声明, ..

Requests&BeautifulSoup Requests Requests get() method import requestsresponse = requests.get("https://www.naver.com/")response.status_code200Response 출력 response.textResponse를 바이너리 데이터로 출력 response.contentResponse의 인코딩 확인 response.encoding'UTF-8'Response의 Header확인 response.headers{'Server': 'NWS', 'Content-Type': 'text/html; charset=UTF-8', 'Cache-Cont..

Pandas Pandas Dataframe 2차원의 데이터에 대응하는 데이터 구조 열&행으로 데이터 추출 가능 1행 or 1열의 정보는 series에 대응 Pandas read_html 지정한 URL상의 table태그를 가져옴 pd.read_html(url, 그외 임의의 인수) 인수 필수/임의 설명 URL 필수 읽기 대상의 URL header 임의 헤더에 지정하는 행 지정 index_col 임의 인덱스에 지정하는 열 지정 skiprows 임의 읽지 않는 행수 반환값 DataFrame 리스트 Yahoo Finance에서 일본주 랭킹 가져오기 import pandas as pd url = "https://info.finance.yahoo.co.jp/ranking/?kd=4" data = pd.read_htm..

Requests requests 라이브러리는 http통신에 유용하게 사용 가능. 여기서는 NHK에서 제공하는 CSV데이터를 다운로드 받는 용도로 사용해 보자. import requests import os NHK 일본 국내 코로나 감염자수 데이터 url = "https://www3.nhk.or.jp/n-data/opendata/coronavirus/nhk_news_covid19_domestic_daily_data.csv" 파일을 다운로드할 장소 dir = "./" 파일 다운로드 open함수 open(파일명, 모드 옵션, 문자 인코딩) 모드 ‘w’ : 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경우 덮어씀 ‘r’ : 읽기 모드 ‘x’ : 새로 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경..