도쿄사는 외노자

개요파이썬 패키지 관리 툴 poetry의 사용 방법 메모상세poetry란https://python-poetry.org/docs/파이썬 패키지 관리 툴.기존 파이썬으로 뭔가를 만들 때엔, pyenv-virtualenv 나 pipenv shell 등을 사용해서 가상환경을 구축하고 pip 커맨드로 패키지를 인스톨 및 requirements.txt를 이용해 패키지를 관리해 왔다.poetry는 가상환경의 구축이나 패키지 관리 파일의 생성/변경 등, 개발에 필요한 각종 기능을 다 갖추고 있어, poetry 커맨드만으로 이것저것 다 해결할 수 있다.설치https://python-poetry.org/docs/#installation맥의 경우는 아래로도 해결 가능brew install poetrypoetry --vers..

https://tech.uzabase.com/entry/2024/02/02/120601

concurrent.futureshttps://docs.python.org/3/library/concurrent.futures.htmlThreadPoolExecutor지정한 함수를 병렬기동from concurrent.futures import ThreadPoolExecutordef parallel_execute(function, args_list, max_workers=20): futures = [] with ThreadPoolExecutor( max_workers=max_workers, thread_name_prefix="thread" ) as pool: for args in args_list: future = pool.submit(funct..

단일 기사 취득 from newspaper import Article url = "https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=101" article = Article(url, memorize_article = False) article.download() article.parse() article.publish_date article.text.replace("\n", "") '최근 합리적 이유 없이 나이를 기준으로 임금을 깎는 임금피크제는 무효라는 대법원의 확정 판결이 나오면서 임금피크제를 적용한 기업의 불안감도 커지고 있다. …이데일리'복수 기사 취득 하나의 사이트 import newspaper url = "https://..

BeautifulSoup 복수의 뉴스 정보를 취득 import requests from bs4 import BeautifulSoup import time url = "https://www.yahoo.co.jp/" res = requests.get(url) soup = BeautifulSoup(res.text, "html.parser") find_all로 a태그 가져오기 elems = soup.find_all("a") re를 사용한 필터링 URL에 https://news.yahoo.co.jp/pickup 이 포함된 태그만 추출 import re elems = soup.find_all(href=re.compile("news.yahoo.co.jp/pickup")) elems [円安進行を憂慮 政府・日銀が声明, ..

Requests&BeautifulSoup Requests Requests get() method import requestsresponse = requests.get("https://www.naver.com/")response.status_code200Response 출력 response.textResponse를 바이너리 데이터로 출력 response.contentResponse의 인코딩 확인 response.encoding'UTF-8'Response의 Header확인 response.headers{'Server': 'NWS', 'Content-Type': 'text/html; charset=UTF-8', 'Cache-Cont..

Pandas Pandas Dataframe 2차원의 데이터에 대응하는 데이터 구조 열&행으로 데이터 추출 가능 1행 or 1열의 정보는 series에 대응 Pandas read_html 지정한 URL상의 table태그를 가져옴 pd.read_html(url, 그외 임의의 인수) 인수 필수/임의 설명 URL 필수 읽기 대상의 URL header 임의 헤더에 지정하는 행 지정 index_col 임의 인덱스에 지정하는 열 지정 skiprows 임의 읽지 않는 행수 반환값 DataFrame 리스트 Yahoo Finance에서 일본주 랭킹 가져오기 import pandas as pd url = "https://info.finance.yahoo.co.jp/ranking/?kd=4" data = pd.read_htm..

Requests requests 라이브러리는 http통신에 유용하게 사용 가능. 여기서는 NHK에서 제공하는 CSV데이터를 다운로드 받는 용도로 사용해 보자. import requests import os NHK 일본 국내 코로나 감염자수 데이터 url = "https://www3.nhk.or.jp/n-data/opendata/coronavirus/nhk_news_covid19_domestic_daily_data.csv" 파일을 다운로드할 장소 dir = "./" 파일 다운로드 open함수 open(파일명, 모드 옵션, 문자 인코딩) 모드 ‘w’ : 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경우 덮어씀 ‘r’ : 읽기 모드 ‘x’ : 새로 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경..