도쿄사는 외노자

Requests&BeautifulSoup Requests Requests get() method import requestsresponse = requests.get("https://www.naver.com/")response.status_code200Response 출력 response.textResponse를 바이너리 데이터로 출력 response.contentResponse의 인코딩 확인 response.encoding'UTF-8'Response의 Header확인 response.headers{'Server': 'NWS', 'Content-Type': 'text/html; charset=UTF-8', 'Cache-Cont..

Pandas Pandas Dataframe 2차원의 데이터에 대응하는 데이터 구조 열&행으로 데이터 추출 가능 1행 or 1열의 정보는 series에 대응 Pandas read_html 지정한 URL상의 table태그를 가져옴 pd.read_html(url, 그외 임의의 인수) 인수 필수/임의 설명 URL 필수 읽기 대상의 URL header 임의 헤더에 지정하는 행 지정 index_col 임의 인덱스에 지정하는 열 지정 skiprows 임의 읽지 않는 행수 반환값 DataFrame 리스트 Yahoo Finance에서 일본주 랭킹 가져오기 import pandas as pd url = "https://info.finance.yahoo.co.jp/ranking/?kd=4" data = pd.read_htm..

Requests requests 라이브러리는 http통신에 유용하게 사용 가능. 여기서는 NHK에서 제공하는 CSV데이터를 다운로드 받는 용도로 사용해 보자. import requests import os NHK 일본 국내 코로나 감염자수 데이터 url = "https://www3.nhk.or.jp/n-data/opendata/coronavirus/nhk_news_covid19_domestic_daily_data.csv" 파일을 다운로드할 장소 dir = "./" 파일 다운로드 open함수 open(파일명, 모드 옵션, 문자 인코딩) 모드 ‘w’ : 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경우 덮어씀 ‘r’ : 읽기 모드 ‘x’ : 새로 쓰기 모드 - 설정한 파일명의 파일이 이미 존재하는 경..

jupyter notebook 사용하기 Python 설치 맥북이면 Homebrew로 설치하면 되고, 윈도우면 홈페이지에서 다운로드할 것. 인스톨시에는 "Path에 추가"를 반드시 체크해주자. jupyter설치 이하 커맨드 사용 $ pip install --upgrade pip $ pip install jupyter MacOS의 경우는 pip 대신 pip3으로. 윈도우의 경우, 혹시 이하와 같은 에러가 나올 수 있다. ERROR: Could not install packages due to an OSError: [WinError 5] 액세스가 거부되었습니다: 'C:\\Users\\geniu\\AppData\\Local\\Programs\\Python\\Python310\\~cripts\\pip.exe' C..

nvm 개요 node.js의 버전을 쉽게 관리할 수 있게 해 주는 아주 기특한 녀석. 그동안 아무 생각 없이 그냥 써 왔는데, 간만에 컴퓨터 새로 세팅하려니 이름이고 뭐고 다 까먹어서... 다시 설치하는 김에 블로그에도 남겨두도록 한다. nvm-windows nvm을 windows에서도 사용할 수 있게 해 준다. 상세 정보는 여기에서. 설치 방법 다운로드 여기에서 대강 최신 버전의 nvm-setup.zip을 다운로드 받도록 하자. 설치 압축을 풀고, nvm-setup.exe을 관리자 실행. 설치 확인 이하를 통해 확인 가능 nvm -vnode.js 설치 설치 가능한 node.js 버전 확인 이하 명령어 실행 nvm list available대강 아래와 같이 사용 가능한 버전이 나온다. node.js 설치..

XPATH 확인하기 서론 Selenium에서는 id나 name등, 여러가지 방법을 통해 타겟 특정이 가능하다. 이러한 특정 방법 중 하나가 XPATH인데, 솔직히 그냥 써먹기엔 이게 최고인 것 같다. 대충 이런 식으로 써먹으면 되는데... driver.find_element(By.XPATH, "/html/body/div/header/nav/ul[2]/div/div/a").click()보기엔 뭔가 길어보이고 알아보기 힘들지만... 이것만큼 확실하게 타겟을 지정하는 방법은 없을 뿐더러, 사실 그냥 마우스 클릭만으로 얻을 수 있다. XPATH 취득 방법 (Chrome) XPATH를 알고 싶은 요소를 우클릭 우클릭 후, 검사 클릭. 이 글을 자동 클릭하여, 내용으로 화면이 이동하도록 하고 싶다. DevTools..

쿠키를 이용한 로그인 및 테스트 예시 문제 셀레니움을 이용하여, 화면 구동 테스트를 자동화하고 싶었다. 평소엔 자동 로그인을 이용해 URL만 쳐도 바로 페이지 이동이 되는데, 셀레니움으로 해당 페이지를 열고자 하면 매번 로그인에서 막히더라. 그래서 로그인 시 쿠키를 저장하여, 이 쿠키를 이용한 자동 로그인이 되도록 해 보았다. 구현 쿠키 확인 및 저장 기능 아래의 코드는 쿠키가 존재하는지를 확인 후, 쿠키가 없으면 로그인 화면을 띄워 수동 로그인을 하게 만든다. 수동 로그인 시 해당 로그인 정보를 쿠키로 저장, 이후의 시도에서는 자동으로 로그인이 되게 만든다. 다만 저장된 쿠키는 일정 시간이 지나면 무효화되므로, 로그인이 안되면 일단 쿠키 파일을 한번 지우고 다시 이 코드를 돌려서 쿠키를 만들어 줘야 한..

Selenium 환경 설정 Selenium 웹 브라우저 조작을 자동화하기 위한 프레임워크 환경구축 Python 인스톨 버전은 최신이면 됨 (난 3.10.0사용) MacOS의 경우 기본적으로 Python이 깔려 있으나, 되도록이면 Python3을 설치하는 것을 추천. brew install python3Selenium 인스톨 Windows pip install seleniumMac python3 -m pip install seleniumChrome Driver 인스톨 우선 자신의 크롬 버전을 확인 설정에서 아래와 같이 버전 확인 가능 내 경우엔 98.0.4758.102 니까 버전 98을 받으면 된다. pip install chromedriver-binary==98.*원래는 직접 여기서 크롬드라이버를 DL해..

일단 링크는 아래 참조. Ricty Diminished 뭐 이래저래 장점이 있지만, 일단 가장 중요한 것은... 일본어와 영어를 병기할 때, 전각&반각의 존재로 인해 줄 맞추기가 쉽지 않다. 근데 이 폰트는 전각 : 반각 = 2 : 1 로 비율을 딱 맞춰놓아서 코드의 오와 열이 잘 맞는다. 폰트 설치 방법은 아래와 같다. 위 링크에서 코드를 ZIP으로 다운로드한다. 다운받은 폰트의 압축을 풀고, 제어판 > 데스크탑의 커스터마이즈 > 폰트 이 위치에서 다운받은 폰트를 드래그&드롭하면 끝. 이걸로 일단 컴퓨터엔 적용완료. 다음은 VSCode에 폰트를 설정해 보자. VS Code에서 파일 > 유저 설정 > 설정 (Ctrl + ,) settings.json에서 아래와 같이 에디터의 폰트를 적용해 주고, 한번 껐..

대충 이런 형태로 SQL작성 SELECT id, memo, updated_by, to_char(updated_at, 'YYYY/MM/DD HH24MIss') AS updated_at FROM memo WHERE memo_category = 'normal' AND logical_delete_flag = false ORDER BY id DESC ; UI쪽에서 moment를 사용하여, UTC를 로컬 시간으로 변경 import moment from 'moment'; // ... const updatedTime = moment.utc(actionMemo.updatedAt, "YYYY/MM/DD HHmmss"); const adjustedUpdatedTime = updatedTime.local().format('Y..