도쿄사는 외노자

현재 아래의 동작을 검증 중이다. KMS 커스토머 관리 키 생성 및 Glue Data Catalog 암호화 KMS키로 암호화한 S3 Bucket에 원본 데이터 투입 Glue Jobs로 데이터 조작 및 클렌징 결과물을 암호화한 다른 Bucket에 격납 Glue Crawler로 결과물 긁어와서 Glue Data Catalog에 투입 Data Catalog에 생성된 테이블의 데이터를 Athena로 확인 데이터가 정상적으로 확인되면 Redshift 경유로 Tableau에 연결 JSON형식의 뉴스 기사를 CSV로 출력하여 크롤러로 긁어서 6까지 왔는데... 아테나가 뉴스 본문의 줄바꿈에 대응을 해주지 않고, 그냥 데이터 한줄씩 땡겨버리드라. 이게 아테나만 그런거면 그냥 무시해도 되는데, 7도 마찬가지다. 아무래도..

Pandas Pandas Dataframe 2차원의 데이터에 대응하는 데이터 구조 열&행으로 데이터 추출 가능 1행 or 1열의 정보는 series에 대응 Pandas read_html 지정한 URL상의 table태그를 가져옴 pd.read_html(url, 그외 임의의 인수) 인수 필수/임의 설명 URL 필수 읽기 대상의 URL header 임의 헤더에 지정하는 행 지정 index_col 임의 인덱스에 지정하는 열 지정 skiprows 임의 읽지 않는 행수 반환값 DataFrame 리스트 Yahoo Finance에서 일본주 랭킹 가져오기 import pandas as pd url = "https://info.finance.yahoo.co.jp/ranking/?kd=4" data = pd.read_htm..

UTF-8로 인코딩된 CSV파일을 그냥 더블클릭으로 열면 당연히 문자가 다 깨짐. Excel에서는 일본어를 Shift-JIS（シフトJIS）로 읽기 때문. Import기능을 이용할 것. 데이터 탭 ⇒텍스트 또는 CSV ⇒파일 선택 ⇒「기존 파일」에서 인코딩을 「932:日本語（シフトJIS）」에서 「65001:Unicode（UTF-8）」로 변경 ⇒불러오기 현재 한국어 버전 엑셀이 없으므로, 일본어 엑셀의 메뉴명도 기록해 둔다. 「データタブ」 ⇒「テキストまたはCSVから」 ⇒ファイル選択 ⇒「元のファイル」にエンコードを「932:日本語（シフトJIS）」から「65001:Unicode（UTF-8）」に変更 ⇒読み込み