도쿄사는 외노자

개요 Glue Jobs에서 Tableau로 데이터 연계 방법을 검증 상세 AWS Glue Jobs에서 S3의 엑셀 파일을 불러와 Tableau의 데이터 타입인 Hyper로 바꿔서 Tableau에 Publish해 보았다. 위의 내용을 3개의 파트로 나누어 검증. S3의 엑셀 파일을 Pandas DataFrame으로 받아오기 PandasDF로 Hyper파일 만들기 Hyper파일을 Tableau Server에 보내기 외부 라이브러리 Import Glue Job에서는 외부 라이브러리를 사용할 경우 아래와 같이 설정해야 한다. 같은 Glue Job이라도 notebook과 script로 대응 방법이 갈리니 주의. AWS Glue와 함께 Python 라이브러리 사용 Notebook %additional_python_..

현재 아래의 동작을 검증 중이다. KMS 커스토머 관리 키 생성 및 Glue Data Catalog 암호화 KMS키로 암호화한 S3 Bucket에 원본 데이터 투입 Glue Jobs로 데이터 조작 및 클렌징 결과물을 암호화한 다른 Bucket에 격납 Glue Crawler로 결과물 긁어와서 Glue Data Catalog에 투입 Data Catalog에 생성된 테이블의 데이터를 Athena로 확인 데이터가 정상적으로 확인되면 Redshift 경유로 Tableau에 연결 JSON형식의 뉴스 기사를 CSV로 출력하여 크롤러로 긁어서 6까지 왔는데... 아테나가 뉴스 본문의 줄바꿈에 대응을 해주지 않고, 그냥 데이터 한줄씩 땡겨버리드라. 이게 아테나만 그런거면 그냥 무시해도 되는데, 7도 마찬가지다. 아무래도..