목록athena (1)

도쿄사는 외노자

Athena, Redshift에서의 CSV 줄바꿈 미대응 문제

현재 아래의 동작을 검증 중이다. KMS 커스토머 관리 키 생성 및 Glue Data Catalog 암호화 KMS키로 암호화한 S3 Bucket에 원본 데이터 투입 Glue Jobs로 데이터 조작 및 클렌징 결과물을 암호화한 다른 Bucket에 격납 Glue Crawler로 결과물 긁어와서 Glue Data Catalog에 투입 Data Catalog에 생성된 테이블의 데이터를 Athena로 확인 데이터가 정상적으로 확인되면 Redshift 경유로 Tableau에 연결 JSON형식의 뉴스 기사를 CSV로 출력하여 크롤러로 긁어서 6까지 왔는데... 아테나가 뉴스 본문의 줄바꿈에 대응을 해주지 않고, 그냥 데이터 한줄씩 땡겨버리드라. 이게 아테나만 그런거면 그냥 무시해도 되는데, 7도 마찬가지다. 아무래도..
Tech/AWS for Data Engineering 2022. 10. 20. 18:24
이전 Prev 1 Next 다음