[실수노트] AWS EMR clone 시 문제 (glue 설정)

사내에 AWS EMR을 만드는 스크립트가 있었는데, 중간에 기능 추가를 하려면 다 같이 쓰는 코드를 바꿔야 해서 clone을 하고 중간에 software 등을 추가했는데 clone한 곳에서는 glue 연동이 제대로 되지 않는 문제가 있었다.

software 탭에 glue를 옵션으로 추가하는 경우가 있어서 이 부분을 사용하니 잘 됐다.

 

그런데 기존 데이터를 백필하는 경우에 glue가 기존 partition을 인식을 못 하는 지 기존에 존재하는 모든 partition을 삭제하고 해당한 partition만 만들어졌다. (기존의 파티션 내의 데이터는 delete marker 로 삭제된 상태)

 

그래서 스크립트 내에서 일단 추가하여 해결은 했는데, clone인데 왜 안 불러오는 설정이 있는 지 잘 이해가 되진 않는데 추측으론, aws에서 제공하는 방식이 아닌 다른 방식이라 뭔가 누락되는가 보다.