본문 바로가기

Programming/Tip&Informaion

 (69)
[ECS] ECS 서비스와 EC2 인스터스 매핑 고정하기 ECS에서 한 cluster 내에 여러 서비스를 띄운 상황에서 ECS를 ec2로 설정 시, 스펙에 맞는 ec2들이 ECS 인스턴스에 등록되어 각 서비스에 생성될 때 매칭이 된다. 이 때, 유휴 ec2에서 사용 가능한 인스턴스에 랜덤으로 매칭이 일어나는데, 특정 ec2 로만 배포를 고정하고 싶었다. (ip를 고정으로 가져가고 싶거나 ec2 별로 내부 설정을 다르게 가져가는 등) 해결 1. ecs의 cluster에서 ecs intances 항목에 각 ec2 인스턴스에 attribute를 생성함 (name: my-instace-2) 2. ecs task definition 생성 시, Task Placement 에 사용할 ec2의 attributes를 지정함 → memberOf(attribute:name==my..
vim에서 한글 상태일 때 esc키 세팅 karabiner 를 사용하는데 vim에서 esc키를 누르면 normal 모드로 넘어가지 않는다. 검색하니 https://github.com/johngrib/simple_vim_guide/blob/master/md/with_korean.md 이런 글이 있어서 세팅을 했다. 그런데 esc키를 한 번 누르면 영어로 변경되고 한 번 더 눌러야 normal 모드로 넘어갔다. 그래서 약간의 수정을 해서 한 번만 눌러도 변경되게 설정했다. to_after_key_up 부분에 key_code를 추가했다. { "title": "Convert to en when ESC", "rules": [ { "description":"Convert to en when ESC", "manipulators": [ { "type": "b..
[Karabiner] 키보드 세팅 (남은 한자, 한글 키 사용) 맥에서 MS키보드 등을 사용하면 한자키, 한영키가 아무런 반응 없는 쓸 수 없는 키가 되는 경우가 있다. 그런데 위치는 스페이스 양 옆의 좋은 위치를 선점하고 있다. control, option, command 순서는 맥 자체 세팅에서 해결이 가능한데, 한자키/한영키는 아예 반응이 없어서 불가능하다. 그래서 Karabiner를 설치해서 해결했다. 1. Karabiner event viewer를 실행 후, 한자키/한영키를 눌러본다. -> 한자키는 japanese-eisuu, 한영키는 japanese-kata 라고 나온다. 이런 식으로 나오면 오른쪽에 Add "key" to Karabiner-Elements를 누른다. 2. 그 후 Karabiner-Elements에서 To key에 원하는 값으로 변경한다. ..
[Spark] 파티션 별로 다른 스키마를 가졌을 때 파일 읽어오기 과거 데이터에서 현재는 다른 컬럼이 추가된 상태에서 데이터를 한 번에 읽으려고 /* 데이터 경로가 source/dir/1/ 컬럼수 8개 source/dir/2/ 컬럼수 10개 라고 가정 */ spark.read.orc("source/dir/") 로 읽으려고 하니 8개만 읽어오는 문제가 발생했다. spark.read.option("mergeSchema", "true").orc("Dir/") 로 해서 전체 데이터를 읽어올 수 있었다.
자바스크립트로 s3 delete marker 노가다 줄이기 s3 상에서 의도치 않게 모든 데이터에 delete marker가 생기는 문제가 있었는데 일일이 하려니 너무 귀찮다. 사실 aws cli 를 사용하면 되는데 권한 등의 이유로 여의치 않아 일단은 수동으로 해야해서 조금이라도 노가다를 줄이고자 했다. 가장 큰 노가다는 한 폴더 내에 여러 파일이 있어서 다 체크하는 걸 줄이려고 f12 콘솔에서 for(var i = 10; i
[실수노트] AWS EMR clone 시 문제 (glue 설정) 사내에 AWS EMR을 만드는 스크립트가 있었는데, 중간에 기능 추가를 하려면 다 같이 쓰는 코드를 바꿔야 해서 clone을 하고 중간에 software 등을 추가했는데 clone한 곳에서는 glue 연동이 제대로 되지 않는 문제가 있었다. software 탭에 glue를 옵션으로 추가하는 경우가 있어서 이 부분을 사용하니 잘 됐다. 그런데 기존 데이터를 백필하는 경우에 glue가 기존 partition을 인식을 못 하는 지 기존에 존재하는 모든 partition을 삭제하고 해당한 partition만 만들어졌다. (기존의 파티션 내의 데이터는 delete marker 로 삭제된 상태) 그래서 스크립트 내에서 일단 추가하여 해결은 했는데, clone인데 왜 안 불러오는 설정이 있는 지 잘 이해가 되진 않는..
[IntelliJ] 실수로 파일 및 폴더 이동 방지 IntelliJ를 쓰다 보니 파일을 열려고 더블클릭을 하다보면 포인터가 약간 움직인 것을 드래그 앤 드랍으로 인식해서 이동이 되는 경우가 자꾸 발생했다. (IntelliJ 문제인 지, Macbook 문제인 지 모르겠다.) 보통은 옮기겠냐고 확인하는 다이어로그창이 뜨거나 하는데 그냥 옮겨버리니 나중에 발견해서 당황하는 경우가 생겼다. 어쨌든 검색해서 찾은 방지법은 환경설정-모양 및 동작-모양(appearance)-UI옵션-ALT만 누른 상태로 드래그 앤 드랍 을 체크하면 된다.
[실수노트] json에 대해서.. (number 타입) 예전에 json 파싱을 하다가 python의 경우 스트링 처리 시에 '과 " 구별 없이 사용이 가능해서 문제가 발생했던 적이 있다. (당연히 json은 "만 가능한데, 별 생각없이 python으로 string 변환을 해서..) 근데 오늘 또 문제가 발생했다. 내 코드는 redis에서 가져온 값을 json으로 변환하는 것이었는데 평소엔 잘 작동하다가 테스트를 위해 다른 값들을 포함시키니 문제가 발생했다. golang에선 json.Unmashal 함수를 사용해서 interface 형식의 데이터를 json으로 변환하는데 이 부분에서 문제가 발생했다. 에러 내용은 invalid character '1' after array element 변환하려는 값은 {"ids": [0123, 1234]} 형태였다. 아무리 ..

티스토리툴바