본문 바로가기

Programming

 (78)
[postgresql/docker] postmaster.pid: No space left on device 에러 airflow 가 중간에 종료된 후, 재기동이 되지 않아 찾아보니 postgresql이 실행되지 않아 worker 등이 제대로 실행되지 않았다. 로그를 확인하니 FATAL: could not write lock file "postmaster.pid": No space left on device 나왔다. docker 관련 용량 문제로 추정돼서 docker volume prune 을 했으나 여전히 안 됨 docker system prune -a 해서 성공했다. -------- 임시 방편일 뿐 해결되지 않아서 https://aws.amazon.com/ko/premiumsupport/knowledge-center/ebs-volume-size-increase/ Amazon EBS에서 ‘No space left o..
[ECS] ECS 서비스와 EC2 인스터스 매핑 고정하기 ECS에서 한 cluster 내에 여러 서비스를 띄운 상황에서 ECS를 ec2로 설정 시, 스펙에 맞는 ec2들이 ECS 인스턴스에 등록되어 각 서비스에 생성될 때 매칭이 된다. 이 때, 유휴 ec2에서 사용 가능한 인스턴스에 랜덤으로 매칭이 일어나는데, 특정 ec2 로만 배포를 고정하고 싶었다. (ip를 고정으로 가져가고 싶거나 ec2 별로 내부 설정을 다르게 가져가는 등) 해결 1. ecs의 cluster에서 ecs intances 항목에 각 ec2 인스턴스에 attribute를 생성함 (name: my-instace-2) 2. ecs task definition 생성 시, Task Placement 에 사용할 ec2의 attributes를 지정함 → memberOf(attribute:name==my..
vim에서 한글 상태일 때 esc키 세팅 karabiner 를 사용하는데 vim에서 esc키를 누르면 normal 모드로 넘어가지 않는다. 검색하니 https://github.com/johngrib/simple_vim_guide/blob/master/md/with_korean.md 이런 글이 있어서 세팅을 했다. 그런데 esc키를 한 번 누르면 영어로 변경되고 한 번 더 눌러야 normal 모드로 넘어갔다. 그래서 약간의 수정을 해서 한 번만 눌러도 변경되게 설정했다. to_after_key_up 부분에 key_code를 추가했다. { "title": "Convert to en when ESC", "rules": [ { "description":"Convert to en when ESC", "manipulators": [ { "type": "b..
[Karabiner] 키보드 세팅 (남은 한자, 한글 키 사용) 맥에서 MS키보드 등을 사용하면 한자키, 한영키가 아무런 반응 없는 쓸 수 없는 키가 되는 경우가 있다. 그런데 위치는 스페이스 양 옆의 좋은 위치를 선점하고 있다. control, option, command 순서는 맥 자체 세팅에서 해결이 가능한데, 한자키/한영키는 아예 반응이 없어서 불가능하다. 그래서 Karabiner를 설치해서 해결했다. 1. Karabiner event viewer를 실행 후, 한자키/한영키를 눌러본다. -> 한자키는 japanese-eisuu, 한영키는 japanese-kata 라고 나온다. 이런 식으로 나오면 오른쪽에 Add "key" to Karabiner-Elements를 누른다. 2. 그 후 Karabiner-Elements에서 To key에 원하는 값으로 변경한다. ..
[Spark] 파티션 별로 다른 스키마를 가졌을 때 파일 읽어오기 과거 데이터에서 현재는 다른 컬럼이 추가된 상태에서 데이터를 한 번에 읽으려고 /* 데이터 경로가 source/dir/1/ 컬럼수 8개 source/dir/2/ 컬럼수 10개 라고 가정 */ spark.read.orc("source/dir/") 로 읽으려고 하니 8개만 읽어오는 문제가 발생했다. spark.read.option("mergeSchema", "true").orc("Dir/") 로 해서 전체 데이터를 읽어올 수 있었다.
자바스크립트로 s3 delete marker 노가다 줄이기 s3 상에서 의도치 않게 모든 데이터에 delete marker가 생기는 문제가 있었는데 일일이 하려니 너무 귀찮다. 사실 aws cli 를 사용하면 되는데 권한 등의 이유로 여의치 않아 일단은 수동으로 해야해서 조금이라도 노가다를 줄이고자 했다. 가장 큰 노가다는 한 폴더 내에 여러 파일이 있어서 다 체크하는 걸 줄이려고 f12 콘솔에서 for(var i = 10; i
[실수노트] AWS EMR clone 시 문제 (glue 설정) 사내에 AWS EMR을 만드는 스크립트가 있었는데, 중간에 기능 추가를 하려면 다 같이 쓰는 코드를 바꿔야 해서 clone을 하고 중간에 software 등을 추가했는데 clone한 곳에서는 glue 연동이 제대로 되지 않는 문제가 있었다. software 탭에 glue를 옵션으로 추가하는 경우가 있어서 이 부분을 사용하니 잘 됐다. 그런데 기존 데이터를 백필하는 경우에 glue가 기존 partition을 인식을 못 하는 지 기존에 존재하는 모든 partition을 삭제하고 해당한 partition만 만들어졌다. (기존의 파티션 내의 데이터는 delete marker 로 삭제된 상태) 그래서 스크립트 내에서 일단 추가하여 해결은 했는데, clone인데 왜 안 불러오는 설정이 있는 지 잘 이해가 되진 않는..
[IntelliJ] 실수로 파일 및 폴더 이동 방지 IntelliJ를 쓰다 보니 파일을 열려고 더블클릭을 하다보면 포인터가 약간 움직인 것을 드래그 앤 드랍으로 인식해서 이동이 되는 경우가 자꾸 발생했다. (IntelliJ 문제인 지, Macbook 문제인 지 모르겠다.) 보통은 옮기겠냐고 확인하는 다이어로그창이 뜨거나 하는데 그냥 옮겨버리니 나중에 발견해서 당황하는 경우가 생겼다. 어쨌든 검색해서 찾은 방지법은 환경설정-모양 및 동작-모양(appearance)-UI옵션-ALT만 누른 상태로 드래그 앤 드랍 을 체크하면 된다.

티스토리툴바