실행 (3) 썸네일형 리스트형 [실수노트] Spark 무한 실행, 멈춤 오류 스파크로 작업을 위해 짜놓았던 테스트 코드를 돌렸더니, 실행 중인 클래스명과 함께 시간만 무한히 증가하는 화면만 나오는 상태로 끝나지 않았다. 한 번 돌기 시작하면 중간에 쉘에서 취소해도 멈추지 않고 프로세스를 강제로 죽여야 종료가 됐다. 뭔가 설정이 꼬였다고 생각해서 처음에는 메모리 등의 이슈인가 하여 늘려보고 spark session이나 context를 종료했다 실행하는 등 다양한 방법을 해봤지만 결론은 같았다. 알고 보니 원인은 어이없고 당연한 이유였는데... udf 코드를 변경했는데 원래는 일정 횟수만큼 돌던 코드를 오류가 날 때까지 돌게 수정을 했는데 종료 조건이 명확하지 않아서 무한히 도는 문제였다. scala를 사용해서 재귀로 짰는데.. 아마 자동으로 꼬리재귀로 메모리가 잘 관리돼서 stac.. ec2에서 docker 설치하기 https://narup.tistory.com/223 [AWS] EC2 Docker, Docker-compose 설치(Linux) AWS에서는 docker와 docker-compose를 설치하는데 기존 리눅스 방법과는 다른 방법으로 설치를 진행해서 아래 방법을 찾아 공유하려고 합니다! 도커 설치 // 도커 설치 sudo amazon-linux-extras install docker // narup.tistory.com 1. 도커 설치 // 도커 설치 sudo amazon-linux-extras install docker // 도커 시작 sudo service docker start // 권한 부여 sudo usermod -a -G docker ec2-user // auto-start에 docker 등록 .. PKGBUILD 사용법 git 등으로 PKGBUILD 파일을 다운 받은 뒤, $ cp -r /var/abs/extra/slim/ ~/abs 빌드 디렉토리로 이동: $ cd ~/abs/slim PKGBUILD 파일을 수정, 추가, 삭제, 패치등 구성요소를 조정합니다 (패키지 버전등 기타, 공식 패키지와 같이 사용시 수정 안해도 됩니다): $ nano PKGBUILD 일반 사용자로 makepkg 을 실행 (-s 옵션을 같이 사용시 의존성을 자동으로 처리합니다): $ makepkg -s root 사용자로 패키지 설치: # pacman -U slim-1.3.0-2-i686.pkg.tar.gz 출처: wiki.archlinux.org/index.php/Arch_Build_System_(%ED%95%9C%EA%B5%AD%EC%96%B4).. 이전 1 다음