에러 발생
An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/.sparkStaging/application_1681262849232_2058/hive-site.xml could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.hdfs 용량 확인
hdfs dfs -df -hhdfs 로그 삭제
hdfs dfs -rm -skipTrash /var/log/spark/apps/*
'Programming > Tip&Informaion' 카테고리의 다른 글
| [Go] http request header에서 Host 값 변경하기 (0) | 2023.07.06 |
|---|---|
| [Mac] shift - space 한영 변환 (xcode 설치 안 하고) (0) | 2023.06.21 |
| [Spark/Yarn] 특정 실행중인 job(애플리케이션) 죽이기 (0) | 2023.06.19 |
| [Kubeflow/kserve] taints, tolerations 사용 시 에러 (0) | 2023.06.15 |
| [실수노트/Spark] Value at index 0 is null 에러 처리 (0) | 2023.05.30 |