Programming (78) 썸네일형 리스트형 [Go] http request header에서 Host 값 변경하기 request, err := http.NewRequest(http.MethodPost, url, input) request.Header.Set("Content-Type", "application/json") request.Header.Set("Host", host)보통 http request를 보낼 때 header를 조정해야 하는 경우가 있다. go 에서 전송을 하는데, 자꾸 응답이 정상적으로 오지 않았다. Host를 변경해야 해서 위처럼 변경한 상태이다. 실제로 코드 상에서 response와 request에서 header의 Host값이 변경된 값으로 보인다. 하지만 전송 시점에 변경되는 것으로 보인다. request.Host = host그래서 위처럼 직접 변경을 해줘야 된다. [Mac] shift - space 한영 변환 (xcode 설치 안 하고) ~/Library/Preferences/com.apple.symbolichotkeys.plist 파일에서 60 > value > parameters > 3번째 값을 131072로 변경하면 된다. 근데 plist파일을 일반적으로 수정할 수가 없어서 xcode나 plistedit을 설치하라고 한다. 근데 xcode는 너무 무겁고.. PlistEdit은 trial 버전이라 굳이 이렇게까지 해야하나 싶다. 찾아보니 기본적으로 제공되는 유틸이 있다. plutil -convert json ~/Library/Preferences/com.apple.symbolichotkeys.plist plutil -convert xml ~/Library/Preferences/com.apple.symbolichotkeys.plist .. [Spark/hdfs] 데이터노드 디스크 확보 에러 발생 An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/.sparkStaging/application_1681262849232_2058/hive-site.xml could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation. hdfs 용량 확인 hdfs dfs -df -h hdfs 로그 삭제 hdfs .. [Spark/Yarn] 특정 실행중인 job(애플리케이션) 죽이기 1. 실행 중인 job 확인 yarn application -list yarn application -appState RUNNING -list | grep "applicationName" 2. 실행 중인 job 죽이기 yarn application -kill application_1681262849232_2072 [Kubeflow/kserve] taints, tolerations 사용 시 에러 taint: 오점, 오명 toleration: 용인, 관용 특정 노드(node)에 특정 파드(pod)를 배포하기 위해서 알아보다 taints와 tolerations를 사용하라는 내용을 찾게 되었다. 익숙치 않는 단어라 검색해보니 위에 처럼 나와있다... (노드를 오염시켜 접근이 불가하지만 관용으로 접근한다는 건가..) 기능은 노드에 taints를 걸면 특정 조건(equal, exsist)이 맞을 경우 noSchedule, noExecute 등을 지정할 수 있다. 간단히 말해서 특정 값이 있는 경우에만 배포를 할 수 있다. (https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/) 그리고 파드에 해당 조건을 주는 것이 to.. [실수노트/Spark] Value at index 0 is null 에러 처리 Exception in thread "main" java.lang.NullPointerException: Value at index 0 is null at org.apache.spark.sql.Row.getAnyValAs(Row.scala:523) at org.apache.spark.sql.Row.getLong(Row.scala:253) at org.apache.spark.sql.Row.getLong$(Row.scala:253) at org.apache.spark.sql.catalyst.expressions.GenericRow.getLong(rows.scala:166) 와 같은 에러가 발생했다. 하필 인덱스가 0이라서 dataframe의 row가 0이여서 발생했다고 생각했다. 그래서 dataframe이 .. [Airflow] Airflow 버전업을 하면서 발생한 문제들 정리 http.py 라는 파일명이 있었는데 airflow 내의 라이브러리와 겹쳐서 문제 발생 http_request.py 로 파일명 변경 이런 비슷하게 파일명이나 폴더명이 겹쳐서 문제가 발생하는 경우가 있음 sensor 라이브러리를 airflow.sensors.external_task 로 변경 sensor 폴더 오류 → 폴더명 sensors로 변경 apply_defaults 는 2.1.0 부터 없어진 듯 → import 및 사용하는 부분 삭제 import 시 plugins. 폴더 제거 (하위부터 인식함) from pluings. 부분 삭제 slack 사용법 변경 import 변경 from airflow.providers.slack.hooks.slack_webhook import SlackWebhookHook .. [Docker] pip install 로 용량 큰 라이브러리 설치 중 에러 발생 시 ERROR: failed to receive status: rpc error: code = Unavailable desc = error reading from server: EOF 도커 파일 빌드 중 pip3 install -r requirements.txt 을 실행하는 데 ERROR: failed to receive status: rpc error: code = Unavailable desc = error reading from server: EOF 에러 발생 확인해보니 torch 를 설치 중이였는데, torch 용량이 유독 커서 용량 문제가 아닌가 의심함 좀 찾아보니 --no-cache-dir 인자를 붙여주면 해결된다고 함 pip3 install -r requirements.txt --no-cache-dir 로 수정하니 문제 해결됨 이전 1 2 3 4 5 ··· 10 다음