Publivate (215) 썸네일형 리스트형 [Docker] pip install 로 용량 큰 라이브러리 설치 중 에러 발생 시 ERROR: failed to receive status: rpc error: code = Unavailable desc = error reading from server: EOF 도커 파일 빌드 중 pip3 install -r requirements.txt 을 실행하는 데 ERROR: failed to receive status: rpc error: code = Unavailable desc = error reading from server: EOF 에러 발생 확인해보니 torch 를 설치 중이였는데, torch 용량이 유독 커서 용량 문제가 아닌가 의심함 좀 찾아보니 --no-cache-dir 인자를 붙여주면 해결된다고 함 pip3 install -r requirements.txt --no-cache-dir 로 수정하니 문제 해결됨 mwaa에서 ModuleNotFoundError 발생 시 대처 (v2.4.3) mwaa에서 reqirements.txt 파일을 통해 라이브러리를 다운받은 후, 실행 시에 에러가 발생했다. ModuleNotFoundError: No module named 'lib.name'; 'lib' is not a package 분명히 설치까진 잘 됐는데, import에서 에러가 발생했다. (비슷하게 관련 프로퍼티가 없다는 식의 에러도 있다.) 원인을 파악하니 custom operator를 만들어서 사용하고 있었는데, 이 operator의 파일명이 라이브러리명이랑 동일할 경우, 라이브러리가 아닌 해당 파일을 import해서 발생한 문제였다. mwaa에서의 버그인 지, airflow 2버전에서 변경사항인 지는 모르겠지만, 굉장히 이상하게 사용이 되고 있는 것 같다. Airflow connexion error, HTTPStatus error 발생 aws-mwaa-local-runner-2_4-local-runner-1 | Traceback (most recent call last): aws-mwaa-local-runner-2_4-local-runner-1 | File "/usr/local/airflow/.local/lib/python3.10/site-packages/connexion/apis/abstract.py", line 222, in add_paths aws-mwaa-local-runner-2_4-local-runner-1 | self.add_operation(path, method) aws-mwaa-local-runner-2_4-local-runner-1 | File "/usr/local/airflow/.local/lib/python3.1.. ec2에서 docker 설치하기 https://narup.tistory.com/223 [AWS] EC2 Docker, Docker-compose 설치(Linux) AWS에서는 docker와 docker-compose를 설치하는데 기존 리눅스 방법과는 다른 방법으로 설치를 진행해서 아래 방법을 찾아 공유하려고 합니다! 도커 설치 // 도커 설치 sudo amazon-linux-extras install docker // narup.tistory.com 1. 도커 설치 // 도커 설치 sudo amazon-linux-extras install docker // 도커 시작 sudo service docker start // 권한 부여 sudo usermod -a -G docker ec2-user // auto-start에 docker 등록 .. 리눅스 방화벽 처리 (Oracle Cloud) Oracle Cloud에서 서버를 띄웠는데 ingress 설정을 해도 웹접속이 되질 않았다. 돌고 돌아 확인하니 방화벽 문제였다. 후에 dns를 붙였는데 또 작동하지 않았다. 다시 찾아보니 또 방화벽 문제였다. 방화벽 설정을 정리해보았다. 1. 일단 ingress 설정 subnet 설정에서 아래처럼 등록 2. 방화벽에 포트 등록 (ex 1521) sudo firewall-cmd --add-port=1521/tcp 참고: Ways to Secure Your Network (oracle.com) 3. dns 등록: DNS 설정 :: 오라클 클라우드 사용자 가이드 (taewan.kim) DNS 설정 OCI VM Instance의 Public IP에 Domain을 맵핑하는 DNS 설정 방법을 정리합니다. tae.. 보수에 대한 글 (1의 보수, 2의 보수, 9의 보수, 10의 보수) 찰스 펫졸드의 CODE 를 읽다가 보수에 대한 내용이 나왔는데, 의문이 드는 점이 있어서 정리해보았다. 책에선 잘 알고 있는 1의 보수, 2의 보수의 내용과 9의 보수, 10의 보수에 대한 내용이 나왔다. 책을 읽다보니 가장 먼저 든 궁금증은 "3의 보수, 4의 보수도 있는가" (질문1) 였다. 먼저 컴퓨터 전공한 사람이라면 1의 보수, 2의 보수의 개념은 잘 알고 있을 것이다. 1의 보수: 2진수에서 비트를 반전 시키면 얻는 값 (101010 -> 010101) 2의 보수: 1의 보수에서 1을 더한 값 (101010 -> 010101+1 = 010110) 책에선 이런 식으로 설명이 된다. 1의 보수: 2진수의 값을 1111..111 에서 빼면 나오는 값 (101010 -> 111111 - 101010 .. [Firehose] An error occurred (InvalidArgumentException) when calling the PutRecord operation: This operation is not permitted on KinesisStreamAsSource delivery stream type. 해결 이전 글에 이어서 제대로 쌓이지 않은 로그들을 재처리하기 위해서 processing-failed/ 내의 데이터를 재전송하는 작업을 했다. 작업을 처리 중에 An error occurred (InvalidArgumentException) when calling the PutRecord operation: This operation is not permitted on KinesisStreamAsSource delivery stream type. 에러가 발생했다. (처음에는 PutRecordBatch 로 했는데 안 돼서 PutRecord로 변경했는데도 똑같이 발생) 여기저기 찾아봤는데 aws cli 에선 --cli-binary-format raw-in-base64-out 인자를 추가하라는 글이 많았다. 그런데.. [Kinesis/Firehose/Lambda] The Lambda function was successfully invoked but it returned an error result. 해결 kinesis firehose 로 로그 데이터를 쌓고 있었는데, 특정 시간대의 로그가 쌓이고 있지 않다는 문의가 발생 kinesis 쪽 destination error logs 에선 The Lambda function was successfully invoked but it returned an error result. 와 같은 에러가 발생하고 있었다. (해당 시간 대에는 대부분의 로그가 저장이 안 되고 있던 상태였고, 다른 시간 대에도 가끔씩 발생하고 있었다.) cloud watch 에서 lambda 로그를 확인하니 http 413 (payload too large) 에러가 발생했다. 로그 데이터가 그냥 평범한 수준의 http request 정도라 payload 가 크다는 게 이해가 되진 않았고, 여러.. 이전 1 2 3 4 5 6 7 8 ··· 27 다음
