본문 바로가기

전체 글

 (217)
[Kubeflow/kserve] taints, tolerations 사용 시 에러 taint: 오점, 오명 toleration: 용인, 관용 특정 노드(node)에 특정 파드(pod)를 배포하기 위해서 알아보다 taints와 tolerations를 사용하라는 내용을 찾게 되었다. 익숙치 않는 단어라 검색해보니 위에 처럼 나와있다... (노드를 오염시켜 접근이 불가하지만 관용으로 접근한다는 건가..) 기능은 노드에 taints를 걸면 특정 조건(equal, exsist)이 맞을 경우 noSchedule, noExecute 등을 지정할 수 있다. 간단히 말해서 특정 값이 있는 경우에만 배포를 할 수 있다. (https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/) 그리고 파드에 해당 조건을 주는 것이 to..
데이터 모델 및 질의 언어 [데이터 중심 애플리케이션 설계 2장] 관계형 모델 스키마 변경이 힘들고 실제 데이터와 애플리케이션 과의 차이가 발생하여 임피던스 불일치 발생 최근에는 json등을 지원함 mysql에서는 alter 명령어 수행 시 비용이 큼 다대일과 다대다 관계 관계형 모델에서는 다대다 관계를 일대다 관계로 풀어서 해결한다. 일대다 관계는 문서 모델에서의 트리 구조로 표현 가능 관계형 모델에서는 일대다의 반대인 다대일도 id기반으로 쉽게 해결가능 문서 모델에서는 다대일 관계는 적합하지 않음 (join 필요) NoSQL 문서 데이터베이스 조인이 미흡하다 관계형 DB의 쓰기 스키마와 반대되는 읽기 스키마 지역성 활용 가능 (관계형은 조인을 해야해서 전체 검색이 필요함) 그래프 데이터베이스 다른 데이터베이스와의 차이 다대다 관계에 적합 특정 조건을 찾을 때까지 반..
신뢰성, 확장성, 유지보수성 [데이터 중심 애플리케이션 설계 1장] 신뢰성: 하드웨어나 소프트웨어 결함, 심지어 인적 오류(human error) 같은 역경에 직면하더라도 시스템은 지속적으로 올바르게 동적(원하는 성능 수준에서 정확한 기능을 수행)해야 한다. 올바르게 동작이라는 것은 “무언가 잘못되더라도 지속적으로 올바르게 동작함”을 의미한다. 잘못될 수 있는 일은 결함(fault)라고 부른다. 결함에 대처할 수 있는 시스템을 내결함성(fault-tolerant) 또는 탄력성(resilient)를 지녔다고 말한다. 결함은 장애와 다르다. 장애는 서비스 자체가 멈추는 것이고 결함이 발생해도 장애는 발생하지 않도록 해야 한다. 확장성: 시스템의 데이터 양, 트래픽 양, 복잡도가 증가하면서 이를 처리할 수 있는 적절한 방법이 있어야 한다. 트위터 홈 타임라인 구현 방식 모든 ..
[실수노트/Spark] Value at index 0 is null 에러 처리 Exception in thread "main" java.lang.NullPointerException: Value at index 0 is null at org.apache.spark.sql.Row.getAnyValAs(Row.scala:523) at org.apache.spark.sql.Row.getLong(Row.scala:253) at org.apache.spark.sql.Row.getLong$(Row.scala:253) at org.apache.spark.sql.catalyst.expressions.GenericRow.getLong(rows.scala:166) 와 같은 에러가 발생했다. 하필 인덱스가 0이라서 dataframe의 row가 0이여서 발생했다고 생각했다. 그래서 dataframe이 ..
테슬라 내부 파일이 공개되었습니다. (사고 음폐) 독일의 한 뉴스 매체는 23,000개가 넘는 테슬라 내부 파일을 자세히 조사한 결과, 오토파일럿 결함에 대해 고객들의 불평을 무시하는 사건을 발견했습니다. 헨델스블랫(Handelsblatt)라는 출판사는 익명의 제보자를 통해 데이터를 입수했습니다. 헨델스블랫은 Fraunhofer Institute for Secure Information Technology를 통해 데이터의 진위를 확인했지만 파일에서 조작 또는 조작의 증거를 찾지 못했습니다. 테슬라는 보고서에 이 데이터를 사용하는 출판물을 막으려고 시도했고 헨델스블랫에 대한 법적 조치까지 위협했습니다. 그러나, 이 출판물은 이러한 데이터 침해에 대한 보고가 유럽 연합 법에 따라 합법적일 수 있는 상황이라 생각하여 공개하기로 결정했습니다. "내 오토파일럿이..
요즘 많이 나오는 말, LLM이 무엇일까? LLM은 "Large Language Model"의 약어로, 대규모 언어 모델을 가리킵니다. LLM(Large Language Model)은 딥러닝 기술과 대량의 데이터 셋을 사용하여 새로운 콘텐츠를 이해, 요약, 생성 및 예측하는 인공 지능(AI) 알고리즘의 한 유형입니다. 생성형 AI(generative AI)라는 용어는 LLM과도 밀접하게 관련되어 있습니다. 사실 LLM은 텍스트 기반 콘텐츠 생성을 돕기 위해 특별히 설계된 생성형 AI(generative AI) 입니다. 수천 년 동안, 인간은 의사소통을 위해 말하는 언어를 개발했습니다. 언어는 모든 형태의 인간 및 기술적 의사소통의 핵심입니다. 언어는 아이디어와 개념을 전달하는 데 필요한 단어, 의미론 및 문법을 제공합니다. AI 세계에서 언어 모..
구글 계정이 삭제된다고? 내 계정은? 구글이 비활성화된 계정을 삭제하기로 했습니다. 시행 일정은 23년 12월부터입니다. 1. 최소 2년간 사용하거나 로그인 하지 않은 경우, 계정과 콘텐츠(Gmail, Drive, Calendar, Photo)를 모두 삭제 예정정책은 오늘부터 적용되지만, 계정 삭제는 2023년 12월부터 시작활성 상태 유지를 위한 방법 - 이메일 읽기 또는 보내기 - Google 드라이브 사용 - YouTube 동영상 시청 - Google Play 스토어에서 앱 다운로드 - Google 검색 사용 - Google로 로그인하여 타사 앱이나 서비스에 로그인하기 구독 서비스 이용하고 있는 계정유튜브 동영상을 가지고 있는 계정은 삭제할 계획 없음아래는 원문 번역본입니다. (https://blog.google/technology/s..
페스트 (알베르 카뮈) 를 읽고 생각나는 부분 정리 기억에 남는 구절 어떤 사람들은 추상을 보는 곳에서 다른 사람들은 진리를 보고 있었다. (추상, 행복, 진리) 도시가 처음 격리가 된 이후로 사람들은 “나보다 못 한 사람들이 있다니까” 와 같은 말로 위안과 희망을 얻었다. (요약) (남들은 페스트가 끝나면 이런 걸 할 거라고 할 때) 가지고 있는 특권도 알아차리지 못하고 있다니까요. 체포되고 나면 나는 이런 걸 할거야, 라고 말할 수 있을까요? 체포는 하나의 시작이지 끝이 아니라고요. 반면에 페스트는 … 페스트가 이 도시를 변화시킬 수도 있고 변화시키지 못 할 수도 있으며 시민들이 가장 바라는 바야 물론 아무 일도 없었다는 듯 지금도 또 앞으로도 살아가는 것이라고 말하며, 따라서 어떤 의미에서는 아무것도 뱐하지 않을 테지만 또 다른 의미에서 보자면, 사..

티스토리툴바