본문 바로가기

전체 글

 (215)
신뢰성, 확장성, 유지보수성 [데이터 중심 애플리케이션 설계 1장] 신뢰성: 하드웨어나 소프트웨어 결함, 심지어 인적 오류(human error) 같은 역경에 직면하더라도 시스템은 지속적으로 올바르게 동적(원하는 성능 수준에서 정확한 기능을 수행)해야 한다. 올바르게 동작이라는 것은 “무언가 잘못되더라도 지속적으로 올바르게 동작함”을 의미한다. 잘못될 수 있는 일은 결함(fault)라고 부른다. 결함에 대처할 수 있는 시스템을 내결함성(fault-tolerant) 또는 탄력성(resilient)를 지녔다고 말한다. 결함은 장애와 다르다. 장애는 서비스 자체가 멈추는 것이고 결함이 발생해도 장애는 발생하지 않도록 해야 한다. 확장성: 시스템의 데이터 양, 트래픽 양, 복잡도가 증가하면서 이를 처리할 수 있는 적절한 방법이 있어야 한다. 트위터 홈 타임라인 구현 방식 모든 ..
[실수노트/Spark] Value at index 0 is null 에러 처리 Exception in thread "main" java.lang.NullPointerException: Value at index 0 is null at org.apache.spark.sql.Row.getAnyValAs(Row.scala:523) at org.apache.spark.sql.Row.getLong(Row.scala:253) at org.apache.spark.sql.Row.getLong$(Row.scala:253) at org.apache.spark.sql.catalyst.expressions.GenericRow.getLong(rows.scala:166) 와 같은 에러가 발생했다. 하필 인덱스가 0이라서 dataframe의 row가 0이여서 발생했다고 생각했다. 그래서 dataframe이 ..
테슬라 내부 파일이 공개되었습니다. (사고 음폐) 독일의 한 뉴스 매체는 23,000개가 넘는 테슬라 내부 파일을 자세히 조사한 결과, 오토파일럿 결함에 대해 고객들의 불평을 무시하는 사건을 발견했습니다. 헨델스블랫(Handelsblatt)라는 출판사는 익명의 제보자를 통해 데이터를 입수했습니다. 헨델스블랫은 Fraunhofer Institute for Secure Information Technology를 통해 데이터의 진위를 확인했지만 파일에서 조작 또는 조작의 증거를 찾지 못했습니다. 테슬라는 보고서에 이 데이터를 사용하는 출판물을 막으려고 시도했고 헨델스블랫에 대한 법적 조치까지 위협했습니다. 그러나, 이 출판물은 이러한 데이터 침해에 대한 보고가 유럽 연합 법에 따라 합법적일 수 있는 상황이라 생각하여 공개하기로 결정했습니다. "내 오토파일럿이..
요즘 많이 나오는 말, LLM이 무엇일까? LLM은 "Large Language Model"의 약어로, 대규모 언어 모델을 가리킵니다. LLM(Large Language Model)은 딥러닝 기술과 대량의 데이터 셋을 사용하여 새로운 콘텐츠를 이해, 요약, 생성 및 예측하는 인공 지능(AI) 알고리즘의 한 유형입니다. 생성형 AI(generative AI)라는 용어는 LLM과도 밀접하게 관련되어 있습니다. 사실 LLM은 텍스트 기반 콘텐츠 생성을 돕기 위해 특별히 설계된 생성형 AI(generative AI) 입니다. 수천 년 동안, 인간은 의사소통을 위해 말하는 언어를 개발했습니다. 언어는 모든 형태의 인간 및 기술적 의사소통의 핵심입니다. 언어는 아이디어와 개념을 전달하는 데 필요한 단어, 의미론 및 문법을 제공합니다. AI 세계에서 언어 모..
구글 계정이 삭제된다고? 내 계정은? 구글이 비활성화된 계정을 삭제하기로 했습니다. 시행 일정은 23년 12월부터입니다. 1. 최소 2년간 사용하거나 로그인 하지 않은 경우, 계정과 콘텐츠(Gmail, Drive, Calendar, Photo)를 모두 삭제 예정정책은 오늘부터 적용되지만, 계정 삭제는 2023년 12월부터 시작활성 상태 유지를 위한 방법 - 이메일 읽기 또는 보내기 - Google 드라이브 사용 - YouTube 동영상 시청 - Google Play 스토어에서 앱 다운로드 - Google 검색 사용 - Google로 로그인하여 타사 앱이나 서비스에 로그인하기 구독 서비스 이용하고 있는 계정유튜브 동영상을 가지고 있는 계정은 삭제할 계획 없음아래는 원문 번역본입니다. (https://blog.google/technology/s..
페스트 (알베르 카뮈) 를 읽고 생각나는 부분 정리 기억에 남는 구절 어떤 사람들은 추상을 보는 곳에서 다른 사람들은 진리를 보고 있었다. (추상, 행복, 진리) 도시가 처음 격리가 된 이후로 사람들은 “나보다 못 한 사람들이 있다니까” 와 같은 말로 위안과 희망을 얻었다. (요약) (남들은 페스트가 끝나면 이런 걸 할 거라고 할 때) 가지고 있는 특권도 알아차리지 못하고 있다니까요. 체포되고 나면 나는 이런 걸 할거야, 라고 말할 수 있을까요? 체포는 하나의 시작이지 끝이 아니라고요. 반면에 페스트는 … 페스트가 이 도시를 변화시킬 수도 있고 변화시키지 못 할 수도 있으며 시민들이 가장 바라는 바야 물론 아무 일도 없었다는 듯 지금도 또 앞으로도 살아가는 것이라고 말하며, 따라서 어떤 의미에서는 아무것도 뱐하지 않을 테지만 또 다른 의미에서 보자면, 사..
KB 톡톡 마이포인트 추천해요. (feat. 더모아카드 조합) KB 톡톡 마이포인트 카드는 KB페이로 결제 시 실적 상관없이 5.5%를 적립해줍니다. 제약사항으로 월 한도 20만원까지만 가능합니다. 1. KB 톡톡 마이포인트 카드 특징 저는 메인으로 쓰고 있는 카드가 있고 메인으로 써도 혜택이 없을 때 사용하고 싶은 서브용 카드가 필요했습니다. 그런 제가 KB 톡톡 마이포인트 카드를 선택한 주요한 특징은 2가지 입니다. 전월 실적이 없다. -> 즉, 억지로 실적 채울 필요없어 서브 카드로 좋습니다. 적립률이 5.5% 이다. -> 혜택이 매우 좋습니다. 물론 이렇게 좋은 혜택이 있는 만큼 단점도 분명히 있습니다. 연회비가 존재한다. -> 그래도 모바일 전용으로 하면 연회비 6000원입니다. KB페이를 사용해야지 혜택이 적용된다. -> 삼성페이처럼 KB페이를 사용하면 ..
[Airflow] Airflow 버전업을 하면서 발생한 문제들 정리 http.py 라는 파일명이 있었는데 airflow 내의 라이브러리와 겹쳐서 문제 발생 http_request.py 로 파일명 변경 이런 비슷하게 파일명이나 폴더명이 겹쳐서 문제가 발생하는 경우가 있음 sensor 라이브러리를 airflow.sensors.external_task 로 변경 sensor 폴더 오류 → 폴더명 sensors로 변경 apply_defaults 는 2.1.0 부터 없어진 듯 → import 및 사용하는 부분 삭제 import 시 plugins. 폴더 제거 (하위부터 인식함) from pluings. 부분 삭제 slack 사용법 변경 import 변경 from airflow.providers.slack.hooks.slack_webhook import SlackWebhookHook ..

티스토리툴바