본문 바로가기

Programming

 (80)
[colab] cuda error device-side assert triggered 모델 학습 후, 예측을 진행하려 하니 cuda error device-side assert triggered 오류가 나왔다. 구글링 결과 batch 사이즈를 줄이라고 했는데, 내 경우에는 줄여도 되지 않았다. 다른 글을 찾아보니, class의 불균형 문제 때문에 그럴 수도 있다고 한다. python의 imblearn 라이브러리를 활용해서 oversampling이나 undersampling을 통해 class의 개수를 비슷하게 맞춰주니 잘 작동했다.
[arch] repository mirror list 갱신 (reflector) reflector를 사용해 repository mirror 서버 갱신 우선 /etc/pacman.d/mirrorlist 파일을 백업을 해놓는다. 예시1. 가장 최근에 싱크된 미러 5개 (속도 순) # reflector --verbose --latest 5 --sort rate --save /etc/pacman.d/mirrorlist 예시2. HTTP나 HTTPS로 싱크된 200개 (속도 순) # reflector --latest 200 --protocol http --protocol https --sort rate --save /etc/pacman.d/mirrorlist 예시3. 12시간 이내에 싱크된 HTTPS 미러 (한국이나 일본) (속도 순) # reflector --country "South Ko..
vscode ssh를 통한 ssh 연결 vscode를 사용해서 원격 서버의 host를 마치 로컬인양 사용할 수 있다. 윈도우면 wsl이나 다른 os는 ssh나 docker를 활용하여 사용한다. vscode 확장 중에서 remote development 확장을 설치하면 된다. (이 확장이 remote wsl, remote ssh, remote docker 등이 함께 묶여있는 거라 위에를 따로 받아도 될 듯 하다.) 개인적으로 인터넷이 안 되는 내부망에서 ssh로 다른 서버를 연결하고 또 여기서 ssh를 통해서 다른 서버에서 접속라여 작업을 해야하는 상황인데, java 같은 언어를 terminal 환경에서만 하려니 너무 불편하여 이 방법을 사용하게 되었다. 일단 vscode를 다운받아 로컬에 설치한 뒤, remote development 확장도 ..
[zookeeper] standalon 설치 시, FAILED TO START 에러 standalone 설치 mirror.cc.columbia.edu/pub/software/apache/zookeeper/zookeeper-3.6.2/ Index of /pub/software/apache/zookeeper/zookeeper-3.6.2 mirror.cc.columbia.edu 에서 apache-zookeeper-3.6.2-bin.tar.gz 다운로드 후, 압축해제: tar -zxf apache-zookeeper-3.6.2-bin.tar.gz 적당한 위치로 이동: mv apache-zookeeper-3.6.2-bin/ /usr/local/zookeeper 데이터 디렉토리 생성: mkdir -p /var/lib/zookeeper config 설정: cd /usr/local/zookeepr/co..
mongoexport 사용법 mongoexport --host localhost --db cpm_ladder --collection 20210116_event_R --ty pe=csv --out text.csv --fields teamRank,teamId,teamName,teamCode,playerName_0,playerSkill1_0,playerSkill2_0,playerNa me_1,playerSkill1_1,playerSkill2_1,playerName_2,playerSkill1_2,playerSkill2_2,playerName_3,playerSkill1_3,playerSkil l2_3,playerName_4,playerSkill1_4,playerSkill2_4,playerName_5,playerSkill1_5,playerSk..
PKGBUILD 사용법 git 등으로 PKGBUILD 파일을 다운 받은 뒤, $ cp -r /var/abs/extra/slim/ ~/abs 빌드 디렉토리로 이동: $ cd ~/abs/slim PKGBUILD 파일을 수정, 추가, 삭제, 패치등 구성요소를 조정합니다 (패키지 버전등 기타, 공식 패키지와 같이 사용시 수정 안해도 됩니다): $ nano PKGBUILD 일반 사용자로 makepkg 을 실행 (-s 옵션을 같이 사용시 의존성을 자동으로 처리합니다): $ makepkg -s root 사용자로 패키지 설치: # pacman -U slim-1.3.0-2-i686.pkg.tar.gz 출처: wiki.archlinux.org/index.php/Arch_Build_System_(%ED%95%9C%EA%B5%AD%EC%96%B4)..
[DataScience] DB SQL과 연동하기 DB에 있는 데이터를 가지고 활용하여 분석하는 방법을 소개하겠습니다. 물론 DB에 있는 데이터들을 csv 파일로 저장해서 사용할 수 있지만, 그런 것보다는 DB에 있는 데이터를 직접 불러오는 게 더 효율적이기 때문입니다. 또한, csv 파일이너무 클 경우 대부분의 데이터 핸들링을 DB에서 진행한 후 결과만 가져 온다면 메모리 면에서 훨씬 효율적일 것이라고 예상합니다. 저는 간단히 진행할 것이기에 sqlite 를 활용해보겠습니다. 우선 sqlite 관련 라이브러리를 설치합니다. !pip install pysqlite3 라이브러리를 불러옵시다. import sqlite3 import pandas as pd DB 연결 conn = sqlite3.connect('example.db') cursor 등록 *cur..
[scikit-learn] 사이킷런의 regression 사이킷런을 사용은 해봤지만 공식 사이트는 잘 가보지 못 했는데, 강의를 통해서 들렀는데 제 생각보다 엄청 잘 되어 있어서 놀랐습니다. 그래서 사이킷런 사이트만으로 얼마나 정보를 얻을 수 있는 지 알아보겠습니다. 우선 사이킷런 사이트에선 estimator를 고르는 맵을 제공해줍니다. (저 같은 초보자에겐 정말 좋은 자료 같네요.) scikit-learn.org/stable/tutorial/machine_learning_map/index.html START에서 시작해보겠습니다. 우선, 저는 numerical 변수를 regression으로 예측할 것입니다. 1. sample 데이터가 50보다 큰가? No면 데이터를 더 모으라고 하네요. Yes로 가겠습니다. 2. 예측할 변수가 category 형태인가? No로..

티스토리툴바