본문 바로가기

Programming

 (78)
vscode ssh를 통한 ssh 연결 vscode를 사용해서 원격 서버의 host를 마치 로컬인양 사용할 수 있다. 윈도우면 wsl이나 다른 os는 ssh나 docker를 활용하여 사용한다. vscode 확장 중에서 remote development 확장을 설치하면 된다. (이 확장이 remote wsl, remote ssh, remote docker 등이 함께 묶여있는 거라 위에를 따로 받아도 될 듯 하다.) 개인적으로 인터넷이 안 되는 내부망에서 ssh로 다른 서버를 연결하고 또 여기서 ssh를 통해서 다른 서버에서 접속라여 작업을 해야하는 상황인데, java 같은 언어를 terminal 환경에서만 하려니 너무 불편하여 이 방법을 사용하게 되었다. 일단 vscode를 다운받아 로컬에 설치한 뒤, remote development 확장도 ..
[zookeeper] standalon 설치 시, FAILED TO START 에러 standalone 설치 mirror.cc.columbia.edu/pub/software/apache/zookeeper/zookeeper-3.6.2/ Index of /pub/software/apache/zookeeper/zookeeper-3.6.2 mirror.cc.columbia.edu 에서 apache-zookeeper-3.6.2-bin.tar.gz 다운로드 후, 압축해제: tar -zxf apache-zookeeper-3.6.2-bin.tar.gz 적당한 위치로 이동: mv apache-zookeeper-3.6.2-bin/ /usr/local/zookeeper 데이터 디렉토리 생성: mkdir -p /var/lib/zookeeper config 설정: cd /usr/local/zookeepr/co..
mongoexport 사용법 mongoexport --host localhost --db cpm_ladder --collection 20210116_event_R --ty pe=csv --out text.csv --fields teamRank,teamId,teamName,teamCode,playerName_0,playerSkill1_0,playerSkill2_0,playerNa me_1,playerSkill1_1,playerSkill2_1,playerName_2,playerSkill1_2,playerSkill2_2,playerName_3,playerSkill1_3,playerSkil l2_3,playerName_4,playerSkill1_4,playerSkill2_4,playerName_5,playerSkill1_5,playerSk..
PKGBUILD 사용법 git 등으로 PKGBUILD 파일을 다운 받은 뒤, $ cp -r /var/abs/extra/slim/ ~/abs 빌드 디렉토리로 이동: $ cd ~/abs/slim PKGBUILD 파일을 수정, 추가, 삭제, 패치등 구성요소를 조정합니다 (패키지 버전등 기타, 공식 패키지와 같이 사용시 수정 안해도 됩니다): $ nano PKGBUILD 일반 사용자로 makepkg 을 실행 (-s 옵션을 같이 사용시 의존성을 자동으로 처리합니다): $ makepkg -s root 사용자로 패키지 설치: # pacman -U slim-1.3.0-2-i686.pkg.tar.gz 출처: wiki.archlinux.org/index.php/Arch_Build_System_(%ED%95%9C%EA%B5%AD%EC%96%B4)..
[DataScience] DB SQL과 연동하기 DB에 있는 데이터를 가지고 활용하여 분석하는 방법을 소개하겠습니다. 물론 DB에 있는 데이터들을 csv 파일로 저장해서 사용할 수 있지만, 그런 것보다는 DB에 있는 데이터를 직접 불러오는 게 더 효율적이기 때문입니다. 또한, csv 파일이너무 클 경우 대부분의 데이터 핸들링을 DB에서 진행한 후 결과만 가져 온다면 메모리 면에서 훨씬 효율적일 것이라고 예상합니다. 저는 간단히 진행할 것이기에 sqlite 를 활용해보겠습니다. 우선 sqlite 관련 라이브러리를 설치합니다. !pip install pysqlite3 라이브러리를 불러옵시다. import sqlite3 import pandas as pd DB 연결 conn = sqlite3.connect('example.db') cursor 등록 *cur..
[scikit-learn] 사이킷런의 regression 사이킷런을 사용은 해봤지만 공식 사이트는 잘 가보지 못 했는데, 강의를 통해서 들렀는데 제 생각보다 엄청 잘 되어 있어서 놀랐습니다. 그래서 사이킷런 사이트만으로 얼마나 정보를 얻을 수 있는 지 알아보겠습니다. 우선 사이킷런 사이트에선 estimator를 고르는 맵을 제공해줍니다. (저 같은 초보자에겐 정말 좋은 자료 같네요.) scikit-learn.org/stable/tutorial/machine_learning_map/index.html START에서 시작해보겠습니다. 우선, 저는 numerical 변수를 regression으로 예측할 것입니다. 1. sample 데이터가 50보다 큰가? No면 데이터를 더 모으라고 하네요. Yes로 가겠습니다. 2. 예측할 변수가 category 형태인가? No로..
[DataScience] pandas의 대안은? modin, dask, vaex 비교하기 데이터 사이언스를 시작할 때 주로 사용하는 언어는 R과 Python이 있습니다. 보통 개발을 시작하신 분들은 python으로 주로 입문하게 되죠. 이 때 주로 사용하는 라이브러리는 Pandas 라는 라이브러리입니다. pandas 는 여러 파일을 파싱하는 것부터 전체 데이터 테이블을 NumPy 형태의 행렬 배열로 변환하는 다양하게 이용가능 합니다. 이런 기능들이 pandas가 데이터 사이언스와 머신러닝에서 잘 사용되는 이유입니다. 이런 pandas에게도 단점이 있으니 데이터가 많아질 수록 사용하는 메모리가 늘어나고 속도가 느려진다는 것입니다. 물론 pandas에서 천만 row도 처리 가능할 수 있지만, 그 경우에 10기가의 메모리가 필요합니다. 또한 pandas는 싱글코어로만 작동하고 ram의 범위 안에서..
[환경구축] 아치 리눅스, venv 부터 jupyter notebook 까지 OS 재설치 이후, jupyter 환경없이 colab만 사용했는데 데이터가 커지니 연결이 끊기는 상황이 발생해서 로컬에 다시 jupyter 환경을 구축했습니다.이 과정에 대한 정리한 내용입니다. 0. python 및 pip 설치저는 이미 python 과 pip 가 설치되어 있어서 설치가 필요하지 않지만, 혹시 몰라 적어둡니다. $ sudo pacman -S python3$ sudo pacman -S python-pip 1. venv를 사용하여 가상환경 구축 python3 부터는 venv가 내장되어 있어, python 에서 실행이 가능하다.*venv: python의 경우 프로젝트마다 사용하는 라이브러리의 버전 등이 상이한 경우가 많다. (ex. tensorflow 1.x / 2.x / gpu) 이 경우 라..

티스토리툴바