티스토리

Y초보프로그래머

검색하기

블로그 홈

Y초보프로그래머

yjs-program.tistory.com/m

Js.Y 님의 블로그입니다.

구독자: 16

방명록 방문하기

주요 글 목록

subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1 https://github.com/pytorch/vision/issues/2360#issuecomment-883574291모델 환경 내 특정 cpp 코드 빌드가 필요한데, 아래와 같은 에러가 뜨는 경우.subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1..... File "/home/{USER}/anaconda3/envs/{ANACONDA_ENV}/lib/python3.8/site-packages/torch/utils/cpp_extension.py", line 1733, in _run_ninja_build raise RuntimeError(message) from e RuntimeErro.. 공감수 1 댓글수 1 2024. 11. 29.
한글 폰트가 적용이 안될 때 (matplotlib) 분명 경로도 맞는데 안될 때는 cache를 삭제해보자.rm -rf ~/.cache/matplotlib 공감수 0 댓글수 0 2024. 11. 18.
Docker Container에 할당된 GPU Id 확인하기. - NVIDIA_VISIBLE_DEVICES로 GPU ID를 할당한 경우# GPU ID만 보고싶을 때docker inspect --format='{{json .Config.Env}}' | grep NVIDIA_VISIBLE_DEVICES# 전체 환경변수docker inspect --format='{{json .Config.Env}}' - " --gpus"옵션으로 할당한 경우docker inspect --format='{{json .HostConfig.DeviceRequests}}' 공감수 1 댓글수 1 2024. 9. 27.
[vscode] 터미널/에디터 창 간 이동 단축키 terminal 이동, terminal pan 이동, 터미널 창 이동ctrl K + ctrl S로 설정 공감수 0 댓글수 0 2024. 8. 5.
[vscode] 가로로 긴 파일 자동으로 여러 줄로 보이게끔 하기 긴 파일이 한줄로 보여서 불편가로로 스크롤 하는게 귀찮으니깐 자동으로 여러 줄로 보이게끔 설정을 변경 좌측 하단 톱니바퀴(setting) > wordwrap 검색 후 Editor:Word Wrap 을 on으로 변경 공감수 1 댓글수 2 2024. 7. 26.
[Windows 10/11] 비정상적인 종료 로그 확인 비정상적 윈도우 종료 관련 Event ID41 : 시스템이 알 수 없는 이유로 충돌 or 정전으로 응답하지 않을 때, 잘못된 종료가 발생했을 대1074 : 사용자가 수동 종료/다시시작/ 업데이트 이후 자동 재시작6006 : 정상적으로 시스템 종료6005 : 정상적으로 시스템 재부팅6008 : 41 오류코드와 관련하여 임의 자동 종료41, 6008은 비정상적인 부팅 오류. Windows의 경우 [시작 > "이벤트 뷰어" 검색 > "Windows 로그" > "시스템" > "현재 로그 필터링"] 을 통해 이벤트 ID로 로그 검색을 확인할 수 있음. "이벤트 ID포함/제외 항목 입력 란에 "41, 6008"을 입력해서 확인 가능. 이 외에도 CMD창을 열어(시작 > "명령 프롬프트" 검색 > 관리자 권한으로 실.. 공감수 1 댓글수 0 2024. 7. 7.
[Windows-Linux] WSL 구축 https://blog.naver.com/dychoe80/222953585086 WSL2 설치 총정리꽤 오래전에 정리했던 건에 이제서야 발행한다. Windows Subsystem for Linux의 약자로 윈도우에서 리눅...blog.naver.com https://velog.io/@jskim/Windows%EC%97%90%EC%84%9C-Linux-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-with-WSL2 Windows에서 Linux 사용하기 (with WSL2)개발자나 엔지니어가 개발을 하고 서버를 구축하는 등의 일련의 활동을 할 때 Windows OS보다는 Linux, Mac OS가 확실히 편하다. 하지만 Windows OS가 깔린 노트북, PC를 가진 개발자나 엔지니어도 .. 공감수 1 댓글수 0 2024. 7. 6.
ImportError: cannot import name 'packaging' from 'pkg_resources setuptools 버전 변경만 하면 정상적인 빌드 가능.python -m pip install setuptools==69.5.1 - references 공감수 1 댓글수 0 2024. 6. 17.
[Linux/Ubuntu] Zombie process 확인, 삭제 어느 순간 서버를 접속하면 "There are N zombie processes"라는 경고문이 뜬다. 아래 명령어로 실제 좀비 프로세스들은 listup할 수 있어서 확인해보니 대다수 python 이 중단되면서 생긴 쓰레기 프로세스들 인 것 같다. ps axo stat,ppid,pid,comm | grep -w defunct 나같은 경우엔 다 동일한 788282 PID로 구성된 프로세스 이길래, 아래 명령어로 해당 process만 죽이니 다 삭제되었다. kill -9 [PID] ex) kill -9 788282 근데 참고로 python multiprocessing같은 작업을 할 때 다 저런 형태의 zombie process가 자동으로 생성되니, 착각해서 해당 프로세스를 삭제하지 말자. 공감수 1 댓글수 0 2024. 4. 3.
Linux / Ubuntu History 조회 시 시간 설정 아래 명령어를 이용하여 /etc/profile 내 다음 문장을 추가하고 적용하면 끝 echo "HISTTIMEFORMAT=\"[%F %T %Z]\"">>/etc/profile source /etc/profile "history | tail"사용하면 다음과 같이 시간이 나오는 것을 확인할 수 있음. 참고로, 저 설정을 셋팅한 이후부터 시간이 정상적으로 기록됨. 공감수 0 댓글수 0 2024. 4. 3.
[docker] daemon.json에서 root 설정하기 서버가 지혼자 재부팅 된 후, 갑자기 docker ps -a와 docker image 명령어를 입력했을 때 docker가 아무것도 안보이는 경우 이를 위한 해결 방법 결론부터 말하자면 서버가 예상치못하게 재부팅되면서 개발 서버 상 따로 명시해둔 docker image path가 기본 directory root로 설정되면서 생긴 이슈였다. 즉 우리 개발서버는 /k8s_images"라는 폴더에 docker 정보를 저장해뒀었는데, 기본 Root인 /var/lib/docker로 셋팅되어 있었다. 이를 해결하기 위해 일단 아래 명령어로 docker 서비스를 꺼준다.systemctl stop docker.servicesystemctl stop docker.socket Docker가 정상적으로 종료되고 나면 dock.. 공감수 1 댓글수 0 2024. 3. 14.
[nvidia-smi] nvidia-smi가 느리게 뜨는 경우 / nvidia-smi pm mode. slow(late) nvidia-graphic driver 재설치 후 명령어를 칠 때 느리게 뜨는 경우, pm모드를 켜주면 된다. sudo nvidia-smi -pm 1 https://forums.developer.nvidia.com/t/nvidia-persistenced-failed-to-initialize-check-syslog-for-more-details/74052 공감수 1 댓글수 0 2024. 3. 14.
[cv2/python] 클래스마다 랜덤 color palette Object detection같은 task할때마다 매번 모델 시각화 할 때 클래스 별 RGB를 맵핑해줘야 하는 경우. 다른 패키지보다 이게 젤 간단... 단점은 비슷한 컬러들이 생길 수 있음. colors = {cls: (np.random.randint(0, 256), np.random.randint(0, 256), np.random.randint(0, 256)) for cls in CLASS} 공감수 2 댓글수 0 2024. 3. 13.
[SSH] ssh 접속할 때 비밀번호 입력 안하는 방법 개발 서버에서 지속적으로 접속할 때 신뢰할 수 있는 컴퓨터로 등록하여 password 없이 바로 접속 가능하도록 하는 방법. 1. 본인 로컬 개발 환경에 있는 id_rsa.pub을 카피 (보통 C:User:.ssh/안에 있음) 2. 개발 서버에 등록해주기 - 개발 서버 내 (~/.ssh)다음 위치로 이동하여, authorized_keys 라는 파일을 생성 후 그 안에 붙여넣기 - 그리고 해당 authorized_keys파일에 755권한 부여 chmod 755 ~/.ssh/authorized_keys 3. vscode 껐다 키면 Password 요구 안함! 도움 주신 출처 SSH key 생성하고, 서버에 등록해서 비밀번호 없이 접속하기 Intro 매번 SSH 접속 할 때 마다 비밀번호 입력하려면 매우 번거.. 공감수 2 댓글수 0 2024. 2. 20.
[Pytorch modeling] GPU 사용량 / 추론 시간 측정(Inference time) 기록용. 1. Model GPU 사용량 체크 print('Memory Usage:') print('Max Alloc:', round(torch.cuda.max_memory_allocated(0)/1024**3, 1), 'GB') print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB') # MB 단위 : print(torch.cuda.memory_allocated() / 1024 /1024) print('Cached: ', round(torch.cuda.memory_cached(0)/1024**3,1), 'GB') ⚠️nvidia-smi는 reserved memory를 포함한 값이기 때문에 실제 모델의 GPU 사용량을 보여주는 것.. 공감수 2 댓글수 0 2024. 2. 19.
DiT: Self-supervised Pre-training for Document Image Transformer 논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Paper / GitHub 1. Introduction self-supervised pre-trained Document Image Transformer model, DiT를 제안 ⇒ 다양한 포맷의 문서와 대규모 unlabeled 문서 데이터에 대해서 학습되어야만 human-labeled document image에 의존적이지 X, 다양한 AI task를 잘 다룰 수 있다. 본 논문에서는 DiT를 Image classification, Document Layout Analysis, Table Detection, STD 등 다양한 Do.. 공감수 1 댓글수 3 2024. 2. 18.
Vision Grid Transformer for Document Layout Analysis(VGT) Paper 논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Abstract DLA(Document Layout Analysis) task는 multi-modality document pre-trained model이더라도 text feature, visual feature에 많이 영향을 받는 경향이 있음. DLA를 위한 Grid-based model도 사전학습 효과가 크게 나타나지 않음. multi-modal 정보를 최대한 활용하고, pre-trained 기술도 최대한 사용하기 위해서 VGT라는 DLA task를 위한 모델을 소개. VGT : 2D token level, Segme.. 공감수 1 댓글수 2 2024. 2. 11.
SelfDocSeg: A Self-Supervised vision-based approach towards Document Segmentation Paper 논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Abstract 기존의 DLA task는 데이터에 대한 부담으로 인해 접근법이 어려운 task였고, 이를 해결하기 위해 오로지 GT가 따로 없는 상태에서도 self-supervision이 가능한 vision based pre-trained model을 제안. 각 문서 별 GT Layout dataset 을 만들기보다, 문서 내 pseudo-layout을 만들어 image encoder가 문서 내 요소를 선행학습 하도록 하고, self-supervised framework로 각 요소 간 localization을 학습함, 그 .. 공감수 1 댓글수 0 2024. 2. 10.
[python/coco] 원하는 클래스만 필터링하여 사용하기(Filtering sub classes on COCO Json file) COCO 형태의 train, val, test JSON파일 안에는 여러 클래스가 있다. 이 중 내가 특정 경우에 일부 클래스만 학습하고자 할 때 해당 Json파일을 수정할 수 있도록 해주는 오픈소스가 있어 공유한다. https://github.com/immersive-limit/coco-manager GitHub - immersive-limit/coco-manager: Scripts to manage COCO datasets Scripts to manage COCO datasets. Contribute to immersive-limit/coco-manager development by creating an account on GitHub. github.com 간단하게 원하는 input file, outp.. 공감수 2 댓글수 2 2024. 2. 6.
[python/pickle] pickle data load/read, write dictionary, list, np arr같은 python 객체를 파일로 binary파일로 저장하여 빠른 속도 처리가 가능하도록 함. pkl file reading # Data Loading import pickle import os data_dir = './dataset/pkl_dir/' file_lst = os.listdir(data_dir) # directory안에 있는 모든 pkl파일을 다 로딩해서 그 중 하나만 load with open(os.path.join(data_dir, file_lst[0]), 'rb') as fr: # 여기선 0-index(첫번째)파일을 로드 data = pickle.load(fr) print(data) print(data.keys()) pkl file writing.. 공감수 42 댓글수 0 2024. 1. 22.
ERROR: Cannot uninstall 'certifi'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall. detectron2를 설치하던 도중 certifi 버전이 없다고 오류가 뜬 상황. Detectron 설치 참고 사이트 Installation — detectron2 0.6 documentation © Copyright 2019-2020, detectron2 contributors Revision 8c4a333c. detectron2.readthedocs.io pip install 명령어에 --ignore-installed 옵션을 추가하여 설치하면 무시하게 됨. 기존 pip install에서 -ignore 옵션 추가 # Before pip install detectron2... # After pip innstall --ignore-installed detectron2 도움 주신 참고 링크 에러 발생 해결 .. 공감수 39 댓글수 0 2024. 1. 22.
[python/pdf] PDF 수정(페이지 삭제, 병합)하기(PyPDF2) pdf 파일에서 페이지를 삭제하거나 PDF를 합병하고 싶을 때 다음 코드를 사용해서 돌리면 pdf파일을 내 맘대로 수정할 수 있다. 아래 코드는 한 부당 7페이지로 구성된 40부짜리 문서 중 앞에 있는 3부만 잘라내어 저장하는 스크립트다. import PyPDF2 if __name__ == "__main__": # target_path : pdf 문서가 있는 경로 target_path = "./문서_40부.pdf" pdf = PyPDF2.PdfReader(target_path) output = PyPDF2.PdfWriter() pageNum = len(pdf.pages) oneDoc = 7 # 한 부당 페이지 개수 for i in range(0, 3*oneDoc):#처음에 있는 3부만 따로 저장 page.. 공감수 1 댓글수 0 2024. 1. 5.
[pandas / DataFrame] MultiIndex df.to_excel 저장 시 빈 행(row) 삭제하기 Multiindex를 갖고 있는 데이터 프레임을 그대로 excel로 떨어트리는 함수를 사용할 경우에 제목 행 바로 아래에 빈 행이 하나 생기게 된다. 이를 해결하기 위한 함수는 아래와 같다. 간단히, 제목만 떼서 저장하고, 이어서 내용에 해당되는 부분만 떼서 2번에 걸쳐 저장하는 함수라 보면 된다. def save_double_column_df(df, file_name, startrow = 0, **kwargs): '''Function to save doublecolumn DataFrame, to xlwriter''' # https://stackoverflow.com/questions/52497554/blank-line-below-headers-created-when-using-multiindex-and.. 공감수 1 댓글수 0 2024. 1. 3.
[Excel 엑셀] 특정 셀 참조하여 관련 데이터 전체 출력 / VLOOKUP = FILTER($가져오고자 하는 범위, $찾고자 하는 범위=찾는 데이터) 참고 영상: https://youtu.be/OHQx744ZmVk?feature=shared 공감수 1 댓글수 2 2023. 12. 21.
[cv2.findContours] [Start]FindContours supports only CV_8UC1 images when mode != CV_RETR_FLOODFILL otherwise supports CV_32SC1 images only in function 'cvStartFindContours_Impl turn image data type to uint8 # change dtype to uint8 img = np.array(img, dtype=np.uint8) 공감수 1 댓글수 0 2023. 12. 5.
[pandas] Dataframe 정리 from pandas import DataFrame import pandas as pd df = DataFrame({'cost': [250, 150, 100],'revenue': [100, 250, 300]},index=['A', 'B', 'C']) print(df) print(df.eq(100)) import pdb; pdb.set_trace() score = df.eq(100).mean(axis=1) * 100 # axis=1 means row-wise # axis=0 means column-wise https://stackoverflow.com/questions/67763805/how-to-calculate-matching-percentage-difference-between-two-datafram.. 공감수 0 댓글수 0 2023. 11. 15.
[Docker] None image들 삭제하기 docker rmi $(docker images -f "dangling=true" -q) 도움 주신 출처: https://jhkimmm.tistory.com/9 [Docker] none 이미지 삭제하기도커 이미지를 빌드하다보면 위와 같은 이미지들이 쌓이곤 하는데 일일히 ID입력해서 지우기는 너무 번거롭습니다. 이미지들을 일괄적으로 한번에 삭제하는 방법을 알아보겠습니다. docker rmi $(djhkimmm.tistory.com 공감수 1 댓글수 0 2023. 11. 13.
[vscode] ssh 접속 불가능할 때 만약 중간에 서버 내 환경(나의 경우엔 OS가 변경됨)이 변경됐고, 그 외 IP나 user는 그대로인 경우에 이전에 등록했던 ssh 를 통해 접속할 경우 에러와 함께 접속이 불가능할 때가 있다. 이럴 경우 내부 local terminal로 접속해서 다음과 같은 known_hosts파일을 열어보자. 메모장이나 notepad로 해당 파일을 열고 관련된 서버 정보를 삭제해주면 이전에 저장됐던 값을 삭제하고 다시 제대로 접속할 수 있다. 공감수 1 댓글수 4 2023. 11. 8.
[Docker] build시 cache 제거 docker build --no-cache -t something:tag . 공감수 1 댓글수 0 2023. 11. 2.
[python/PIL] image to pdf convert import os from PIL import Image directory = "./images" image_files = natsorted([filename for filename in os.listdir(directory) if filename.endswith('.jpg')]) images = [Image.open(directory + '/' + f) for f in image_files] images[0].save("out.pdf", "PDF", resolution=100.0, save_all=True, append_images=images[1:]) # 1부터 저장해야지 안그러면 똑같은 페이지 하나 더 들어감 공감수 1 댓글수 0 2023. 10. 17.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.