서버가 지혼자 재부팅 된 후, 갑자기 docker ps -a와 docker image 명령어를 입력했을 때 docker가 아무것도 안보이는 경우 이를 위한 해결 방법 결론부터 말하자면 서버가 예상치못하게 재부팅되면서 개발 서버 상 따로 명시해둔 docker image path가 기본 directory root로 설정되면서 생긴 이슈였다. 즉 우리 개발서버는 /k8s_images"라는 폴더에 docker 정보를 저장해뒀었는데, 기본 Root인 /var/lib/docker로 셋팅되어 있었다. 이를 해결하기 위해 일단 아래 명령어로 docker 서비스를 꺼준다.systemctl stop docker.servicesystemctl stop docker.socket Docker가 정상적으로 종료되고 나면 dock..
전체 글
nvidia-graphic driver 재설치 후 명령어를 칠 때 느리게 뜨는 경우, pm모드를 켜주면 된다. sudo nvidia-smi -pm 1 https://forums.developer.nvidia.com/t/nvidia-persistenced-failed-to-initialize-check-syslog-for-more-details/74052
Object detection같은 task할때마다 매번 모델 시각화 할 때 클래스 별 RGB를 맵핑해줘야 하는 경우. 다른 패키지보다 이게 젤 간단... 단점은 비슷한 컬러들이 생길 수 있음. colors = {cls: (np.random.randint(0, 256), np.random.randint(0, 256), np.random.randint(0, 256)) for cls in CLASS}
개발 서버에서 지속적으로 접속할 때 신뢰할 수 있는 컴퓨터로 등록하여 password 없이 바로 접속 가능하도록 하는 방법. 1. 본인 로컬 개발 환경에 있는 id_rsa.pub을 카피 (보통 C:User:.ssh/안에 있음) 2. 개발 서버에 등록해주기 - 개발 서버 내 (~/.ssh)다음 위치로 이동하여, authorized_keys 라는 파일을 생성 후 그 안에 붙여넣기 - 그리고 해당 authorized_keys파일에 755권한 부여 chmod 755 ~/.ssh/authorized_keys 3. vscode 껐다 키면 Password 요구 안함! 도움 주신 출처 SSH key 생성하고, 서버에 등록해서 비밀번호 없이 접속하기 Intro 매번 SSH 접속 할 때 마다 비밀번호 입력하려면 매우 번거..
기록용. 1. Model GPU 사용량 체크 print('Memory Usage:') print('Max Alloc:', round(torch.cuda.max_memory_allocated(0)/1024**3, 1), 'GB') print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB') # MB 단위 : print(torch.cuda.memory_allocated() / 1024 /1024) print('Cached: ', round(torch.cuda.memory_cached(0)/1024**3,1), 'GB') ⚠️nvidia-smi는 reserved memory를 포함한 값이기 때문에 실제 모델의 GPU 사용량을 보여주는 것..
논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Paper / GitHub 1. Introduction self-supervised pre-trained Document Image Transformer model, DiT를 제안 ⇒ 다양한 포맷의 문서와 대규모 unlabeled 문서 데이터에 대해서 학습되어야만 human-labeled document image에 의존적이지 X, 다양한 AI task를 잘 다룰 수 있다. 본 논문에서는 DiT를 Image classification, Document Layout Analysis, Table Detection, STD 등 다양한 Do..
Paper 논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Abstract DLA(Document Layout Analysis) task는 multi-modality document pre-trained model이더라도 text feature, visual feature에 많이 영향을 받는 경향이 있음. DLA를 위한 Grid-based model도 사전학습 효과가 크게 나타나지 않음. multi-modal 정보를 최대한 활용하고, pre-trained 기술도 최대한 사용하기 위해서 VGT라는 DLA task를 위한 모델을 소개. VGT : 2D token level, Segme..
Paper 논문을 깊게 읽고 만든 자료가 아닙니다. 참고만 해주세요. 얉은 지식으로 핵심 위주로만 파악한 자료로, 없는 내용이 많습니다. 부가적인 의견 환영입니다. 댓글 부탁드립니다. Abstract 기존의 DLA task는 데이터에 대한 부담으로 인해 접근법이 어려운 task였고, 이를 해결하기 위해 오로지 GT가 따로 없는 상태에서도 self-supervision이 가능한 vision based pre-trained model을 제안. 각 문서 별 GT Layout dataset 을 만들기보다, 문서 내 pseudo-layout을 만들어 image encoder가 문서 내 요소를 선행학습 하도록 하고, self-supervised framework로 각 요소 간 localization을 학습함, 그 ..
COCO 형태의 train, val, test JSON파일 안에는 여러 클래스가 있다. 이 중 내가 특정 경우에 일부 클래스만 학습하고자 할 때 해당 Json파일을 수정할 수 있도록 해주는 오픈소스가 있어 공유한다. https://github.com/immersive-limit/coco-manager GitHub - immersive-limit/coco-manager: Scripts to manage COCO datasets Scripts to manage COCO datasets. Contribute to immersive-limit/coco-manager development by creating an account on GitHub. github.com 간단하게 원하는 input file, outp..
dictionary, list, np arr같은 python 객체를 파일로 binary파일로 저장하여 빠른 속도 처리가 가능하도록 함. pkl file reading # Data Loading import pickle import os data_dir = './dataset/pkl_dir/' file_lst = os.listdir(data_dir) # directory안에 있는 모든 pkl파일을 다 로딩해서 그 중 하나만 load with open(os.path.join(data_dir, file_lst[0]), 'rb') as fr: # 여기선 0-index(첫번째)파일을 로드 data = pickle.load(fr) print(data) print(data.keys()) pkl file writing..
