alt + 0215 : ×
사소한 Tip . 오류 해결법
reverse_dict= dict(map(reversed,pratice_dict.items()))
huggingface처럼 큰 모델이 올라가는 경우, git lfs로 대용량 파일을 올리고, 다운받을 수 있다. 나는 Ubuntu 를 사용중이며, 내가 구성한 anaconda 환경에서 git lfs를 설치하고 huggingface로부터 대용량 파일을 받아보자. Install curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt install git-lfs Download #내가 다운받고자 하는 폴더 안에서 $ git lfs install git clone [huggingface주소] ex) git clone https://huggingface.co/microsoft/layout..
보통 nvidia-smi로 GPU 사용량을 체크하는데, 그 외에 현재 떠있는 메모리나 프로세스 전반의 사용량을 확인하고 싶을 때는 htop 명령어를 사용하면 된다.
VSCODE로 파일을 관리할 때, 파일의 생성 시간, 수정시간을 확인하고 싶은데 관련된 확장 프로그램을 찾으니 아래 결과가 나왔다. 윈도우처럼 디렉토리 탐색기 사이드에 생성 시간이 표시되면 좋겠지만 그런 방식은 아직 못찾음. 현재로는 아래와 같이 파일 속성을 확인하는 정도로 파일 크기, 생성 날짜, 수정된 날짜 등을 확인할 수 있다. 설치방법 확장 프로그램 설치 다음 톱니바퀴에서 확장 탭을 누르거나 ctrl+shift+x를 누르면 아래와 같은 화면이 뜬다. 여기다가 file properties viewer를 검색하면 다음 프로그램이 나오는데, 이를 설치해주면 된다. 이를 설치해주고 난 후, 원하는 파일을 우클릭하여 아래와 같이 View file properties로 파일속성을 확인할 수 있다.
Json포맷으로 된 bbox 값이 중구난방으로 나열된 경우, 내가 원하는 순서대로 정렬하기 위한 코드 TL(Top Left) -> TR(Top Right) -> BR(Bottom Right) -> BL(Bottom Left) 순서 def coord_adjust(coord): """ coord : np.array [[xA,yA], [xB,yB], [xC,yC], [xD,yD]] """ distance = [] for idx, c in enumerate(coord): x = c[0] y = c[1] zero_distance = x+y distance.append([idx,zero_distance]) distance = sorted(distance, key=itemgetter(1)) left_top = coo..
https://docs.luxonis.com/en/latest/pages/tutorials/creating-custom-nn-models/#kornia Run your own CV functions on-device — DepthAI documentation | Luxonis When exporting the model to onnx, PyTorch isn’t very efficient. It creates tons unnecessary operations/layers which increases the size of your network (which can lead to lower FPS). That’s why we recommend using onnx-simplifier, a simple pytho..
보통 List를 사용할 때 내부 중복 제거를 위해서 단순히 set으로 중복을 제거한 후, 다시 list로 변환하는 경우가 많은것 같다. 나 역시도 간단했기 때문에 제일 많이 사용한 방식이다. sample_list = [1, 2, 3, 3, 4, 4, 5] new_list = list(set(sample_list)) >>> new_list >>> [3, 1, 4, 2, 5] 다만, Set을 사용하는 방식은 내부에 쌓아두었던 list의 순서가 무너진다는 단점이 있다. Python의 set 자체가 중복을 허용하지않으며, 동시에 Set 내부의 값들은 순서가 존재하지 않는 값으로 정의하기 때문이다. 이렇기 때문에 기존의 list 내부에 쌓아둔 값 순서를 유지하되, 중복을 제거할 경우 별도의 for문을 통해 신규 ..
보통 GPU에서 embedding size가 맞지 않는 것과 같은 데이터 또는 모델링 문제가 대다수라 한다. 다만, 나같은 경우엔 이미 Huggingface에서 제공하는 Transformer모델을 사용하기 때문에 Input이나 모델링은 따로 건들지 않아도 됐다. 좀 더 디테일한 에러 문구가 없나 찾아보던 도중 CUDA(GPU)로 돌리던 코드를 CPU로만 돌리면 디테일한 문구가 나온다 하여 CUDA_VISIBLE_DEVICES="" 로 돌려보거나 코드 상단에 아래와 같은 코드를 넣어 CPU로 돌리니 실제 hugging face 내부 함수에서 등록되어 있던 에러 문구가 등장해서 해결할 수 있었다. import os os.environ['CUDA_LAUNCH_BLOCKING'] = "1" #아니면 아래 문구로..
from glob import glob import os dir_lst = os.listdir("./outputs") for dirs in dir_lst: input_files = "./outputs/%s/*"%dirs for dir_n in glob(input_files): path = dir_n+"/json/" if len(os.listdir(path))==0: print("No_Json:%s"%path) else: continue 멀티프로세싱 프로그램 구동 중 특정 파일이 미생성되는 경우가 발생. 해당 파일의 존재유무를 파악하기 위한 간단한 python 코드
G마켓 best품목 중 각 클래스에 대해서 100개의 상품이 나열되어 있음 이 중 상품 명, 가격을 크롤링 한 후, 파일로 저장 >페이지에서 특정 값을 갖고 오고 싶을 땐 인터넷 창에서 F12눌러서 해당 파트 찾은 후, 우클릭 한다음 copy>copy selector를 통해 복사하면 자동으로 해당 파트를 받아오는 코드가 카피된다. ex) #skip-navigation-container > div.section__main.section__main-best > div > div > div > div > button.button__next 이 값을 Beautifulsoup 객체의 select_one 함수의 input으로 넣음 된다. import requests from bs4 import BeautifulSo..
print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB', 'Cached:', round(torch.cuda.memory_cached(0)/1024**3,1), 'GB') #or MB = 1024.0 * 1024.0 memory=torch.cuda.max_memory_allocated() / MB
파일 삭제 # 특정 파일 삭제할 때 import os os.remove("./test.txt") 특정 파일(or 확장자) 삭제 glob 설치 : pip install glob2 import os from glob import glob # .py확장자로 끝나는 파일을 다 삭제하고 싶을 때 [os.remove(f) for f in glob.glob("./test/*.py") 특정 폴더 내 전체 파일 삭제 dirPath = "./test" if os.path.exists(dirPath): for file in os.scandir(dirPath): print("Remove File: ",file) os.remove(file) 특정 폴더 포함, 폴더 내 전체 파일도 함께 삭제 shutil 설치 : pip inst..
nvidia-smi --query | fgrep 'Product Name'
# PIP INSTALL pip install ipywidgets jupyter nbextension enable --py widgetsnbextension # ANACONDA INSTALL conda install -c conda-forge ipywidgets +) 참고 블로그 : https://woongheelee.com/entry/%EC%97%90%EB%9F%AC%ED%95%B4%EA%B2%B0%EB%B2%95-ImportError-IProgress-not-found 에러해결법 ImportError: IProgress not found 연구실에 딥러닝 연구를 위한 멀티 GPU 장착 서버가 일곱대있다(더 있남??). 평소 안쓰던 놈에 텐서플로우 2 설치하고 텐서플로우 데이터셋(TensorFlow Da..
