LMDB에 저장된 image id, label, image값 까지 받아서 image로 따로 저장하고, label과 path를 txt파일로 저장하는 코드 Image값은 PIL 내 decode 참고로 LMDB PATH는 해당 lmdb 파일이 있는 폴더의 이름을 써주면 됨. ex) train.mdb 파일이 ./test/train.mdb 와 같은 경로이면 ./test를 써주면 됨 import lmdb from tqdm import tqdm import six from PIL import Image import os from glob import glob def read_lmdb(lmdb_file, img_save_dir, txtfile, rgb = True): lmdb_env = lmdb.open( lmdb_f..
분류 전체보기
from glob import glob import os, json python_file_lst = sorted(glob("./**/*.py", recursive = True)) print(python_file_lst) for python_file in python_file_lst: rindex = python_file.rindex('/') python_file_tf = python_file[:rindex+1]+'tf_'+python_file.split('/')[-1] print(python_file_tf) !tf_upgrade_v2 --infile {python_file} --outfile {python_file_tf}
Network의 입력으로 Batch 형태의 image 뭉치를 제공하는데 다음과 같은 에러가 발생했다. # proc_image = (batch, 32, 100, 1) == Batch Size, Width, Height, Channel Num preds = self.sess.run(self.prediction, feed_dict={self.image:proc_image}) proc_image는 앞서 전처리를 통해 np.array() 형태의 image tensor list를 tf.Tensor형태로 변경해놓은 상황이었고, 구글링을 해보니 계속 proc_image가 np.array()형태여야 한다길래 억지로 proc_image = np.array(proc_image)로 형변환을 해서 아래와 같이 확인했는데도, 문..
WARNING:tensorflow:Entity could not be transformed and will be executed as-is. Please report this to the AutgoGraph team. When filing the bug, set the verbosity to 10 (on Linux, `export AUTOGRAPH_VERBOSITY=10`) and attach the full output. Cause: converting : AttributeError: module 'gast' has no attribute 'Index' gast library를 0.2.2로 다운그레이드 해서 Warning 삭제 가능 pip install gast==0.2.2 링크 WARNING:tens..
from difflib import SequenceMatcher txt = '큐알론점안액0.3%(히알루론산나트륨)_' pat = '히알루론산나트륨)_(1.05MG/0.35ML' match = SequenceMatcher(None, txt, pat).find_longest_match(0, len(txt), 0, len(pat)) print(match) print(txt[match.a: match.a + match.size]) # -> apple pie print(pat[match.b: match.b + match.size]) sum_txt = txt[:match.a] + pat[match.b:] print(sum_txt)
import matplotlib.pyplot as plt from glob import glob import os, json import numpy as np import os.path as osp from mmcv import Config from glob import glob from PIL import Image import mmcv from tqdm import tqdm import torchvision.transforms as transforms def aihub2labelme(save_dir, jsonfile) : imgname = jsonfile.replace('.json', '.jpg') img = plt.imread(imgname) imgname = os.path.basename(imgn..
참고 링크 TFRecord 파일 읽고 쓰기 TFRecord를 통한 딥 러닝 학습 데이터셋 만들기 velog.io
https://sike6054.github.io/blog/keras/second-post/ Keras 코드 수행 시에 출력되는 Warning을 포함한 기타 메시지 제거. 0. IntroKeras를 설치하고 코드를 수행하면 아래와 같은 끔찍한 메시지를 볼 수 있다. sike6054.github.io import tensorflow as tf tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.ERROR)
논문 논문을 깊게 읽고 만든 자료가 아니므로, 참고만 해주세요. 얕은 지식으로 모델의 핵심 위주로만 파악한 자료이다 보니 없는 내용도 많습니다. 혹시 사용하실 경우 댓글 부탁드립니다. 참고 자료 : https://jhtechblog.tistory.com/m/11
신경망의 특정 레이어를 삭제하려 할 때, model.state_dict()로 pre-trained model을 받아오고, 레이어를 삭제하려는 도중 발생한 에러. Dictionary 가 반복 실행(즉, for문) 안에서 변경되면서 발생하는 에러. For문 입장에서는 삭제한 key 'rec_head.encoder.emb'가 있어야 하는데 중간에 변경되서 없어졌다고 경고를 보내는 꼴이다. for key, value in checkpoint['state_dict'].items():# For문 하단의 삭제는 문제가 없는데, 다음 iteration을 돌 때 에러가 발생 if 'rec_head.encoder.emb' in key: checkpoint['state_dict'].pop(key)# 삭제까지는 정상적으로 되..
참고 블로그 OpenCV - 10. 히스토그램과 정규화(Normalize), 평탄화(Equalization), CLAHE 이번 포스팅에서는 히스토그램에 대해 알아보겠습니다. 이번 포스팅 역시 '파이썬으로 만드는 OpenCV 프로젝트(이세우 저)'를 정리한 것임을 밝힙니다. 코드: github.com/BaekKyunShin/OpenCV_Project_Python/tr bkshin.tistory.com https://engineer-mole.tistory.com/12 [python/OpenCV] 이미지 처리 예제 Q21~Q25 문제 링크 https://github.com/yoyoyo-yo/Gasyori100knock/tree/master/Question_21_30 yoyoyo-yo/Gasyori100knoc..
https://stackoverflow.com/questions/47432168/taking-subsets-of-a-pytorch-dataset Taking subsets of a pytorch dataset I have a network which I want to train on some dataset (as an example, say CIFAR10). I can create data loader object via trainset = torchvision.datasets.CIFAR10(root='./data', train=True, ... stackoverflow.com Epoch에 따라 홀수, 짝수에 맞춰서 DataLoader 내 Random Sampling을 수행하며, 전체 데이터를 절반으로 ..
# 현재 위치에서 디렉토리(폴더) 개수 세기 ls -l | grep ^d | wc -l # 현재 위치에서 파일 개수 세기 ls -l | grep ^- | wc -l # 현재 위치에서 하위 파일 개수 세기 find . -type f | wc -l 출처 : https://lee-mandu.tistory.com/420 리눅스 파일 개수 및 디렉토리(폴더) 개수 세기 간단한 명령어만 적어두기 위하여 포스팅합니다. 현재 위치에서 디렉토리 즉 폴더 개수 세기 ls -l | grep ^d | wc -l 위의 명령어를 실행 시키면 현재 위치의 디렉토리(파일) 개수를 체크 할 수 있습 lee-mandu.tistory.com 간혹 여러 폴더에서 개수를 세고싶을때는 다음 bash script 코드로 확인할 수 있다. fin..
