MintPsycho's Blog

case 1 : 없는 layer 무시 model.load_state_dict(torch.load(opt.saved_model), strict=False) case 2 : layer 에서의 size mismatch #... import logging logger = logging.getLogger() logger.setLevel(logging.INFO) formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s') stream_handler = logging.StreamHandler() stream_handler.setFormatter(formatter) logger.addHandler(stream_handler) #... class ..

오늘은 Beutiful Soup 과 Selenium 을 통해 뉴스 헤드라인, url > 작성 날짜, 작성 기자, 뉴스 기사 를 크롤링 해 볼 것이다. +) 뉴스 기사는 기자 및 출판사에 저작물 등록이 되어있으므로 상업적 용도로 사용 불가능하다. 또한 크롤링도 해당 사이트의 robots.txt 가 허용되는지 확인 후 크롤링 하도록 하자. 먼저 Selenium 을 추가적으로 사용하는 이유는 뉴스 페이지들의 동작 방식 때문인데, 반응형 웹페이지 같은 동적 페이지에서는 Beutiful soup의 selector 가 제 기능을 못하기 때문이다. 첫번째로, 환경 세팅을 해보자! 사용할 라이브러리, ChromeDriver들을 다운 받아준다. pip install bs4 pip install selenium . (중요..

list 순서가 있는 수정가능한 객체의 집합. 수정, 삭제, 추가가 가능합니다. list 는 [] 대괄호로 선언되어지며, 내부 원소는 ,로 구분됩니다. import copy ## List init ## list = [] list = list() ## Append ## -- O(1) list.append(3) list.append(5) ## Extend ## -- O(k) list.extend([8,7,4,1,2,6]) ## Delete ## -- O(n) del list[1] list.remove(1) ## Sort ## -- O(nlogn) list.sort() #오름차순 list.sort(reverse=True) #내림차순 res = sorted(list) ## Pop ## list.pop() #가장..

Pillow(PIL)은 이미지를 불러올때, RGB 순서를 사용하고 OpenCV는 BGR 순서을 사용한다는 점을 알고 있자. 또한 파이썬에서 openCV Mat 은 numpy.ndarray 형식을 띈다. To convert from PIL image to OpenCV use: import cv2 import numpy as np from PIL import Image pil_src =Image.open("test.jpg") # open image using PIL # use numpy to convert the pil_image into a numpy array numpy_src=numpy.array(pil_src) # convert to a openCV2 image, notice the COLOR_RGB..

가상환경 만들기 conda create -n {envname} conda create -n {envname} python=={version} 사용가능 파이썬 버전 보기 conda search python 가상환경 접근하기 conda activate {envname} 가상환경 나오기 conda deactivate 가상환경리스트 확인하기 conda info --envs conda env list 가상환경 삭제 (all 은 가상환경의 모든 라이브러리 함께 삭제) conda remove -n {envname} --all requirements.txt 파일을 통한 설치 pip install -r requirements.txt requirements.txt 파일을 통한 설치 pip install -r require..

오늘은 구글에서 이미지를 크롤링할 일이 생겨서, 파이썬을 통해 구현해 보았다. 간단한 검색어를 입력하면 그 검색어에 해당하는 이미지들을 모두 저장하는것으로, 특히 중요한점은 썸네일 이미지저장이 아닌 온전한 이미지! 를 저장한다는 점이다. (+ timeout thread 추가 21.07.30) 셀리니움 구글 이미지 다운도중 정확한 원인은 모르겠지만(서버문제인가?) 무튼, 로딩된 전체 스크롤을 다운하지 못하고 중간에서 멈추는 현상이 있었다. 때문에 해당 이미지 다운 과정에 일정 시간이 지나면, Exception 을 반환하는 타임아웃 스레드를 추가로 정의해주었다. 또한 Xpath는 크롬 버전 업데이트마다 변동될 때가 있는것같다. (주기적으로 확인해주어야함.) . . sites.google.com/chromiu..