그래도해야지어떡해

크게 4가지 단계로 나눌 수 있음 1.Data Processing : 데이터를 다루기 쉽게 처리하기( 주로 pandas 라이브러리를 사용) 2.Exploratory Data Analysis(EDA:탐색적 데이터 분석) : 데이터 훑어보기-데이터의 특이점 찾기(데이터 목적에 맞게) 3.Feature Engineering : 데이터 정제/재조립 4.Machine Learning : 모델 학습 및 테스트, 모델 성능 평가

스칼라가 여러개 모이면 벡터, 벡터가 여러개가 모이면 행렬, 행렬이 여러개 모여서 부피를 가지게 되어 n차원이 되면 N-D Array (=Tensor)가 됩니다. 이러한 수학적인 표현과 이것들의 연산을 할 수 있는 라이브러리가 바로 numpy !

딥러닝 라이브러리 최근에는 tensorflow에 포함되어 있음 tensorflow 2.0을 기반으로 동작함

pip list 파이썬 패키지들을 쭉 보여줌

현재 사용중인 파이썬의 버전 확인 python --version shell에서 바로 실행하고 싶으면, !python --version

shell은 원래 python 코드를 입력하는 곳인데, 코드 맨 앞에 '!'를 입력하게 되면 python이 아닌 Ubuntu 버전의 리눅스와 interaction이 가능함 즉, ubuntu에서 실행하고 싶은 명령어를 바로 실행할 수 있음 이것을 shell command(쉘 커맨드)라고 부름 정리 : 코드 맨 앞에 '!'를 삽입하여 쉘 커맨드로 운영체제에 직접 명령을 내릴 수 있음!(cmd 창 처럼)

1epoch : 데이터 셋의 모든 sample을 한번 학습 1iteration : 학습한 횟수 만약 데이터가 총 100개이고 batch size가 10이라면, 1iteration=10개의 데이터에 대해서 학습 즉, 1 epoch = 100개의 데이터를 10개씩 10번 학습한 것 = 10 iteration

각 gpu 사용량 확인하기 nvidia-smi 각 gpu의 상태 확인하기(아래 사진에서는 10개(0-9번)의 gpu 사용 가능) 10개의 gpu 중 2번 gpu만 사용하기(2번 gpu 할당하기) # Set the GPU 2 to use os.environ["CUDA_VISIBLE_DEVICES"] = "2" # Train on the GPU or on the CPU, if a GPU is not available device = torch.device('cuda:0') if torch.cuda.is_available() else torch.device('cpu') print('Device:', device) print('Current cuda device:', torch.cuda.current_devic..