기타
-
pkl 파일 로드 중 발생한 문제였습니다. 당연히 pickle.dump로 처리된 파일로 생각해서 pickle.load, gzip.load 다써봤으나 오류가 발생했고, 파일을 쓴 원 소스를 뜯어보니 joblib으로 작성된 거였습니다. 해결 방법 import joblib with open('__.pkl', 'rb') as f: data = joblib.load(f) print(data) 모든 경우에 위의 라이브러리(joblib)가 들어맞는 게 아닐 수 있으며, joblib, pickle, gzip으로 다 해봐도 안될 경우는 pkl 파일을 작성하는 부분의 소스를 다시 살펴보시는 게 좋을 것 같습니다.
_pickle.UnpicklingError: invalid load key, '\xc8' 오류해결pkl 파일 로드 중 발생한 문제였습니다. 당연히 pickle.dump로 처리된 파일로 생각해서 pickle.load, gzip.load 다써봤으나 오류가 발생했고, 파일을 쓴 원 소스를 뜯어보니 joblib으로 작성된 거였습니다. 해결 방법 import joblib with open('__.pkl', 'rb') as f: data = joblib.load(f) print(data) 모든 경우에 위의 라이브러리(joblib)가 들어맞는 게 아닐 수 있으며, joblib, pickle, gzip으로 다 해봐도 안될 경우는 pkl 파일을 작성하는 부분의 소스를 다시 살펴보시는 게 좋을 것 같습니다.
2021.12.20 -
npy로 dictionary data가 저장된 경우 불러올 때의 코드입니다. import numpy as np params = {'beta': np.array(betas), 'pose': pose} np_path = 'params.npy') np.save(np_path, params) 저장하기 import numpy as np params = np.load('params.npy', allow_pickle=True) print(params.item().get('beta').shape) print(params.item().get('pose').shape) 불러오기 : 불러올 때는 item().get('키') 형식으로 불러와서 사용하면 됩니다. 참조 : https://stackoverflow.com/quest..
dictionary data npy로 저장/불러오기npy로 dictionary data가 저장된 경우 불러올 때의 코드입니다. import numpy as np params = {'beta': np.array(betas), 'pose': pose} np_path = 'params.npy') np.save(np_path, params) 저장하기 import numpy as np params = np.load('params.npy', allow_pickle=True) print(params.item().get('beta').shape) print(params.item().get('pose').shape) 불러오기 : 불러올 때는 item().get('키') 형식으로 불러와서 사용하면 됩니다. 참조 : https://stackoverflow.com/quest..
2021.12.20 -
파이썬 라이브러리 설치 (python setup.py install) 시 발생한 오류입니다. pip install 명령어를 통해서도 발생할 수 있는데요. python3.8 버전 새로 설치하면서 설치되지 않은 라이브러리가 있었던 것 같습니다. 아래 명령을 통해 해결했습니다. 해결방법 apt-get install python3.8-dev 참고자료 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=chandong83&logNo=220832858287 fatal error: Python.h: No such file or directory pyaudio를 설치하려가 아래와 같이 명령어를 입력하였더니 엄청난 에러가 발생했다. 에러 해결 방법 아..
[오류해결] fatal error: Python.h: No such file or directory파이썬 라이브러리 설치 (python setup.py install) 시 발생한 오류입니다. pip install 명령어를 통해서도 발생할 수 있는데요. python3.8 버전 새로 설치하면서 설치되지 않은 라이브러리가 있었던 것 같습니다. 아래 명령을 통해 해결했습니다. 해결방법 apt-get install python3.8-dev 참고자료 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=chandong83&logNo=220832858287 fatal error: Python.h: No such file or directory pyaudio를 설치하려가 아래와 같이 명령어를 입력하였더니 엄청난 에러가 발생했다. 에러 해결 방법 아..
2021.10.20 -
우분투에서 sftp 서버의 폴더를 로컬에 마운트하는 명령입니다. -p 옵션으로 포트 지정하고 user에 본인이 접속 시 사용하는 user_id 적으면 됩니다. sudo sshfs -p 1111 -o allow_other user@x.x.x.x:/backups/server1 /my/backups 참고자료 https://kldp.org/node/105577 [완료] 터미널에서 다른 서버로 ssh 연결 할때 Temporary failure of name resolution | KLDP 원격 파일시스템을 마운트 하기 위해서 sshfs를 설치했습니다. sshfs root@xxx.xxx.xxx.xxx:/example /mnt/example 실행시 에러는 아래와 같습니다. read: Connection reset b..
서버 폴더 마운트하기우분투에서 sftp 서버의 폴더를 로컬에 마운트하는 명령입니다. -p 옵션으로 포트 지정하고 user에 본인이 접속 시 사용하는 user_id 적으면 됩니다. sudo sshfs -p 1111 -o allow_other user@x.x.x.x:/backups/server1 /my/backups 참고자료 https://kldp.org/node/105577 [완료] 터미널에서 다른 서버로 ssh 연결 할때 Temporary failure of name resolution | KLDP 원격 파일시스템을 마운트 하기 위해서 sshfs를 설치했습니다. sshfs root@xxx.xxx.xxx.xxx:/example /mnt/example 실행시 에러는 아래와 같습니다. read: Connection reset b..
2021.09.09 -
정규식을 이용해서 문자열에서 특정 문자로 시작하고, 특정 문자로 끝나는 단어를 찾을 수 있습니다. 예시 : w로 시작하고, t로 끝나는 단어 찾기 import re s = 'hello what up woww wowwl wont want' pattern = r'\bw\w*a\b' re.findall(pattern, s) 예상대로 위의 코드는 "['what', 'wont', 'want']"를 출력하게 됩니다. 정규식에 사용된 부분들의 의미는 다음과 같습니다. \b : 단어의 첫 부분 w : 문자 'w' \w* : 0글자 이상의 한 단어 a : 문자 'a' \b : 단어의 끝 부분 만약 정규식으로 처리하기 너무 복잡한 케이스라고 한다면, 그냥 split 하고 조건문으로 처리하는 게 나을수도 있습니다. [x f..
Python 정규식 - 특정 문자로 시작하고 끝나는 단어 찾기정규식을 이용해서 문자열에서 특정 문자로 시작하고, 특정 문자로 끝나는 단어를 찾을 수 있습니다. 예시 : w로 시작하고, t로 끝나는 단어 찾기 import re s = 'hello what up woww wowwl wont want' pattern = r'\bw\w*a\b' re.findall(pattern, s) 예상대로 위의 코드는 "['what', 'wont', 'want']"를 출력하게 됩니다. 정규식에 사용된 부분들의 의미는 다음과 같습니다. \b : 단어의 첫 부분 w : 문자 'w' \w* : 0글자 이상의 한 단어 a : 문자 'a' \b : 단어의 끝 부분 만약 정규식으로 처리하기 너무 복잡한 케이스라고 한다면, 그냥 split 하고 조건문으로 처리하는 게 나을수도 있습니다. [x f..
2021.08.13 -
딥러닝 논문을 보다보면 ablation study 섹션이 종종 등장하곤 합니다. 이 용어는 해당 논문에서 제안한 내용이 모델에 어떤 영향을 미치는지 확인하고자 할 때, 그 내용(요소)을 포함한 모델과 그렇지 않은 모델을 비교하는 것을 말합니다. 이를 통해 시스템의 인과관계를 단순하지만 명확하게 알아볼 수 있기 때문입니다. 참고자료 : https://fintecuriosity-11.tistory.com/73
논문 용어 "ablation study"딥러닝 논문을 보다보면 ablation study 섹션이 종종 등장하곤 합니다. 이 용어는 해당 논문에서 제안한 내용이 모델에 어떤 영향을 미치는지 확인하고자 할 때, 그 내용(요소)을 포함한 모델과 그렇지 않은 모델을 비교하는 것을 말합니다. 이를 통해 시스템의 인과관계를 단순하지만 명확하게 알아볼 수 있기 때문입니다. 참고자료 : https://fintecuriosity-11.tistory.com/73
2021.08.09