반치용/문제해결(trouble shooting)27 CPU / GPU 모니터링 및 로그 남기기 부하 테스트, 사용량 로그 등을 위한 로그 남기기 방법 top 로깅쪽은 리디렉션으로 쉽게 되는 반면, nvidia-smi의 경우 watch를 쓰면 정상적으로 되지 않는다. 따로 배치를 짤까 고민하다가 한 줄로 끝나는 법이 있어 모니터링 및 로깅을 남겨둔다. 1. 모니터링 1) CPU / Memory 모니터링 : top -b -n 1 -> 1은 얼마마다 체크할건지 (소숫점 가능) 2) GPU 모니터링 : watch nvidia-smi -d -n 1 -> 1은 얼마마다 체크할건지 (소숫점 가능) 2. 로깅(로그 남기기) 1) CPU / Memory 로깅 : top -d 1 -b > log_top.log 2) while true; do nvidia-smi >> log_nvidia-smi.log; sleep 1.. 2021. 12. 27. [에러]pymatch 에러 핸들링 Fitting Models on Balanced Samples: 1\100Error: Unable to coerce to Series, length must be 1: given 220 Fitting Models on Balanced Samples: 1\100Error: Unable to coerce to Series, length must be 1: given 220 에러 발생시 대처 에러 사유 : pymatch 공식은 업데이트 하고있지 않음 대처 방안 : pymatch를 지우고, pip install git+https://github.com/mc51/pymatch.git 로 pymatch 설치 2021. 5. 16. csv 파일 나누기 (엑셀에서 파일 안열릴 때) 엑셀에서는 줄수가 100만4천줄 조금 넘으면 열 수가 없는 경우가 많아서 100만줄 단위로 쪼개달라는 요청이 있어 만들었습니다. (첨부는 파이썬 코드입니다.) 주피터에서 쓰거나 파이썬 스크립트로 쓰실 수 있게 파일 두 개 다 올렸습니다. (내용은 조금 다를 수 있습니다. 파라미터만 수정해서 쓰시면 줄 수 기준도 변경 가능합니다.) 실행파일은 pyinstaller 로 만드시면 됩니다. (exe 파일이 필요하면 따로 연락 주세요. 드...드리겠습니다.) 다만, pands, os 관련 패키지를 다 한 번에 말기때문에 용량이 300메가 넘게 나올 수 있습니다 ㅎㅎㅎㅎ 메일은 bcy88@aumc.ac.kr 으로 보내주시거나 01091003935로 요청하시면 드립니다. 2021. 2. 17. 리액트에서 json을 못불러 올 때 대처법 eval(`file_list_json = ${file_list_json}`) { 키값 : "실제 값" } 형태로 되어있을 시 정식 json 형태가 아님. 정식은 { "키값" : "실제 값" } 이어야함. 위의 eval과 백팁 ` 을 이용한 방법으로 해결. 2020. 11. 10. 도커 컨테이너 내부 시간 맞추기 (datetime / date / kst ) 도커로 백엔드를 세팅해서 웹 개발을 해 보면 분명 서버 시간을 제대로 맞춰두었는데 9시간 정도의 시차가 발생한채로 작성시간이 올라가는 경우가 있다. timezone 설정이 달라서 그런건데, 도커 내부에서 하려고 하면 에러가 뜬다. 해결책은 생각보다 간단하다. ln -sf /usr/share/zoneinfo/Asia/Seoul/ /etc/localtime 하면 끝이다. 2020. 11. 9. [파이썬]의료 영상 dicom(dcm 파일)이미지 비식별화 dicom 파일 내 이미지에 환자정보등이 들어가서 지워야 할 상황에 사용할 수 있는 코드입니다. 주의 리눅스 환경에서 돌려야 하며, 아나콘다를 이용해 GDCM을 설치해야 합니다. (흑백은 그냥 잘 돌아갑니다. 색상이 들어간 이미지를 처리할 때 필요합니다.) GDCM 설치 : conda install gdcm -c conda-forge 환경 세팅 순서 리눅스 : (아나콘다 설치 -> 가상환경에 명령어로 gdcm 설치 -> 커널 등록 -> 주피터 노트북이나 랩에서 해당 커널을 선택 후 사용) 윈도우 : docker 설치 -> 리눅스 이미지 받기 -> 8000번 포트(jupyter hub 기준)로/필요한 폴더 마운트 해서 이미지 run-> 위의 리눅스 과정 진행 저에게 도커 파일을 받으신 경우에는 1. 도커 .. 2020. 6. 5. 이전 1 2 3 4 5 다음