KISTI 슈퍼컴퓨팅 기술 블로그

■ 뉴론 시스템 노드 정책 변경 안내 정책 변경시점 : 2022년 3월 17일 예방정비 점검(PM) 이후 정책 적용 파티션 : 모든 파티션 변경 내용 : 배타적 노드 할당 정책 -> 공유 노드 정책 ※배타적 노드 할당 정책 : 노드 단위 작업 할당 정책으로, 하나의 노드에 하나의 작업만을 할당 ※공유 노드 정책 : CPU 단위 할당 정책으로, 유휴 자원(CPU)이 존재하는 노드에 사용자 작업을 할당하는 방식이며, 하나의 노드에 여러 작업이 할당될 수 있음 ■ 뉴론 공유 노드 정책에서 메모리 할당량 설정 - 뉴론 시스템 자원 활용의 효율성 및 사용자의 안정적인 작업 수행을 위하여 아래와 같이 메모리 할당량을 자동 조절 memory-per-node = ntasks-per-node * cpus-per-task..

1. SLURM 스케줄러의 Fairshare 스케줄링 정책 Fairshare는 모든 사람이 클러스터 시스템을 사용할 수 있는 공정한 기회를 얻게 해주는 스케줄링 정책입니다. 사용자의 시스템 사용량을 기반하여 Fairshare 점수를 계산해내고, 이 점수를 기반으로 대기 작업에 대한 할당의 우선순위가 정해집니다. 구체적으로, 시스템을 조금 더 많이 사용한 사용자에 비해 시스템을 사용하지 않은 사용자의 대기 작업이 더 높은 우선순위를 얻게 해줍니다. 2. 사용자별 Fairshare 값 확인 방법 $ slurm_fs_check User RawUsage FairShare ----------------------------------------------- testuser 2696014 0.835264 위 테이블..

Neuron[가속기] FAQ 모음 # 배치작업 (11) Q. 계산 노드에서 작업 실행은 어떻게 하나요? A. 계산 노드에서의 작업 실행은 작업 스케줄러인 SLURM를 통해 수행하실 수 있습니다. 작업에 따른 스크립트 예제는 뉴론 사용자 지침서를 참고바랍니다. 뉴론 사용자 지침서는 KISTI 슈퍼컴퓨팅센터 홈페이지(www.ksc.re.kr)에서 기술지원 > 지침서 > 하드웨어 > 뉴론 > "스케줄러(SLURM)을 통한 작업 실행" 에서 확인 가능합니다. job_script를 작성하시고 sbatch 명령을 통해 작업을 올리실 수 있습니다. $ sbatch mpi.sh Q. 제출 한 작업의 진행 상태를 알고 싶어요. A. 작업 상태를 알려주는 명령은 squeue 입니다. $ squeue - 사용자 ID로 확인..

본 문서는 뉴론 시스템에서 OpenFOAM 소프트웨어 사용을 위한 기초적인 정보를 제공하고 있습니다. 따라서, OpenFOAM 소프트웨어 사용법 및 뉴론/리눅스 사용법 등은 포함되어 있지 않습니다. 뉴론/리눅스 사용법에 대한 정보는 KISTI 홈페이지 (https://www.ksc.re.kr)의 기술지원 > 지침서 내 뉴론 사용자 지침서 등을 참고하시기 바랍니다. OpenFOAM 사용법에 대한 정보는 OpenFOAM 사이트(https://www.openfoam.com, https://openfoam.org, http://openfoamwiki.net)를 참고하시기 바랍니다. 1. 소프트웨어 설치 정보 (1) 설치 버전 - v1912 (2) 설치 위치 Version CPU 구분 설치 경로 비고v1912SK..

1. Jupyter 개요 가. JupyterHub ○ JupyterHub 란 멀티 사용자 환경에서 주피터 랩/노트북을 사용할 수 있는 오픈소스 소프트웨어를 뜻한다. ○ JupyterHub는 다양한 환경 (JupyterLab, Notebook, RStudio, Nteract 등)을 지원할 뿐만 아니라 인증 서버 (OAuth, LDAP, GitHub 등) 및 배치 스케줄러와도 (PBSPro, Slurm, LSF 등) 유연하게 연동 가능하다. ○ JupyterHub는 컨테이너 관리 플랫폼인 Kubernetes와도 연동이 쉬워 컨테이너 기반의 클라우드 환경에 쉽게 연동 가능하다. ※ Neuron 기반 JupyterHub는 5호기 Bright LDAP, OTP 인증기능을 추가하였고 Slurm 배치 스케줄러와 연동..

가. Tensorflow에서 Horovod 사용법다중노드에서 멀티 GPU를 활용할 경우 Horovod를 Tensorflow와 연동하여 병렬화가 가능하다. 아래 예시와 같이 Horovod 사용을 위한 코드를 추가해주면 Tensorflow와 연동이 가능하다. Tensorflow 및 Tensorflow에서 활용 가능한 Keras API 모두 Horovod와 연동이 가능하며 우선 Tensorflow에서 Horovod와 연동하는 방법을 소개한다. (예시: MNIST Dataset 및 LeNet-5 CNN 구조) ※ Tensorflow에서 Horovod 활용을 위한 자세한 사용법은 Horovod 공식 가이드 참조 (https://github.com/horovod/horovod#usage) ◦ Tensorflow에서..

Keras(케라스)는 파이썬으로 작성된 오픈 소스 신경망 라이브러리로, MXNet, Deeplearning4j, 텐서플로, Microsoft Cognitive Toolkit 또는 Theano 위에서 수행할 수 있는 High-level Neural Network API이다. 케라스의 특징은 User friendliness, Modularity, Easy Extensibility로 Multi-GPU를 사용하고자 하는 사용자도 코드를 최소한으로 수정하여 쉽게 Multi-GPU를 사용할 수 있도록 하고 있다. KISTI GPU 클러스터인 NEURON의 큐 구성은 다음과 같으며, ivy_k40_2, ivy_v100_2, cas_v100_2, cas32c_v100_2, cas_v100nv_4 큐에는 한 노드에 2,..

본 문서는 뉴론 시스템에서 가우시안 소프트웨어 사용을 위한 기초적인 정보를 제공하고 있습니다. 따라서, 가우시안 소프트웨어 사용법 및 뉴론/리눅스 사용법 등은 포함되어 있지 않습니다. 뉴론/리눅스 사용법에 대한 정보는 KISTI 홈페이지 (https://www.ksc.re.kr)의 기술지원 > 지침서 내 뉴론 사용자 지침서 등을 참고하시기 바랍니다. 1. 가우시안 소개가우시안은 에너지, 분자구조 및 진동주파수를 예측하는 분자 모델링 패키지이며, 화학, 물리, 생명과학, 공학 분야 연구자를 위한 프로그램입니다. 자세한 사항은 가우시안 사의 홈페이지를 통해 얻을 수 있습니다.홈페이지 주소: http://gaussian.com 2. 설치 버전 및 라이선스- 설치 버전 : Rev.A03, Rev.B01, Rev..

뉴론 시스템은 스케쥴러로 slurm 을 사용하고 있습니다. 이 문서에서는 사용자가 뉴론 시스템에서 기본적인 작업 제출을 할 수 있는데 목적을 두고 있으며, MPI 작업 제출 등은 별도의 문서에서 설명할 계획입니다. 그 밖의 자세한 정보는 아래를 참고해 주시기 바랍니다. [ slurm 온라인 문서 ]https://slurm.schedmd.com/documentation.html 1. 기본명령어 요약 명령어 내용 $ sbatch [옵션..] 스크립트 작업 제출 $ scancel 작업ID 작업 삭제 $ squeue 작업 상태 확인 $ smap 작업 상태 및 노드 상태 확인 $ sinfo [옵션..] 노드 정보 확인 2. sinfo slurm 노드 및 파티션 정보를 조회합니다. 사용방법 및 예제는 아래와 같습니..

2019년 05월 서비스 오픈하는 뉴론 시스템의 제원은 다음과 같습니다. 1. GPU 노드 제원 (1) ivy_k40_2 구분 내용 CPU Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.5GHz ( 노드 당 2 소켓, 총 20코어 ) GPU NVIDIA Tesla K40m (1 노드당 2 K40 카드 탑재) CPU 메모리 DDR3/1866MHz (노드당 128GB, CPU 코어 당 6.4GB) GPU 메모리 K100 카드당 12GB 운영체제 CentOS 7.4 할당 노드 수 4 Total CPU core 수 80 최대제출/실행 작업개수 2 사용자별 최대 GPU 점유개수 6 (2) ivy_v100 구분 내용 CPU Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.5GHz ..