KISTI 슈퍼컴퓨팅 기술 블로그

■ 뉴론 시스템 노드 정책 변경 안내 정책 변경시점 : 2022년 3월 17일 예방정비 점검(PM) 이후 정책 적용 파티션 : 모든 파티션 변경 내용 : 배타적 노드 할당 정책 -> 공유 노드 정책 ※배타적 노드 할당 정책 : 노드 단위 작업 할당 정책으로, 하나의 노드에 하나의 작업만을 할당 ※공유 노드 정책 : CPU 단위 할당 정책으로, 유휴 자원(CPU)이 존재하는 노드에 사용자 작업을 할당하는 방식이며, 하나의 노드에 여러 작업이 할당될 수 있음 ■ 뉴론 공유 노드 정책에서 메모리 할당량 설정 - 뉴론 시스템 자원 활용의 효율성 및 사용자의 안정적인 작업 수행을 위하여 아래와 같이 메모리 할당량을 자동 조절 memory-per-node = ntasks-per-node * cpus-per-task..

1. SLURM 스케줄러의 Fairshare 스케줄링 정책 Fairshare는 모든 사람이 클러스터 시스템을 사용할 수 있는 공정한 기회를 얻게 해주는 스케줄링 정책입니다. 사용자의 시스템 사용량을 기반하여 Fairshare 점수를 계산해내고, 이 점수를 기반으로 대기 작업에 대한 할당의 우선순위가 정해집니다. 구체적으로, 시스템을 조금 더 많이 사용한 사용자에 비해 시스템을 사용하지 않은 사용자의 대기 작업이 더 높은 우선순위를 얻게 해줍니다. 2. 사용자별 Fairshare 값 확인 방법 $ slurm_fs_check User RawUsage FairShare ----------------------------------------------- testuser 2696014 0.835264 위 테이블..

Neuron[가속기] FAQ 모음 # 배치작업 (11) Q. 계산 노드에서 작업 실행은 어떻게 하나요? A. 계산 노드에서의 작업 실행은 작업 스케줄러인 SLURM를 통해 수행하실 수 있습니다. 작업에 따른 스크립트 예제는 뉴론 사용자 지침서를 참고바랍니다. 뉴론 사용자 지침서는 KISTI 슈퍼컴퓨팅센터 홈페이지(www.ksc.re.kr)에서 기술지원 > 지침서 > 하드웨어 > 뉴론 > "스케줄러(SLURM)을 통한 작업 실행" 에서 확인 가능합니다. job_script를 작성하시고 sbatch 명령을 통해 작업을 올리실 수 있습니다. $ sbatch mpi.sh Q. 제출 한 작업의 진행 상태를 알고 싶어요. A. 작업 상태를 알려주는 명령은 squeue 입니다. $ squeue - 사용자 ID로 확인..

Nurion [5호기] FAQ 모음 # 배치작업 (14) Q. 계산 노드에서 작업 실행은 어떻게 하나요? A. 계산 노드에서의 작업 실행은 작업 스케쥴러인 PBS를 통해 수행하실 수 있습니다. 작업에 따른 스크립트 예제는 홈폴더 ~/job_examples 에 있습니다. job_script를 작성하시고 qsub 명령을 통해 작업을 올리실 수 있습니다. $ qsub mpi.sh Q. 제출한 작업의 진행 상태를 알고 싶어요. A. 작업 상태를 알려주는 명령은 qstat 입니다. $ qstat - 내 작업만 확인하는 경우 $ qstat -u $USER - 작업ID 의 상세 정보 $ qstat -f {작업ID} Q. 사용할 수 있는 자원을 확인하는 방법은 어떻게 되나요? A. pbs_status 명령을 통해 현재..

안녕하세요? KISTI 슈퍼컴퓨터 5호기 누리온 사용자 지침서는 국가슈퍼컴퓨팅센터 웹사이트(https://www.ksc.re.kr/gsjw/jcs/hd)에서 확인가능합니다. 초보 사용자를 위한 동영상 지침서는 본 슈퍼컴퓨팅 블로그 "사용자 지침서/동영상 지침서 [초보사용자]" 카테고리에서 확인하실 수 있습니다. (동영상 지침서) 감사합니다.

데스트톱 가상화(VDI)는 Windows 환경에서 고성능 그래픽 처리 기능이 필요한 어플리케이션 실행을 위한 원격 데스크톱 서비스다. VDI는 누리온의 파일시스템과 연동되어 별도 파일 이동 없이 가상머신(VM)에서 공학해석 전·후처리가 가능하다. VM에서 해석(solving)은 지원되지 않으며, VM내에서 터미널 접속 프로그램(putty 등)을 통해 누리온 시스템으로 해석을 수행하면 된다. VM당 3.0Ghz 4코어 CPU, 32GB 메모리, 8GB GPU 메모리가 할당되어 있으며, 총 8개의 VM으로 구성되어 있다. 한정된 VM으로 다수의 사용자 지원을 위해 VM접속 상태에서 2시간 동안 사용하지 않는 경우 자동 로그오프 된다. 현재 공학해석 어플리케이션은 Abaqus 2020, Ansys 2020 R..

TSMSF를 이용한 데이터 아카이빙(Archiving) 방법 1. 시스템 환경 및 사용 신청 누리온은 사용자의 중요 파일 및 대용량 파일의 장기간(계약 만료 후 1년) 보관을 지원하기 위하여 10PBytes의 테이프(Tape) 라이브러리(IBM TS4500)를 운영합니다. TSMSF(Tiered Storage Management Script Facility)는 사용자의 데이터 백업 및 아카이빙을 지원하기 위한 소프트웨어로 누리온의 Datamover 노드에 설치되어 운영되고 있습니다. TSMSF는 사용자 데이터를 자동으로 아카이빙하고 사용자가 데이터를 필요로 할 때 수동으로 복원(restore)할 수 있도록 지원을 합니다. 이는 관리자에 의해 정기적으로 이루어지는 사용자 홈 디렉터리(/home01) 백업과..

본 문서는 누리온 시스템에서 i-PI 소프트웨어 사용을 위한 기초적인 정보를 제공하고 있습니다. 따라서, i-PI 소프트웨어 사용법과 누리온/리눅스 사용법 등은 포함되어 있지 않습니다. 누리온/리눅스 사용법에 대한 정보는 KISTI 홈페이지 (https://www.ksc.re.kr)의 기술지원 > 지침서 내 누리온 사용자 지침서 등을 참고하시기 바랍니다. 1. i-PI 소개 - i-PI는 Python으로 작성된 Universal force engine 인터페이스입니다. - 원자간 상호작용에 대한 제일원리 평가 소프트웨어와 함께 사용하도록 설계되어 있습니다. - 본 문서는 i-PI와 LAMMPS를 같이 사용하는 경우에 대해 서술합니다. - LAMMPS 등 타 소프트웨어와 연동하여 계산을 수행하는 경우 상호..

본 문서는 뉴론 시스템에서 OpenFOAM 소프트웨어 사용을 위한 기초적인 정보를 제공하고 있습니다. 따라서, OpenFOAM 소프트웨어 사용법 및 뉴론/리눅스 사용법 등은 포함되어 있지 않습니다. 뉴론/리눅스 사용법에 대한 정보는 KISTI 홈페이지 (https://www.ksc.re.kr)의 기술지원 > 지침서 내 뉴론 사용자 지침서 등을 참고하시기 바랍니다. OpenFOAM 사용법에 대한 정보는 OpenFOAM 사이트(https://www.openfoam.com, https://openfoam.org, http://openfoamwiki.net)를 참고하시기 바랍니다. 1. 소프트웨어 설치 정보 (1) 설치 버전 - v1912 (2) 설치 위치 Version CPU 구분 설치 경로 비고v1912SK..

1. Jupyter 개요 가. JupyterHub ○ JupyterHub 란 멀티 사용자 환경에서 주피터 랩/노트북을 사용할 수 있는 오픈소스 소프트웨어를 뜻한다. ○ JupyterHub는 다양한 환경 (JupyterLab, Notebook, RStudio, Nteract 등)을 지원할 뿐만 아니라 인증 서버 (OAuth, LDAP, GitHub 등) 및 배치 스케줄러와도 (PBSPro, Slurm, LSF 등) 유연하게 연동 가능하다. ○ JupyterHub는 컨테이너 관리 플랫폼인 Kubernetes와도 연동이 쉬워 컨테이너 기반의 클라우드 환경에 쉽게 연동 가능하다. ※ Neuron 기반 JupyterHub는 5호기 Bright LDAP, OTP 인증기능을 추가하였고 Slurm 배치 스케줄러와 연동..

사용자 데이터를 슈퍼컴퓨터로 전송하는 방법입니다. - 슈퍼컴퓨팅센터에서는 입력 자료 및 결과 데이터 전송을 위해서 데이터 전송 노드를 운영하고 있습니다. - 데이터 전송 노드 주소 * nurion data mover : nurion-dm.ksc.re.kr * neuron data mover : neuron-dm.ksc.re.kr ** 대용량 데이터의 경우 ftp를 이용하여 전송할 것을 권장해 드립니다.

뉴론 스케줄러(slurm)를 활용한 인터렉티브 작업 방법을 설명합니다.

뉴론 시스템에서 slurm 스케줄러를 통한 작업 제출 방법을 설명합니다.

뉴론에서 conda를 활용하여 작업환경을 설정하는 방법입니다.

뉴론에서 SLURM 작업 스크립트를 이용하여 작업을 제출하는 방법입니다.