LPBS

LPBS (Local Portable Batch System) е инструмент за подражават PBS на местно работна станция.
PBS / въртящ момент е в системата на работни графици, които се използват на много високо производителни компютърни клъстери. Пакетът LPBS осигурява средства да тече PBS работа скриптове на местно работна станция. Конкретно, LPBS предоставя командата lqsub че отнема същите опции, както команда книжка qsub и работи по сценарий на работни места на местно ниво, в среда, почти идентични с този, който PBS / TORQUE ще осигури. Работата ще работи във фонов режим и да получат едно ID работа. За разлика от системата PBS, LPBS няма да изпълни някое от графика, а просто ще се проведе на отправеното към нея работа. LPBS осигурява допълнителни средства за управление на текущите работни места.
<Силен> Монтаж
LPBS може да се инсталира от PyPi, използвайки
PIP инсталирате LPBS
Алтернативно, опаковката може да бъде инсталиран от източник с
питон setup.py инсталиране
<Силен> Configuration
LPBS магазините всичките му конфигурация и на данни в папката, дадени в променлива среда $ LPBS_HOME на. Трябва да се определи Тази променлива среда. Конфигурацията е в lpbs.cfg файла вътре $ LPBS_HOME. Ако този файл не съществува, когато някоя от LPBS скриптове се експлоатират, ще бъде създаден конфигурационен файл със следните стойности по подразбиране:
[Сървър]
# Пълното име на хост на подаване на сървъра (hostname.domain). Ще бъдат отпуснати
# Да използвате работа чрез променлива среда PBS_SERVER. IDs работа ще свършат
# В сървъра хоста
име на хост: Localhost
домейн: местно
[Node]
# Пълното име на хост на точката за изпълнение (hostname.domain). Ще бъдат отпуснати
# Да използвате работа чрез променлива среда PBS_O_HOST. Тъй LPBS е
# Предназначени за изпълнение на работни места на местно равнище, настройките тук по принцип трябва да бъде
# Идентични с тези в [сървър] раздела
име на хост: Localhost
домейн: местно
[LPBS]
# Задаване за изпълнение на работни места.
# Ако "username_in_jobid" е активирана, идентификационните номера на работни места ще имат формата
# "Seqnr.user.hostname.domain", където "ползвател" е потребителското име на потребителя
# Подаване на заданието.
# Файлът дадено в "sequence_file" се използва за следене на "seqnr"
# Появява в ID на работа.
# Файлът дадено в "лог" се използва за регистриране на всички LPBS събития. И двете
# "Sequence_file" и "лог" са относителни спрямо $ LPBS_HOME.
username_in_jobid: 0
sequence_file: последователност
лог: lpbs.log
[Scratch]
# Settings за пространството нулата условие за работни места. "Scratch_root" дефинира
# Населено място, където работните места трябва да пишат временни данни. Ако даден като относителен път,
# Е спрямо $ LPBS_HOME. Променливи среда ще бъдат разширени в
# Момента на подаването на работа.
# Ако стойността на # "create_jobid_folder" е настроен на 1, папка с името на
# Пълния ID работа се създава вътре scratch_root. Тази папка е автоматично
# Заличава, когато работата приключва, освен ако не е "keep_scratch" е зададен в положение 1. Ако заданието
# Провали, драскотината няма да бъде изтрит, освен ако не е "delete_failed_scratch" е зададен
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Уведомление]
# Settings за това как потребителят трябва да бъдат уведомени за събития като началото
# И край на работа. Ако sent_mail е настроен на 1, писма ще бъдат изпратени за
# уведомления в зависимост от стойността на "-м" опцията да lqsub. Ако
# "Send_growl" е настроен на 1, Growl (http://growl.info) се използва за уведомление
# На MacOS X. Известия чрез Growl не се вземат под внимание "-м" опции
# Време подаването на работни места.
send_mail: 0
send_growl: 0
[Mail]
# настройки SMTP за известия по имейл. Уведомителни писма ще бъдат изпратени от
# На адреса, посочен от "от" опция. Сървърът за SMTP, дадено в "SMTP" е
# Използва за изпращане на имейли, ако "автентичността" е настроен на 1, автентификация е
# Направено с дадената "потребителско име" и "парола". Ако "TLS" е 1, TLS криптиране
# Ще се използва.
от: nobody@example.org
SMTP: smtp.example.com:587
потребителско име: потребител
Парола: тайна
удостоверяване: 0
TLS: 1
[Growl]
# Settings за ръмжене нотификации. Уведомления се изпращат или
# Localhost или отдалечен хост чрез протокола GNTP. Настройката "хост"
# Дава адреса и порта на Growl сървър, на дадено "парола" е
# Използвана за разпознаване (имайте предвид, че ако изпратите на Localhost, не
# Разпознаване е необходимо, и паролата трябва да е празен). Ако
# "Лепкави" е настроен на 1, нотификациите ръмжене ще бъдат черупките. То е
# Възможно да се изпращат уведомления за повече от един хост. В този случай, както
# "Хост" и "парола" трябва да бъде разделен със запетаи списък със стойности, с
# Всеки елемент, съответстващ на един хост. Например
# Име на хост: Localhost, remotehost
# Парола:, тайна
име на хост: Localhost: 23053
парола:
Важна: 0
[Вход]
# "Лог" дава името на централната лог файл, в сравнение с $ LPBS_HOME.
лог: lpbs.log
Имайте предвид, че ако се използва конфигурационния файл по подразбиране, променливата $ SCRATCH_ROOT среда, трябва да бъдат дефинирани и директорията той насочва към трябва да съществува и да бъде достъпна за запис на всички потребители, които биха могли да представят работни места.
За монтаж на цялата система, / Var / lpbs е подходящо място за $ LPBS_HOME. Променливата на обкръжението може да се зададе в /etc/bash.bashrc за всички потребители. За инсталация в потребителското пространство, virtualenv се препоръчва.
След главния конфигурационен файл, $ HOME / .lpbs.cfg също ще бъде прочетено. Всеки потребител може да използва това, за да промените настройките на конфигурацията на системата. На последно място, командата qsub също има --config опция, която позволява да се уточни още един допълнителен конфигурационния файл да се чете.
<Силен> Usage
LPBS съдържа скриптове lqsub, lqstat и lqdel, които подражават на PBS / МОМЕНТ НА ​​ВЪРТЕНЕ команди qsub, qstat и lqdel, съответно. Командата lqsub се използва за представяне на работни места, lqstat се използват, за да се покаже информация за пускането на работни места, и lqdel се използва, за да се откажем, работещи работни места. Например:
goerz @ Localhost: ~> lqsub job.pbs
3.localhost.local
goerz @ Localhost: ~> lqstat
Job ID Име на потребителя Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest goerz 0:00:22
goerz @ Localhost: ~> lqstat -F 3.localhost.local
Id Job: 3.localhost.local
& Nbsp; Job_Name = pbstest
& Nbsp; Job_Owner = goerz
& Nbsp; сървър = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = N
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 0:00:43
goerz @ Localhost: ~> lqdel 3.localhost.local
Командата qsub има за цел да разберат всички опции за командния ред на командата qsub във въртящия момент версия 2.18, с изключение, че всички възможности, свързани с график се игнорира. Следователно, всички PBS работа скрипт трябва да бъде Правят без промяна. За подробности, тичам lqsub, lqstat и lqdel с опцията --help, и / или погледнете ръководството на въртящия момент.
<Силен> Един пример Job Script
По-долу е пример за прост PBS работа скрипт, който ще разпечата пълна среда, че работата вижда. Вие може да искате да представи тази работа както с LPBS и PBS / въртящ момент, които се потвърди, че с подходящите настройки в lpbs.cfg, LPBS осигурява еднаква среда като LPBS.
#! / BIN / Баш
#PBS -N Pbstest
#PBS -j Н.е.
#PBS -l Възли = 1: PPN = 1
#PBS -L Walltime = 00: 00: 10
#PBS -L MEM = 10MB
#PBS -o Pbstest.out
ехо "################################################ #### "
ехо "User: $ PBS_O_LOGNAME"
ехо "Batch работа започна на $ PBS_O_HOST"
ехо "PBS работа ID: $ PBS_JOBID"
ехо "PBS име работа: $ PBS_JOBNAME"
ехо "PBS работна директория: $ PBS_O_WORKDIR"
ехо "Job започна на" `` hostname` date`
ехо "текущата директория:" `pwd`
ехо "PBS среда: $ PBS_ENVIRONMENT"
ехо "################################################ #### "
ехо "################################################ #### "
ехо "Full Околна среда:"
printenv
ехо "################################################ #### "
ехо "и заданието се изпълнява на следващия възел:"
котка $ {PBS_NODEFILE}
ехо "################################################ ########## "
"Завършил работа:" ехо `date`
изход 0

<силни> Изисквания :

• Python