Блог Александра Руденко aka ras. » Администрирование

Установка и настройка transmission-daemon в CentOS 6

ras — Tue, 16 Aug 2011 14:30:35 +0000

По мотивам прошлой статьи «Установка и настройка transmission-daemon в CentOS 5», решил написать ещё одну статью. CentOS хоть и с большим опозданием от RedHat Enterprise Linux и Scientific Linux, но всё-таки появился, пришлось переустановить дистрибутив, и адаптировать уже работавший софт к новой версии дистрибутива. Transmission, как и раньше, в CentOS с дистрибутива не поставишь…

Сборка

Собирать я решил в данном случае rpm-ки из srpm-ки Fedora 14. Процесс описывать не буду, приведу ссылки на оригинал и собранные пакеты для архитектуры x86_64:

Установка

rpm -i http://ras.pl.ua/pub/linux/centos/6/x86_64/transmission/transmission-common-2.11-2.el6.x86_64.rpm http://ras.pl.ua/pub/linux/centos/6/x86_64/transmission/transmission-daemon-2.11-2.el6.x86_64.rpm

Настройка web-интерфейса для httpd, файл /etc/httpd/conf/httpd.conf:

Alias /transmission/web /usr/share/transmission/web
RewriteEngine on
RewriteRule /transmission[/]?$ /transmission/web [R=permanent]
ProxyPass /transmission http://127.0.0.1:9091/transmission
ProxyPassReverse /transmission http://127.0.0.1:9091/transmission

Options None
Order allow,deny
Allow from 127.0.0.1

ExpiresActive On
ExpiresByType image/gif A43200
ExpiresByType image/png A43200
ExpiresByType application/javascript A43200
ExpiresByType text/css A43200

В «Allow from» укажите IP, с которого вы хотите получить доступ, в своём случае, я использовал «Authtype Basic», т. е. захожу по паролю. Перезапуск httpd (если возникли ошибки, смотрим каких модулей не хватает, подправляем файл конфигурации):

service httpd restart

Настройка параметров запуска, файл /etc/sysconfig/transmission-daemon:

TRANSMISSION_HOME="/var/lib/transmission"
DAEMON_USER="root"
DAEMON_ARGS="--no-auth --allowed 127.0.0.1 --config-dir $TRANSMISSION_HOME/.config/transmission-daemon"

Добавление в автозапуск:

chkconfig transmission-daemon on

Запуск:

service transmission-daemon start

Если всё выполнено правильно, демон запущен и работает.

Настройка

Теперь нужно настроить демон, основные настройки доступны с web-интерфейса. Нужно открыть в браузере http://ваш-web-сервер/transmission, слева внизу есть кнопка настроек, выбрать Preferences. Указать путь куда будут сохраняться файлы, номер порта и не забыть открыть его в фаерволле для входящих соединений. На второй вкладке указать ограничение скорости. Всё, можно работать, добавлять torrent-файлы, наблюдать процесс скачивания.

Все настройки сохраняются в каталоге /var/lib/transmission/.config/transmission-daemon. Там же хранятся torrent-файлы и информация о текущих загрузках.

Ссылки

www.transmissionbt.com

Настройка шейпера HTB на офисном маршрутизаторе на базе Linux при помощи htb.init

ras — Thu, 07 Jul 2011 10:01:51 +0000

Решил написать небольшое HOWTO по настройке шейпера HTB на маршрутизаторе (роутере) на базе Linux при помощи скрипта htb.init. Задача следующая: есть офисная сеть, есть подключение к сети Интернет на определённой скорости, в рассмотренном случае это 20 мегабит вход и 5 мегабит исход, скорость нужно поделить равнозначно между офисными компьютерами, но в случае когда канал не загружен — дать возможность работать на максимальной скорости. В данном HOWTO шейпиться будет не только входящий, но и исходящий трафик, причём подключение к Интернет производится по PPP, что накладывает некоторые нюансы на настройку.

Настройка приведена на примере дистрибутива CentOS (RHEL, Fedora), для Debian (Ubuntu) будут тоже приведены пояснения, так как некоторые системные утилиты отличаются.

Для начала нужно загрузить и настроить сам скрипт построения правил шейпера, даю пример не на оригинальный скрипт, а на модифицированный мной (исправлено несколько ошибок, добавлено удаление кэша при перезапуске шейпера, т. к. бывает в кэше остаются записи, которых уже нет в конфигурационных файлах, версия 0.8.4):

cd /usr/local/sbin
wget http://ras.pl.ua/pub/linux/htb.init
mv -f ./htb.init ./htb
chmod 755 ./htb
ln -sf /usr/local/sbin/htb /etc/init.d/htb

Скрипт загружен, сделан запускаемым, симлинк помещён куда нужно, теперь нужно включить его в автозагрузку, для CentOS (RHEL, Fedora):

chkconfig htb on

То же для Debian (Ubuntu):

update-rc.d htb start 20 0 1 2 3 4 5 .

Далее нужно создать каталоги для файлов конфигурации шейпера:

mkdir /etc/sysconfig
mkdir /etc/sysconfig/htb

Теперь можно приступить непосредственно к настройке. Правила шейпера строятся на основе файлов, которые нужно создавать в каталоге /etc/sysconfig/htb, отсюда их будет читать htb.init и строить правила для утилиты tc. Напомню, что канал у нас 20/5 мегабит, примерно 10 компьютеров в сети, исходя из этого ниже будут приведены файлы конфигурации с пояснением что они описывают.

Файл описания интерфейса, eth0 — интерфейс смотрящий в локальную сеть офиса. Адресация 192.168.0.1/24, маршрутизатор имеет IP 192.168.0.1, следующие за ним — компьютеры офиса. Указывается класс, которым будет шейпиться трафик, не попавший ни под одно правило шейпера.

/etc/sysconfig/htb/eth0

DEFAULT=9

Далее файл описания корневого класса интерфейса, указывается физическая скорость интерфейса, в данном случае это 100 мегабит.

/etc/sysconfig/htb/eth0-2.root

RATE=100Mbit

Вначале необходимо нарезать скорость для трафика, исходящего с самого роутера, например если на нём установлен файл-сервер, можно дать скорость большую чем в Интернет, причём эта скорость не повлияет на скорость работы в сети Интернет. 100 — 20 мегабит, ну и 10 можно оставить на служебные пакеты и т. п., чтобы не образовалась планка (полная загрузка интерфейса), и работа оставалась комфортной, получается 70 мегабит. Скорость с файл-сервера можно тоже равномерно поделить между участниками сети, но в данном примере это опускается.

/etc/sysconfig/htb/eth0-2:4.from_router_to_network

RATE=70Mbit
PRIO=4
LEAF=sfq
RULE=192.168.0.0/24,

Теперь очередь описания класса трафика из сети Интернет. Один мегабит останется для трафика не попавшего в правила, 19 мегабит остаётся описывается. Тут приоритет указан больше чем в локальном трафике с роутера, чем он больше, тем обрабатывается позже.

/etc/sysconfig/htb/eth0-2:5.to_network

RATE=19Mbit
PRIO=5

Теперь непосредственно сами правила для компьютеров сети. Максимальная скорость на один компьютер 19 мегабит, гарантированная — один мегабит. Таких файлов нужно создать по кличеству компьютеров в сети, последнее число — это 1000 + последний октет IP-адреса. И в самом файле в RULE указан IP-адрес компьютера. Входящий трафик на сам роутер не шейпится, это можно сделать, но метод в данном примере не рассматривается.

/etc/sysconfig/htb/eth0-2:5:1002

CEIL=19Mbit
RATE=1Mbit
PRIO=5
LEAF=sfq
RULE=192.168.0.2

Тот трафик, который не попал в предыдущие правила — шейпится на скорости 1 мегабит.

/etc/sysconfig/htb/eth0-2:9.default

RATE=1Mbit
PRIO=5
LEAF=sfq

Теперь исходящий трафик. В принципе то же самое, интерфейс ppp0, скорость 5 мегабит, трафику не попавшему под правила даётся 128 килобит (последний файл), остальным от 512 килобит до 5 мегабит. Трафик с роутера также будет шейпиться.

/etc/sysconfig/htb/ppp0

DEFAULT=9

/etc/sysconfig/htb/ppp0-2.root

RATE=100Mbit

/etc/sysconfig/htb/ppp0-2:5.from_network

RATE=5Mbit
PRIO=5

Так как исходящий трафик у нас натится (SNAT, MASQUERADE) в один внешний IP-адрес, не получится строить правила на основе IP-адресов. Поэтому будут использованы метки, которые будут ставиться фаерволом (iptables), об этом ниже. Таких правил нужно создать по количеству компьютеров в сети, опять же последняя цифра это 1000 + последний октет IP-адреса, метка (MARK) имеет такое же значение.

/etc/sysconfig/htb/ppp0-2:5:1001

CEIL=5Mbit
RATE=512Kbit
PRIO=5
LEAF=sfq
MARK=1001

/etc/sysconfig/htb/ppp0-2:9.default

RATE=128Kbit
PRIO=5
LEAF=sfq

Теперь о метках. В iptables нужно пометить исходящий трафик, делается это следующим правилом в таблице mangle:

-A PREROUTING -s 192.168.0.1 -j MARK --set-mark 1001

Для каждого компьютера — своё правило. В CentOS (RHEL, Fedora) правила фаерволла обычно находятся в файле /etc/sysconfig/iptables, после правки нужно применить изменения командой:

/etc/init.d/iptables restart

В Debian (Ubuntu) можно сделать так. Снять текущую конфигурацию в файл:

iptables-save > /etc/sysconfig/iptables

Поправить и применить:

iptables-restore < /etc/sysconfig/iptables

Данные команды работают и в CentOS (RHEL, Fedora), если нужны. Далее. Настройка окончена, теперь нужно проверить правильность нашей конфигурации:

/etc/init.d/htb compile

Если ошибок нет — будет видно что же построил скрипт htb.init для системы на основе файлов конфигурации. Теперь можно запустить шейпер:

/etc/init.d/htb start

Остался один нюанс. Соединение с Интернет в данном примере производится по PPP, в случае если используется непосредственное подключение — дальше можно не читать. Но интерфейс PPP (ppp0) может падать (переподключение, пропадание связи), при падении интерфейса, все правила шейпера на нём будут сброшены. Следующий скрипт будет проверять наличие PPP-интерфейса и наличие на нём правил, если правил не будет, он перезапустит htb.init.

/usr/local/sbin/htb_check

#!/bin/bash

#################################################################################
#
# Проверка наличия правил шейпера на интерфейсе, перезапуск htb.init при
# необходимости
#
#################################################################################

# Проверяемый интерфейс
DEVICE='ppp0'

# Проверка наличия интерфейса
TEST_PPP=`/sbin/ip link show dev $DEVICE 2> /dev/null`
if [ "$TEST_PPP" != "" ] ; then
# Проверка наличия правил шейпера на интерфейсе
TEST_HTB=`/sbin/tc class show dev $DEVICE`
if [ "$TEST_HTB" == "" ] ; then
# Если правил шейпера на интерфейсе нет - перезапуск htb.init
/etc/init.d/htb restart
fi
fi

Файл нужно сделать запускаемым:

chmod 755 /usr/local/sbin/htb_check

Запускаться он будет по cron, каждую минуту, для этого в файле /etc/crontab добавляются следующие строки:

# Проверка наличия правил шейпера на интерфейсе, перезапуск htb.init при
# необходимости
* * * * * root /usr/local/sbin/htb_check > /dev/null

На этом всё, надеюсь кому-то данное HOWTO пригодится, предложения, пожелания и замечания готов обсудить в комментариях к статье.

Ограничение доступа при помощи mod_auth_mysql

ras — Fri, 09 Jul 2010 12:06:01 +0000

Если нужно ограничить доступ к определённому каталогу web-сайта по логину и паролю, причём эти данные нужно хранить в базе данных MySQL, можно использовать модуль web-сервера Apache mod_auth_mysql. В этой статье я покажу простой пример настройки данного модуля, но, я решил немного улучшить защиту, добавив дополнительно к логину и паролю ограничение доступа по IP-адресу, диапазону IP-адресов, а также будет осуществляться проверка на активность/заблокированность пользователя.

Создание таблицы пользователей, добавление функции:

Для начала нужно создать базу данных ползователей (или использовать существующую, в примере используется база test). Я не буду подробно описывать работу с базой данных MySQL, думаю, те кому нужен данный модуль авторизации — способны изучить документацию к базе данных. Итак, создаём таблицу с пользователями, ввести в консоли базы MySQL (mysql test):

CREATE TABLE accounts (
login VARCHAR(16) NOT NULL,
password VARCHAR(64) NOT NULL,
active TINYINT(1) NOT NULL DEFAULT 1,
ip_range TEXT,
PRIMARY KEY (login)
);

Пароль будет храниться в зашифрованном виде. Я использовал функцию unix_md5_crypt() из модуля Crypt::PasswdMD5, язык программирования Perl. Структура таблицы простая: имя пользователя, пароль в зашифрованном виде, признак активности (1 или 0), неактивных аторизировать не будем, и ограничение по IP. Если поле ip_range будет пустым, то проверка IP-адреса не будет осуществляться. Ограничения по IP записываются в следующем формате: если ограничений несколько, они разделяются запятой (без пробелов), если нужно ограничить доступ с диапазона IP-адресов, то диапазон записывается через чёрточку (без пробелов). Пример: «192.168.0.1,10.0.0.0-10.255.255.255,172.16.0.1″. Проверить валидность данного поля можно следующим регулярным выражением:

^((\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])\.){3}(\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])(-((\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])\.){3}(\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5]))?(,((\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])\.){3}(\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])(-((\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5])\.){3}(\d|[1-9]\d|1\d\d|2[0-4]\d|25[0-5]))?)*$

Ограничения по IP осуществляются написанной мной хранимой функцией MySQL, ввести с консоли MySQL (mysql test):

DROP FUNCTION IF EXISTS ip_in_range;
DELIMITER //
CREATE FUNCTION ip_in_range (test_ip VARCHAR(15), ip_range TEXT)
RETURNS TINYINT(1)
BEGIN
DECLARE temp TEXT;
DECLARE coma INT(10);
DECLARE ip BIGINT(10);
IF ip_range IS NULL OR ip_range = '' THEN
RETURN 1;
END IF;
SET ip = INET_ATON(test_ip);
REPEAT
SET coma = LOCATE(',', ip_range);
IF coma = 0 THEN
SET temp = ip_range;
SET ip_range = '';
ELSE
SET temp = LEFT(ip_range, coma - 1);
SET ip_range = RIGHT(ip_range, LENGTH(ip_range) - coma);
END IF;
SET coma = LOCATE('-', temp);
IF coma = 0 THEN
IF ip = INET_ATON(temp) THEN
RETURN 1;
END IF;
ELSE
IF ip >= INET_ATON(LEFT(temp, coma - 1)) AND ip <= INET_ATON(RIGHT(temp, LENGTH(temp) - coma)) THEN
RETURN 1;
END IF;
END IF;
UNTIL ip_range = '' END REPEAT;
RETURN 0;
END;
//
DELIMITER ;

Настройка web-сервера:

Настраиваем httpd.conf, нужно добавить модуль и ограничить доступ к каталогу (в случае с тестируемой системой, Fedora 13, был установлен пакет mod_auth_mysql, и модуль автоматически прописался файлом конфигурации /etc/httpd/conf.d/auth_mysql.conf):

LoadModule mysql_auth_module modules/mod_auth_mysql.so

Options FollowSymLinks
AllowOverride All
AuthBasicAuthoritative Off
AuthName "Authentication"
AuthType Basic
AuthMySQLEnable On
AuthMySQLHost localhost
AuthMySQLUser user
AuthMySQLPassword password
AuthMySQLDB test
AuthMySQLUserTable accounts
AuthMySQlNameField login
AuthMySQLPasswordField password
AuthMySQLUserCondition "active AND ip_in_range('%a', ip_range)"
AuthMySQLPwEncryption crypt
AuthUserFile /dev/null
Require valid-user

Тут нужно скорректировать базу данных, если нужно (используется test), ну и ввести нужные имя пользователя с паролем (используется login и password).

Заключение:

Как видно из статьи, всё просто настраивается, даёт возможность гибко ограничивать доступ пользователей, изменяя данные в базе данных. Плюс мы получаем ограничение доступа блокированных пользователей, а так же получаем защиту от подбора паролей, открывая доступ только с определённых хостов.

Резервирование жёсткого диска при помощи dd поверх ssh

ras — Fri, 02 Jul 2010 07:33:03 +0000

Появилась задача — снять образ с диска ноутбука, залить его на другой компьютер, чтобы переставить систему на ноутбуке, провести определённые тесты, а затем полностью восстановить жёсткий диск ноутбука в состояние до тестов.

Для проведения данной операции, была произведена загрузка на ноутбуке с CD-привода в Fedora Linux 13 rescue, настроена сеть, диски не монтировались. Компьютер, на который будет сбрасываться образ диска ноутбука находится в одной сети с ноутбуком, на нём установлен и настроен демон sshd.

Резервирование данных:

dd if=/dev/sda | ssh ras@backup-host "dd of=book/sda"

Восстановление данных:

ssh ras@backup-host "dd if=book/sda" | dd of=/dev/sda

Здесь backup-host — компьютер, на который сохраняется образ, ras — имя пользователя, book/sda — каталог и название файла бэкапа, /dev/sda — устройство-жёсткий диск ноутбука. В моей ситуации был не очень быстрый ноутбук, а компьютер, на который осуществлялось резервирование, обладал объёмным жёстким диском. При резервировании можно применять сжатие, тогда получим меньший образ, меньше трафика передачи по сети, если диск или сеть будут узким местом, но возрастёт нагрузка на процессор резервируемой системы, соответственно увеличится время резервирования. Вариации на эту тему:

dd if=/dev/sda | gzip | ssh ras@backup-host "dd of=book/sda.gz"
ssh ras@backup-host "dd if=book/sda.gz" | gzip -d | dd of=/dev/sda

dd if=/dev/sda | bzip2 | ssh ras@backup-host "dd of=book/sda.bz2"
ssh ras@backup-host "dd if=book/sda.bz2" | bzip2 -d | dd of=/dev/sda

Перевод дисков после инсталляции Proxmox VE в RAID1 (mirror)

ras — Sat, 05 Jun 2010 12:25:40 +0000

В повседневной работе появилась привычка резервировать данные. Обязательно RAID 1 (зеркало), резервное копирование. После установки Proxmox VE в дефолтном режиме, но с двумя дисками — было обнаружено что система разметила и использует только один диск, что неприемлемо. Ниже приведёно краткое руководство по переводу разделов диска в режим RAID 1. Итак, приступим (данное руководство делалось для версии 1.5 со стандартным ядром).

Установить Proxmox только на один первый диск (/dev/sda).

Доустановить необходимые пакеты для работы с RAID, создания рамдиска с драйверами:

aptitude install mdadm initramfs-tools

Загрузить модуль raid1:

modprobe raid1

Разметить второй диск (/dev/sdb) примерно так:

Device Boot Start End Blocks Id System
/dev/sdb1 * 1 63 506016 fd Linux raid autodetect
/dev/sdb2 64 60801 487877985 fd Linux raid autodetect

Т. е. первый раздел под /boot — 512 Mb, остальное под второй раздел для LVM (данный раздел не должен быть меньше используемого на первом диске).

Далее создаются RAID-разделы с использованием пока только второго диска:

mdadm --create /dev/md0 --level=1 --raid-devices=2 missing /dev/sdb1
mdadm --create /dev/md1 --level=1 --raid-devices=2 missing /dev/sdb2
mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Пересоздать initrd:

mkinitramfs -o /boot/initrd.img-`uname -r`-raid1 -r /dev/mapper/pve-root

Отредактировать GRUB, чтобы загрузка производилась с новым initrd:

title Proxmox Virtual Environment, kernel 2.6.18-2-pve on RAID1
root (hd0,0)
kernel /vmlinuz-2.6.18-2-pve root=/dev/mapper/pve-root ro
initrd /initrd.img-2.6.18-2-pve-raid1

Теперь нужно создать LVM-раздел на втором диске, добавить его в группу pve, переместить данные с LVM-раздела первого диска, на RAID-LVM-раздел второго диска, убрать из LVM первый диск:

pvcreate /dev/md1
vgextend pve /dev/md1
pvmove /dev/sda2 /dev/md1
vgreduce pve /dev/sda2

Теперь нужно подготовить RAID-раздел второго диска, скопировать на него /boot:

mkfs.ext3 /dev/md0
mkdir /mnt/md0
mount /dev/md0 /mnt/md0
cp -ax /boot/* /mnt/md0
umount /mnt/md0
rmdir /mnt/md0

Исправить /etc/fstab, поменять запись о /boot так, чтобы она указывала на RAID-раздел:

/dev/md0 /boot ext3 defaults 0 1

Можно перемонтировать /boot:

umount /boot
mount /boot

Переразметить первый диск в соответствии со вторым (предварительно нужно удалить все разделы с /dev/sda):

sfdisk -d /dev/sdb | sfdisk /dev/sda

Теперь можно добавлять в RAID-массивы разделы первого диска:

mdadm --add /dev/md0 /dev/sda1
mdadm --add /dev/md1 /dev/sda2

Нужно подождать пока RAID синхронизируется, контролировать процесс можно при помощи такой команды:

watch -n 1 "cat /proc/mdstat"

Теперь нужно переинсталировать загрузчик (GRUB) на обоих дисках:

grub
> find /grub/stage1
find /grub/stage1
(hd0,0)
(hd1,0)
> root (hd0,0)
> setup (hd0)
> root (hd1,0)
> setup (hd1)
> quit

Всё, система работает на RAID1 (зеркале).

Ссылки:

pve.proxmox.com/wiki/Downloads — сайт загрузки Proxmox VE

Перевод серверов с KOI8-R на UTF-8

ras — Thu, 18 Jun 2009 08:11:33 +0000

Лучше поздно чем никогда, решил перевести пару серверов на UTF-8, в связи с чем возникла проблема перекодировки русских имён файлов и текстовых файлов. Решил поделиться скриптами. Итак, для перекодировки имён файлов с KOI8-R в UTF-8, вот такой скрипт, который перекодирует файлы в текущем каталоге.

convert_filenames_from_koi8-r_to_utf-8.sh:

#!/bin/bash

ls -1 | while read name ; do
newname=`echo $name | iconv -f KOI8-R -t UTF-8`
if [ "$name" != "$newname" ] ; then
echo "$name => $newname"
mv -f "$name" "$newname"
fi
done

Для перекодировки файлов решено было расширить меню Midnight Commander-а (mc) соответствующим пунктом. Т. е. выбираются файлы, которые нужно перекодировать, нажимается кнопка F2, выбирается последний пункт. Для внесения изменений в меню Midnight Commander-а, необходимо добавить в конец файла /etc/mc/mc.menu следующие строки:

= t r
+ ! t t
i Convert from KOI8-R to UTF-8 current file
cp %f %f.KOI8-R
iconv -f KOI8-R -t UTF-8 < %f.KOI8-R > %f
rm -f %f.KOI8-R

+ t t
I Convert from KOI8-R to UTF-8 tagged files
for i in %t
do
cp $i $i.KOI8-R
iconv -f KOI8-R -t UTF-8 < $i.KOI8-R > $i
rm -f $i.KOI8-R
done