Разные, на мой взгляд, интересные замечания, связанные с компьютерами в частности и техникой вообще.

понедельник, 11 августа 2008 г.

Подсчёт траффика в Linux с помощью pmacctd.

Система подсчёта траффика

Учётная система работает на основе утилиты pmacctd. Утилита записывает весь, проходящий через интерфес траффик и скидывает это всё в лог-файл. После этого скрипты сортируют получившийся дамп по адресам клиентов, разделяет по дням недели и месяцам, а так же создаёт бекап дампа. Адреса клиентов система берёт из основного конфига прокси-сервера.

Скрипт запуска, останова и считывания адресов клиентов учётки

Находится в /etc/ini.d/ Отрабатывает с параметром start при старте системы и параметром stop, при останове. После добавления нового пользователя, надо делать /etc/ini.d/pmacct restart

#!/bin/sh
#

## Глобальные переменные
### Пути к утилитам, по которым скрипт может обращаться. Не обязательная переменная, но для подстраховки не помешает.
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
### Расположение собственно исполняемого файла утилиты pmacctd
DAEMON=/usr/sbin/pmacctd
### Имя работающего демона
NAME=pmacctd
### Описание.
DESC="traffic accounting system"
### Директория для хранения настроек учётной системы.
CONFDIR=/etc/pmacct
### Директория для хранения логов.
LOGDIR=/var/log/pmacctd
### Инклудим конфиг.
. $CONFDIR/pmacctd.conf

### Проверяем наличие исполняемого файла демона. Если отсутствует, завершаем работу.
test -x $DAEMON || exit 0

### Функция останова.
stop () {
 killall -INT $NAME
}

### Функция старта.
start () {
#### Вытягиваем из конфига прокси-сервера имена и ip-адреса пользователей и сохраняем из в файл stat.conf в директории конфигов.
     grep 255.255.255.255 /etc/squid/squid.conf | grep -v 127.0.0.1 | grep -v '#' | awk '{print $2, $4}' | cut -f 1 -d / > $CONFDIR/stat.conf
#### Собственно запускаем демона в фоновом режиме и складываем всю статистику по траффику в файл pmacctd.log в лог-директории.
     $DAEMON -c $PRIMITIVE -i $INTERFACE -r $INTERVAL -P print >> $LOGDIR/pmacctd.log &
}

### Меню выбора используемой функции из первого аргумента после скрипта.
case "$1" in
start)
     echo -n "Starting $DESC: "
     start
     echo "$NAME."
     ;;
stop)
     echo -n "Stopping $DESC: "
     stop
     echo "$NAME."
     ;;
restart)
     echo -n "Restarting $DESC: "
     stop
     sleep 1
     start
     echo "$NAME."
     ;;
*)
     N=/etc/init.d/$NAME
     echo "Usage: $N {start|stop|restart}" >&2
     exit 1
     ;;
esac

exit 0




Конфиг.


Значения берутся из man pmacctd.

PRIMITIVE=src_host,dst_host
INTERFACE=eth0
INTERVAL=1


Скрипт скидывания ежедневной статистики

Запуск скрипта прописан в файле /etc/crontab:
01 4 * * * root /usr/sbin/pmacctdaily
Он отрабатывает автоматически каждый день в 04:01:00 по времени сервера.

#!/bin/bash
#
## Конфигурационная директория
CONFDIR=/etc/pmacct
## Лог-директория
LOGDIR=/var/log/pmacctd
## Текущая дата в формате ддммгггг
DATE=`date +%d%m%Y`
## Вычисление пользовательских ip-адреса.
USERSIP=`cat $CONFDIR/stat.conf | awk '{print $2}'`
## Останов учётной системы для того, чтобы она не обращалась к логам во время работы с ними данного скрипта.
/etc/init.d/pmacct stop >/dev/null
## Создание директории для траффика за сутки до текущей даты
mkdir $LOGDIR/$DATE 2>/dev/null
## Пока в памяти лежат пользовательские ip-адреса, обработать каждый из них по-очереди.
for i in $USERSIP
do
#### Вычисляем количество бит в каждой следующей записи из лога, в которой упоминается текущий ip-адрес
BYTES=`grep -w $i $LOGDIR/pmacctd.log | awk '{print $16}'`
ALLBYTES=0
##### Прибавляем каждое новое вычисленное количество битов к переменной ALLBYTES
for b in $BYTES
do
ALLBYTES=$((ALLBYTES+b))
done
##### Вычисляем имя пользователя с текущим ip-адресом
USERNAME=`grep -w $i $CONFDIR/stat.conf | awk '{print $1}'`
#### Скидываем в файл с именем текущего пользователя значение переменной ALLBYTES
echo $ALLBYTES > $LOGDIR/$DATE/$USERNAME
done
##### Архивируем общий лог и сохраняем его в директорию с файлами статистики пользователей за сутки.
gzip $LOGDIR/pmacctd.log
mv $LOGDIR/pmacctd.log.gz $LOGDIR/$DATE/
Запускаем учётную систему.
/etc/init.d/pmacct start >/dev/null
В общей сложности при нынешней нагрузке скрипт отрабоатывает примерно за 10-15 секунд. Чем больше будет пользователей и траффика, тем больше понадобится времени, но для того, чтобы дойти хотя бы до минуты выполнения, надо увеличить объёмы в несколько раз.


Скрипт скидывания ежемесячной статистики

Запуск скрипта прописан в файле /etc/crontab:
01 5 1 * * root /usr/sbin/pmacctdmonthly
Он отрабатывает автоматически каждый первый день месяца в 05:01:00 по времени сервера.
#!/bin/bash
#
### Конфигурационная директория
CONFDIR=/etc/pmacct
### Лог-директория
LOGDIR=/var/log/pmacctd
### Текущий месяц в формате мм
MONTH=`date +%-m`
### Текущий год в формате гггг
YEAR=`date +%Y`
Временная директория
TMPDIR=/tmp/pmacctd
## Так как скрипт выполняется первого числа, а нам надо сделать статистику за предыдущий месяц, делаем проверку, не первое ли сегодня января и присваиваем переменным месяца и года нужные нам значения.
#### Отдельное примечание. Из-за того, что в bash по умолчанию числа, начинающиеся с 0, автоматически считаются числами восьмеричой системы счисления,
#### приходится делать более сложную проверку, сравнивая значения месяцев, как строки, и только потом присваивать им какие-либо значения.
if [[ $MONTH == 01 ]]
then
LASTMONTH=12
LASTYEAR=$((YEAR-1))
else
if [[ $MONTH == 11 || $MONTH == 12 ]]
then
LASTMONTH=$((MONTH-1))
LASTYEAR=$YEAR
else
LASTMONTH=$((MONTH-1))
LASTMONTH=0$LASTMONTH
LASTYEAR=$YEAR
fi
fi
## Создаём директорию вида ммгггг для хранения статистики за месяц.
mkdir $LOGDIR/$LASTMONTH$LASTYEAR
## Считываем все директории с файлам посуточной статистики за прошедший месяц.
DIR=`ls $LOGDIR | grep $LASTMONTH$LASTYEAR`
for i in $DIR
do
#### Поочереди, в каждой из этих директорий находим файлы по именам пользователей
USERNAME=`ls $LOGDIR/$i/`
for n in $USERNAME
do
###### Во временной директории создаём файл с несуммированной статистикой на каждого пользователя.
BYTES=`cat $LOGDIR/$i/$n`
echo $BYTES >> $TMPDIR/$n
done
done
#### Суммируем статистику из временной директории на каждого пользователся,
#### Складываем её в вышесозданную директорию и
#### удаляем временные файлы.
for i in $DIR
do
USERNAME=`ls $LOGDIR/$i/ | grep -v gz`
for nn in $USERNAME
do
ALLBYTES=0
BYTES=`cat $TMPDIR/$nn`
for b in $BYTES
do
ALLBYTES=$((ALLBYTES+b))
echo $ALLBYTES > $LOGDIR/$LASTMONTH$LASTYEAR/$nn
done
done
done
rm -rf $TMPDIR
В итоге в Лог-директории мы получаем каталог с номером прошедшего месяца и года вида ммгггг, в котором лежат файлы, имя каждого из которых - это имя пользователя, а содержимое - траффик за прошедший месяц.

Комментариев нет:

Отправить комментарий