Мониторинг загрузки канала интернет-шлюза на FreeBSD

Источник: BOZZA.RU

В этой небольшой статье я постараюсь описать простой и часто необходимый способ постороения графиков загрузки интернет-канала (общий график, график www, график pop3, график smtp). Это может быть полезно системным администраторам для того, чтобы они знали, в какое время их офис потребляет много интернета, забита ли их полоса пропускания постоянно или только перед обедом, на что именно расходуется полоса пропускания канала – на просмотр сайтов (тогда, возможно, кто-то качает всякую фигню), на получение почты (тогда, возможно, надо рассмотреть вопрос настройки собственного почтового сервера), на отправку писем (возможно, какой-либо компьютер заражен вирусом и рассылает спам). Применений этому может быть множество. Итак, приступим.

Требования

rrdtool - установка и настройка см. http://bozza.ru/?c=230&p=content и http://bozza.ru/?c=231&p=content (англ.)

брандмауэр на шлюзе – в нашем случае рассмотрим ipfw в составе ОС FreeBSD. В общем случае подойдет любая система, которая может считать пакеты и отдавать их значения нашим скриптам.

apache – веб-сервер для просмотра сгенерированных изображений. Впрочем, это не обязательно, нам главное сгенерировать изображение, а что с ним делать – решать вам.

Будем считать, что rrdtool установлена, apache – тоже, брандмауэр, полагаю, был всегда, так что самое время описать работу нашей схемы.

БРАНДМАУЭР

Итак, нам необходимо четыре правила брандмауэра, которые будут считать трафик www (входящий), pop3 (входящий), smtp (исходящий) и общий входящий. Вот они:
pif="xl0" # внешний интерфейс
cmd="ipfw -q add"
# Count
# Out mail


$cmd 0010 count tcp from any to any 25 out via $pif
# In mail
$cmd 0011 count tcp from any 110 to any in via $pif
# WWW
$cmd 0012 count tcp from any 80,443 to any in via $pif
# ALL
$cmd 0013 count all from any to any in via $pif

Первые две строки – объявления макросов, остальные – понятно, считают соответствующий трафик.

После включения этих правил проверим, считают ли они трафик, идущий через шлюз.
freebsd-host# ipfw show 13

Выдает нам нечто похожее:
00013 146322 109248471 count ip from any to any in via xl0

Нас будет интересовать третья цифра – 109248471 – количество байт, сосчитанное правилом 13, которое в нашем случае считает общий входящий трафик.

RRDTOOL

Считаем rrtool установленным и, желательно, проверенным хотя бы на тестовом примере, который весьма неплохо описан на странице http://bozza.ru/?c=231&p=content. Не поленитесь, просмотрите эту статью, несмотря на то, что она на английском. Я не могу сказать про себя, что английский знаю даже средне, но мне там все было понятно.

СКРИПТЫ

Нам будет необходимы следующий скрипты:
network_usage.sh – обновляет базу. Запускается периодиески. Для нашего примера, раз в 5 минут.
network_usage_create.sh – создает базу данных для четырех счетчиков, описанных выше. Запускается один раз.
network_usage_graph2.sh – рисует графики загрузки канала. Запускается раз в 5 минут.
network_usage_update_rrdtool.sh – фактически, этот скрипт просто запускает раз в пять минут network_usage.sh и network_usage_graph2.sh. Его содержимое самое очевидное.

Сразу приведу их содержимое:

network_usage_create.sh
#!/bin/sh

rrdtool create /var/rrdtool/db/network_usage.rrd \
--start 1176595200 \
DS:input_mail:COUNTER:600:U:U \
DS:output_mail:COUNTER:600:U:U \
DS:www:COUNTER:600:U:U \
DS:all:COUNTER:600:U:U \
RRA:AVERAGE:0.5:1:600 \
RRA:AVERAGE:0.5:6:700 \
RRA:AVERAGE:0.5:24:775 \
RRA:AVERAGE:0.5:288:797 \
RRA:MAX:0.5:1:600 \
RRA:MAX:0.5:6:700 \
RRA:MAX:0.5:24:775 \
RRA:MAX:0.5:288:797

network_usage.sh
#!/bin/sh

input_mail=`/sbin/ipfw show 0011 | awk '{print $3}'`
output_mail=`/sbin/ipfw show 0010 | awk '{print $3}'`
www=`/sbin/ipfw show 0012 | awk '{print $3}'`
all=`/sbin/ipfw show 0013 | awk '{print $3}'`
/usr/local/bin/rrdtool update /var/rrdtool/db/network_usage.rrd \
N:$input_mail:$output_mail:$www:$all

network_usage_graph2.sh
#!/bin/sh

WWWPREFIX=/var/www/rrdtool/ images
RRDPREFIX=/var/rrdtool/db

/usr/local/bin/rrdtool graph $WWWPREFIX/network.png \
--width 500 --height 500 --imgformat PNG \
--start -43200 \
--title "Bandwidth graph for last 12 hours" --rigid --color BACK#FAFAFA \
--vertical-label Kbit/sec \
DEF:ifino=$RRDPREFIX/network_usage.rrd:input_mail:AVERAGE \
DEF:ifouto=$RRDPREFIX/network_usage.rrd:output_mail:AVERAGE \
DEF:www=$RRDPREFIX/network_usage.rrd:www:AVERAGE \
DEF:all=$RRDPREFIX/network_usage.rrd:all:AVERAGE \
CDEF:pop3=ifino,128,/ \
CDEF:smtp=ifouto,128,/ \
CDEF:www1=www,128,/ \
CDEF:all1=all,128,/ \
VDEF:sumpop3=ifino,TOTAL \
VDEF:sumsmtp=ifouto,TOTAL \
VDEF:sumwww=www,TOTAL \
VDEF:sumall=all,TOTAL \
VDEF:maxpop3=pop3,MAXIMUM \
VDEF:maxsmtp=smtp,MAXIMUM \
VDEF:maxwww=www1,MAXIMUM \
VDEF:maxall=all1,MAXIMUM \
VDEF:avgpop3=pop3,AVERAGE \
VDEF:avgsmtp=smtp,AVERAGE \
VDEF:avgwww=www1,AVERAGE \
VDEF:avgall=all1,AVERAGE \
AREA:all1#CCCCCC:"ALL" \
GPRINT:maxall:"Max=%lf%s" \
GPRINT:avgall:"Avg=%lf%s" \
GPRINT:sumall:"Sum=%lf %sbytes\l" \
LINE1:www1#FF6600:"WWW" \
GPRINT:maxwww:"Max=%lf%s" \
GPRINT:avgwww:"Avg=%lf%s" \
GPRINT:sumwww:"Sum=%lf %sbytes\l" \
LINE1:pop3#0000FF:"POP3" \
GPRINT:maxpop3:"Max=%lf%s" \
GPRINT:avgpop3:"Avg=%lf%s" \
GPRINT:sumpop3:"Sum=%lf %sbytes\l" \
LINE1:smtp#FF0000:"SMTP" \
GPRINT:maxsmtp:"Max=%lf%s" \
GPRINT:avgsmtp:"Avg=%lf%s" \
GPRINT:sumsmtp:"Sum=%lf %sbytes\l" \

network_usage_update_rrdtool.sh
#!/bin/sh

/var/rrdtool/script/network_usage.sh
/var/rrdtool/ script/network_usage_graph2.sh

Описывать подробно я не буду, так как здесь проще действовать, щупая все руками. На мой взгляд, в таких скриптах проще разобраться, если пробовать менять значения в них, перезапускать и смотреть, что поменялось.

ПОРЯДОК РАБОТЫ

network_usage_create.sh

Значит, создаем базу rrdtool, запуская скрипт network_usage_create.sh. Проверяем, появился ли файл /var/rrdtool/db/network_usage.rrd. Если появился, переходим к следующему шагу. Если нет, то проверяем пути запуска rrdtool (возможно, у вас rrdtool запускается не такой командой /usr/local/bin/rrdtool, а как-нибудь иначе). В любом случае, пока база rrdtool не будет создана, дальше идти нельзя.


network_usage.sh

Здесь все просто, запускаем скрипт раз в пять минут и особо с ним проблем не должно быть.


network_usage_graph2.sh

Позволю себе небольшой коментарий макросов:

WWWPREFIX=/var/www/rrdtool/images – путь до директории, где будет храниться картинка network.png. Отредактируйте этот путь в соответствии с вашим веб-сервером apache или любым другим.

RRDPREFIX=/var/rrdtool/db – путь до директории, где лежит база данных rrdtool.

Наш скрипт отображает загрузку канала за последние 12 часов:
--start -43200 – время в секундах.

Данный скрипт необходимо запускать раз в пять минут.


network_usage_update_rrdtool.sh

Для простоты дела, дабы не запускать network_usage.sh и network_usage_graph2.sh раз в пять минут по отдельности, можно запускать раз в пять минут этот скрипт. Еще лучеш поместить его в cron:

# crontab –e
*/5 * * * * /var/rrdtool/script/network_usage_update_rrdtool.sh

ЗАКЛЮЧЕНИЕ

Вот, собственно и все. До помещения чего-либо в cron, лучше проверить в ручном режиме. Разумеется, многое из того, что я описал, я взял из примеров, разбросанных по сети, многое отредактировал сам. Надеюсь, статья будет полезна многим. С уважением, BOZZA.RU