1

Тема: Перезагрузка сервера

Всем привет.
Имею сервер в виде
uname -a
10.1-RELEASE-p31 FreeBSD 10.1-RELEASE-p31 #31: Mon Mar 28 11:15:10 MSK 2016 root@mo46-ir.mostro.ru:/usr/obj/usr/src/sys/ROUTER amd64
Ядро собрано с доп.опциями:
options IPFIREWALL
options IPDIVERT
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=5
options IPFIREWALL_NAT
options LIBALIAS
options ROUTETABLES=2
options DUMMYNET
Установлен squid3.5.6+авторизация по керберосу в домене.
Последнюю неделю через произвольные промежутки времени сервер стал перезагружаться.
Внешнюю сетевую карту менял (rl0), ничего не изменилось.
Такое происходит только появляется сетевая нагрузка на сервер: становиться много пользователей по сквиду >10, на фтп начинают качать/скачивать файлы.
Подскажите куда копать ?

Добавлено: 05-04-2016 09:31:47

Обновил биос на мат.плате, ничего не изменилось. Перезагрузка так же продолжается через разные промежутки времени, но только когда идет нагрузка, например от 10 и более пользователей сквида+всегда фигурирует current process = 12 (irq19: rl0), где rl0: <RealTek 8139 10/100BaseTX> port 0xd000-0xd0ff mem 0xf7c10000-0xf7c100ff irq 19 at device 0.0 on pci4 внешняя сетевая карта.

Post's attachments

dmesg.txt 12.66 kb, 2 downloads since 2016-03-30 

You don't have the permssions to download the attachments of this post.

2

Re: Перезагрузка сервера

может сетевую поменять?

3 (05-04-2016 14:53:59 отредактировано asilovar)

Re: Перезагрузка сервера

Менял на pci-e вариант, с переименованием в /etc/rc.conf: ifconfig_re1_name="rl0"
Не помогло.

root: vmstat -i
interrupt                          total       rate
irq16: ehci0                       20782          1
irq19: rl0                      23617085       1771
irq23: ehci1                       36239          2
cpu0:timer                      13294064        997
irq264: hdac0                          7          0
irq265: xhci0                         48          0
irq266: hdac1                        112          0
irq267: re0                     27499262       2063
irq268: ahci0                      12071          0
cpu1:timer                         49948          3
cpu2:timer                       2704176        202
cpu3:timer                       3377872        253
Total                           70611666       5297
Заметил одну странность: перезагрузки начинаются когда пользователей через squid становиться 10 и более, авторизация в домене идет через kerberos, возможно как-то посмотреть прерывания, генерируемые сквидом на внешнем интерфейсе ?

Добавлено: 06-04-2016 15:21:32

Всем доброго дня. Почистил кэш сквида, пока полет нормальный, только в логах сыплется:
root@mo46-ir:/usr/home/mo46 # tail -F /var/squid/logs/cache.log | grep ICMP
2016/04/06 14:59:45| Error sending to ICMP packet to 146.0.5.24. ERR: (13)Permission denied
2016/04/06 14:59:46| Error sending to ICMP packet to 217.69.133.148. ERR: (13) Permission denied
k2016/04/06 15:01:57| Error sending to ICMP packet to 141.105.69.40. ERR: (13) Permission denied
2016/04/06 15:02:08| Error sending to ICMP packet to 149.202.196.16. ERR: (13) Permission denied
2016/04/06 15:02:09| Error sending to ICMP packet to 178.63.4.170. ERR: (13) Permission denied
2016/04/06 15:02:09| Error sending to ICMP packet to 51.254.196.179. ERR: (13) Permission denied
2016/04/06 15:02:19| Error sending to ICMP packet to 91.205.127.4. ERR: (13) Permission denied
2016/04/06 15:03:03| Error sending to ICMP packet to 77.88.55.55. ERR: (13) Permission denied
2016/04/06 15:03:03| Error sending to ICMP packet to 178.57.220.215. ERR: (13) Permission denied
2016/04/06 15:03:04| Error sending to ICMP packet to 109.194.201.121. ERR13) Permission denied
2016/04/06 15:03:06| Error sending to ICMP packet to 5.101.153.76. ERR: (13) Permission denied
2016/04/06 15:03:07| Error sending to ICMP packet to 108.177.14.95. ERR: (13) Permission denied
2016/04/06 15:03:07| Error sending to ICMP packet to 64.233.164.121. ERR: (13) Permission denied
2016/04/06 15:03:07| Error sending to ICMP packet to 83.142.83.182. ERR: (13) Permission denied
2016/04/06 15:03:07| Error sending to ICMP packet to 54.231.141.179. ERR: (13) Permission denied
Пояснить пожалуйста, откуда берутся данные ошибки в кэше сквида ?


Добавлено: 06-04-2016 15:40:34

Только что случилось опять, трассировка:
root@mo46-ir:/var/crash # kgdb -q /boot/kernel/kernel /var/crash/vmcore.5
Reading symbols from /boot/kernel/ums.ko.symbols...done.
Loaded symbols for /boot/kernel/ums.ko.symbols
Reading symbols from /boot/kernel/ng_socket.ko.symbols...done.
Loaded symbols for /boot/kernel/ng_socket.ko.symbols
Reading symbols from /boot/kernel/netgraph.ko.symbols...done.
Loaded symbols for /boot/kernel/netgraph.ko.symbols
Reading symbols from /boot/kernel/ng_mppc.ko.symbols...done.
Loaded symbols for /boot/kernel/ng_mppc.ko.symbols
Reading symbols from /boot/kernel/rc4.ko.symbols...done.
Loaded symbols for /boot/kernel/rc4.ko.symbols
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
219     pcpu.h: No such file or directory.
        in pcpu.h
(kgdb) bt
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
#1  0xffffffff809436c2 in kern_reboot (howto=260)
    at /usr/src/sys/kern/kern_shutdown.c:451
#2  0xffffffff80943aa5 in vpanic (fmt=<value optimized out>,
    ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:758
#3  0xffffffff80943933 in panic (fmt=0x0)
    at /usr/src/sys/kern/kern_shutdown.c:687
#4  0xffffffff80d6257b in trap_fatal (frame=<value optimized out>,
    eva=<value optimized out>) at /usr/src/sys/amd64/amd64/trap.c:851
#5  0xffffffff80d6287d in trap_pfault (frame=0xfffffe011a1852b0,
    usermode=<value optimized out>) at /usr/src/sys/amd64/amd64/trap.c:674
#6  0xffffffff80d61f1a in trap (frame=0xfffffe011a1852b0)
    at /usr/src/sys/amd64/amd64/trap.c:440
#7  0xffffffff80d48332 in calltrap ()
    at /usr/src/sys/amd64/amd64/exception.S:236
#8  0xffffffff80b3f151 in ipfw_chk (args=0xfffffe011a185560)
    at /usr/src/sys/netpfil/ipfw/ip_fw2.c:1716
#9  0xffffffff80b45c9b in ipfw_check_packet (arg=<value optimized out>,
    m0=0xfffffe011a185718, ifp=<value optimized out>, dir=1, inp=0x0)
    at /usr/src/sys/netpfil/ipfw/ip_fw_pfil.c:149
#10 0xffffffff80a12ee4 in pfil_run_hooks (ph=0xffffffff8169e678,
    mp=0xfffffe011a1857a0, ifp=0xfffff80002bed800, dir=1, inp=0x0)
    at /usr/src/sys/net/pfil.c:82
---Type <return> to continue, or q <return> to quit---

4

Re: Перезагрузка сервера

не совсем понял, а зачем переименовывали то сетевую. Хотя то ладно.
Может надо проверить железо? Может проблемная память, винт?

5

Re: Перезагрузка сервера

Сетевую переименовывал чтобы правила в ipfw не менять. Сейчас поставил винт на другую, очень похожу конфигурацию оборудования и другую внешнюю сетевую карту. Проверяю.

Добавлено: 14-04-2016 14:00:01

Так же все, даже на другой сет.карте. Перезагружается. Когда идет работа через 1 сетевую карту (без nat и ipfw) при любых нагрузках перезагрузки не происходит. Что еще можно посмотреть ?

6

Re: Перезагрузка сервера

обновить систему как вариант

7

Re: Перезагрузка сервера

Самая последняя на данный момент

uname -a
FreeBSD mo46-ir.mostro.ru 10.2-RELEASE-p14 FreeBSD 10.2-RELEASE-p14 #46: Thu Apr 14 07:22:22 MSK 2016     mo46@mo46-ir.mostro.ru:/usr/obj/usr/src/sys/ROUTER  amd64

8 (06-03-2018 09:33:53 отредактировано tsukiyuri)

Re: Перезагрузка сервера

Памяти сколько? Посмотреть как память оасходуется.
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790к790
к790к790к790к790к790к790к790к790к790к790к790к790к790
восстановление зрения18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m
18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m18m

9

Re: Перезагрузка сервера

Памяти 8, расходуется примерно 3-4 Гб максимально при аптайме 5-6 месяцев

10

Re: Перезагрузка сервера

A какой сервер? Что пишет iLO, IDRAC или что там у вас для диагностики от производителя идет...

11

Re: Перезагрузка сервера

Сервер самосборный, самодиагностики нет. Дело в том что он сейчас работает только как прокси с авторизацией и проверкой трафика на вирусы и все хорошо

Добавлено: 27-07-2016 15:40:24

Думаю дело в правилах ipfw


Добавлено: 27-07-2016 15:50:09

Т.е. не используется как шлюз и НАТ.

12

Re: Перезагрузка сервера

С моей точки зрение перезагрузка из-за правил ipfw звучит так "машина глохнет когда показываю поворот"... Попробуйте поменять все железо на новое, клон всей FS, если не поможет то переустановить с нуля всю OS и делать в ней как можно меньше изменений. Еще можно попробовать ядро поменять с начало на самое новое, если не поможет то несколько старых перепробовать.

Re: Перезагрузка сервера

либо память, либо мат.плата, либо CPU
(см. по приоритету )