Сетевая карта гигабитная

Недорогая 10GbE инфраструктура для кластеров

Мы в HOSTKEY регулярно сталкиваемся с необходимостью организации VLAN на скорости 10Гбит для кластеров виртуализации – своих и клиентских. Эта технология необходима для взаимодействия с СХД, для резервного копирования, для доступа у БД и для обеспечения живой миграции виртуальных машин. Всегда возникает вопрос — как сделать это надежно и с минимальными затратами?

До последнего времени минимальные затраты для такого решения были существенными. Самый маленький коммутатор 10GbE был на 24 порта, а самая простая карта – Intel X520 за 500 долларов. Бюджет на порт составлял около 700-1000 долларов, а входной билет был очень высокий.
Прогресс не стоит на месте, в начале 2015 года появился новый класс устройств 10GbE за приемлемые деньги со склада в Москве и под гарантией.
Так как мы в HOSTKEY регулярно строим на их базе выделенные сервера и частные облака, то хотим поделиться опытом.
Итак, у нашего Клиента 5 машин в кластере и ему нужен 10GbE VLAN – там 2 файлера, одна машина для резервного копирования и несколько нод. На гигабите все медленно и не хочется ставить в машины гигабитные четырехпортовки в тиминге. Надо 10GbE и бюджет ограничен. Звучит знакомо, не правда ли?

Выбор 10GbE контроллеров

Выбираем сетевые платы для серверов – чтобы новые, со склада и гарантией. Есть три варианта, и все они на PCIe x8:

1) Старый проверенный Intel X520-DA2.
2 порта SFP+, уже 5 лет на рынке. Цена около 30 000 рублей (~$450). Обратите внимание, модули надо брать родные по 15.000 рублей или заказывать в НАГе с указанием, чтобы их прошили под эту модель – иначе он их не увидит. Это же касается DAC (медных кабелей прямого подключения с интерфейсами SFP+ — вдруг кто не знает), мы то же думали что любой подходит и были вынуждены заходить на второй круг.
2) Новичок Asus PEB-10G/57811-1S
1 или 2 порта SFP+ на чипсете BCM 57811S.
Впервые мы их заметили в продаже весной. Цена вопроса 10 000 рублей за штуку с одним портом и 16 000 за 2-х портовый PEB-10G/57840-2S. Модули любые, контроллеру не принципиально. Платка на удивление маленькая, чуть больше ладони. Обратите внимание – драйверов под VmWare там нет в коробке (мы попробуем решить эту проблему в одном из следующих постов).

3) Новый Qlogic QLE3440-CU-CK
Один или два порта на SFP+ под DAC, как мы и искали.
Однопортовую версию удалось купить по 16 000 рублей. На Амазоне цена для QLE3440-CU-CK составляет 250 баксов, т.е. это не сток по старой цене — новье. Все драйвера на месте, в том числе и под ESXI. Карточка чуть большего размера. Модули DAC/SFP+ специально шить не надо — он всеядный.

Выбор 10GbE коммутатора

Теперь надо выбрать коммутатор, нам нужно что-то на 8-12 портов с управлением на уровне L2 без особых наворотов. Нексус и Экстрим не рассматриваем, не тот размерчик. Опять же, ищем новое и со склада. Старые Меланоксы с Ebay, Циски на xenpack не рассматриваем, хотя многие так и поступают.
Выбор еще скромнее:

1) Netgear XS708E на 8 медных портов, цена 72 000 рублей в Регарде и других местах. L2 есть, все управляется. У нас медных портов нет на картах, в этом случае придется брать что-то другое.


2) Netgear XS712T-100NES на 12 медных портов, цена 142 000 рублей в Регарде.
3) SNR-S2970-12X– 12 портовый коммутатор от NAG.
У него 12 SFP+ портов, 8 просто гигабитных портов и полный контроль в L2. Цена около 100 000 рублей, т.е. 8333 рублей за 10Г порт и еще 8 гигабитников на халяву – мы еще VLAN управления на нем же соберем. Читаем форум и ветку с обсуждением устройства — нам для кластера это годится, а для опорного коммутатора уровня ЦОД он точно не пойдет.
DAC нам нравятся больше, они имеют задержку в 0,3мкс против 2-3мкс у 10GBase-T. На уровне сетевой агрегации ЦОД это не так важно, а для подключения файлеров ничего нет важнее маленькой задержки.
Спрашиваем коллег про опыт эксплуатации и заказываем в НАГ.ру, через несколько дней коммутатор уже у нас в Москве на столе. Интерфейс коммутатора простой, есть веб-интерфейс, IOS-образный CLI и все управляется по SNMP. Нам не требуется ничего сложнее, чем нарезать VLAN и поставить на мониторинг в CACTI, хотя у него намного больше функций. Он может шейпить, может делать транки, может зажимать MAC на портах, может делать port mirror на 1/10Г, подкрашивать трафик QOS и все остальное, что пристало L2 свитчу в 2015 году.

Снапшоты веб-интерфейса SNR-S2970-12X:

Первый экран:

Управление портами:

МАС-адреса:

Настройка портов:

Настройка шэйпинга и лимитов pps:

Управление зеркалированием портов:

Управление VLAN и транками:

Тестирование

Собираем стенд из двух серверов и коммутатора – две машины на s1366, супермикра и интел. Ставим карточки, ставим на SSD серверам Windows Server 2012 (как надо клиенту) и соединяем все это DAC между собой. Для справки (как тут любят) DAC кабель на 2 метра стоит около 2000 рублей.

Драйвера встают без проблем, все заводится почти с ходу. Никаких ошибок, все работает из коробочки. Qlogic умеет делать из себя виртуальные адаптеры, это удобно для виртуализации интерфейсов в кластере – например один для heartbeat, второй для iscsi, третий для live migration, четвертый для Интернета и пятый для управления всем этим. С Qlogic все можно разобрать еще на уровне виртуальных адаптеров.

IPERF

IPERF во всех режимах показывает 8,5Гбит для Асуса и около 8Гбит для Qlogic. Мы пробовали в разном количестве потоков, включали offload, крутили размер jumbo-frame – разница в пределах статистической погрешности.
ASUS:

Qlogic:

Включаем прямиком сервера друг в друга – те же цифры, коммутатор не вносит задержки. Это проще простого – просто переставляем кабель из коммутатора в сервер и все включается.

10G контроллеры и ширина шины PCIe

Обратите внимание – мы первоначально заметили, что Asus не разгоняется выше 6 Гигабит. Оказалось что в Интеловской матери один из слотов восьмого размера на самом деле на четыре лэйна. Переставили в PCIe с восемью лэйнами – стало сразу 8,5Гбит. На таких скоростях это уже важно, упирается в любое узкое горлышко.

Передача файлов по SMB

Тестируем работу обычной SMB-шары в Windows – без особых заморочек, пост не про это. Сначала получаем скорость около 300Мбайт передачи — SSD через SATA2 больше не тянет. На матери нет SATA3, поэтому ставим RAM Disk и заливаем все туда. Том раздаем по сети и картинка сразу меняется – 609МБ в секунду. 4,7Гб установочный образ копируется за менее чем 8 секунд. Судя по тому, что на графике ровная полка, мы где-то уперлись в ограничение, и это не сеть. Разбираться уже не будем, 600Мб в секунду более чем достаточно – типовая 10Гб виртуальная машина теперь сможет быть мигрирована за 16 секунд с ноды на ноду.

Выводы

Что получается – все работает, быстро и просто. Скорость передачи в таком решении порядка 8,5 Гбит/с — для большинства задач более чем достаточно. Для создания 10Г сетевой инфраструктуры на кластер из 10 машин надо всего 200 000 рублей или 3000 долларов, сумма более чем подъемная. Если комплектовать двухпортовыми платами и двумя коммутаторами для резерва, то цена вопроса 360 000 рублей или около 5500 долларов.
Мы в HOSTKEY специализируемся на аренде для клиентов крупных кастомных выделенных серверов и кластеров на их базе. 10GbE порт для организации VLAN на выделенный сервер обойдется всего в 2100 рублей в месяц. Если коммутация на 10G Ethernet делается без участия коммутатора, например, два сервера смотрят в один файлер с двух-портовой платой – то это добавит всего 1200-1600 рублей на сервер в месяц. Обратите внимание – в однопроцессорный 1U сервер сложно одновременно поставить 10G контроллер и аппаратный RAID-контроллер. В двухпроцессорных машинах обычно есть WIO опция, когда ставится две платы друг над другом через райзер или одна плата ставится спереди, как в HP DL160 или Деллах.

О HOSTKEY

HOSTKEY сдает выделенные сервера в аренду в Москве и Нидерландах с 2008 года. Общий парк собственных серверов сейчас составляет 1300 физических машин на 5 площадках. Мы работаем в сертифицированных по TierIII Московских ЦОД Датапро Авиамоторная, Даталайн Норд и на нескольких площадках попроще. В Нидерландах стойки арендуются в Serverius.nl, сервера там все наши собственные – никого не ресейлим. В этих ЦОД мы размещаем на коло сервера наших клиентов и предоставляем выделенные сервера со всей сетевой инфраструктурой. Цены – разумные, мы делаем все, чтобы снизить свои издержки и предложить клиентам экономически целесообразные условия в это непростое время. Если нужно что-то специальное – обращайтесь, мы всегда поможем.
Промокод на 10% скидки до конца августа 2015 года для читателей — HABR170815

10G-INTERNET  Все услуги связи у Вас дома! 

  • Мы делаем Интернет быстрее! Скорость Интернета до 10Гбит/с.
  • Мы делаем Интернет безопаснее! Детский Интернет без насилия, наркотиков и порнографии.
  • Мы делаем Интернет лучше! Применяем самое современное оборудование.
  • Мы делаем Интернет чище! Защита от вирусов и Спама.

Эксклюзивные и невероятные в прошлом тарифные планы:

Возможно подключение на скоростях 1 Гигабит/с (1G) и на скорости 10 Гигабит/с (10G)!!!

цены на данные тарифные планы обсуждаются с Вашим персональным менеджером.

Ассоциация развития альтернативных сетей связи «10G-Интернет», начала эксплуатацию Сети обмена межоператорским IP L2 VPN трафиком «10G-IX».

В рамках сети «10G-IX» стало возможным быстрое построение разветвлённых приватных сетей передачи данных IP L2 VPN крупных корпоративных заказчиков на базе объединённых в единую телекоммуникационную сеть, сетей многих небольших региональных операторов связи.

Сеть обмена межоператорским IP L2 VPN трафиком «10G-IX» создана для обеспечения безусловного конкурентного преимущества сообщества небольших операторов связи над возможностями крупных операторов связи.

Подключение к сети обмена межоператорским IP L2 VPN трафиком «10G-IX» возможно на скоростях до 10 Гбит/с практически на всех основных телехаусах г. Москвы: ММТС-5 (ул. Гончарная, д. 30), ММТС-9 (ул. Бутлерова, д. 7), ММТС-10 (ул. Сущёвский вал, д. 26), Linxdatacenter Москва (ул. 8 Марта, д.14), ЦСС МПС, ул. Марксистская д.34 и многих других ЦОД.

В успешной работе сети «10G-IX» заинтересованы многие крупные корпоративные и государственные заказчики.

В настоящий момент в процессе подключения к сети «10G-IX» находятся сотни объектов на территории г. Москвы, Московской области и других регионов России.

Информация обо всех поступающих запросах на подключение незамедлительно направляется операторам – участникам сети обмена межоператорским IP L2 VPN трафиком «10G-IX».

Заказчиками IP L2 VPN каналов на базе Сети обмена межоператорским IP L2 VPN трафиком «10G-IX» являются Министерства и ведомства Правительства Московской области, банки, многие другие крупные предприятия, организации и учебные заведения, такие как:

  • Государственная компания «Российские автомобильные дороги»
  • Министерство государственного управления, информационных технологий и связи Московской области
  • Министерство финансов Московской области
  • Министерство транспорта Московской области
  • Финансовый университет при Правительстве РФ
  • Телеканал 360 градусов (Подмосковье)
  • ОАО «Ростелеком»
  • и многие другие.

Ассоциация поддерживает постоянные контакты со своими клиентами, уделяя особое внимание их пожеланиям по уровню обслуживания и качеству сервиса. В своей работе мы стараемся не только учитывать сегодняшние потребности клиентов, но и оправдывать все их ожидания.