Дата центры России

Стандарты Tier — это язык показателей работы ЦОД.

Система классификации Tier

Uptime Institute создал стандартную систему классификации Tier для эффективной оценки инфраструктуры ЦОДов с точки зрения коммерческих требований к работоспособности системы. Система классификации Tier предоставила отрасли надежный метод для сравнения, как правило, уникальных, реализованных в соответствии со специальными требованиями заказчика, объектов на основании ожидаемой производительности инфраструктуры объекта или безотказности его работы. Кроме того, стандарты Tier позволяют компаниям увязать инвестиции в инфраструктуру ЦОДов с коммерческими целями, характерными для стратегии роста и технологической стратегии.

В стандарте Data Center Site Infrastructure Tier Standard: Topology определены требования и преимущества четырех различных классификаций Tier инфраструктуры ЦОДов. Каждый уровень (Tier) соотносится с определенной коммерческой функцией и устанавливает соответствующие требования к электропитанию, охлаждению, техническому обслуживанию и безотказности работы. Стандарты Tier являются прогрессивными — каждый следующий уровень включает в себя требования всех предыдущих уровней. Кроме того, стандарты Tier показали себя значимым отраслевым стандартом, поскольку допускают множество решений, гарантирующих гибкость системы, что позволяет достичь желаемой производительности и соответствовать местным нормам, кодексам и правилам. Стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных не похожи друг на друга и не должны таковыми быть.

Стандарты Tier I и Tier II являются тактическими решениями, для которых на первом месте стоит, как правило, стоимость приобретения и срок вывода продукта на рынок, а не стоимость объекта с учетом срока службы и требования к производительности (безотказности). Значительная часть доходов организаций, которые выбирают сертификацию на соответствие стандартам Tier I или Tier II, как правило, не зависит от доставки продукта или услуги в реальном времени. Как правило, эти организации защищены договорами, страхующими от ущерба, возникшего вследствие недоступности системы. Причиной выбора стратегических решений, предлагаемых инфраструктурами объектов, сертифицированных на соответствие стандартам Tier III и Tier IV, обычно являются жесткие требования к безотказной работе и гарантия постоянной работоспособности. Решения, предлагаемые инфраструктурами объектов, сертифицированных на соответствие стандартам Tier III и Tier IV, имеют срок службы, превышающий текущие ИТ-потребности и, как правило, используются организациями, которые знают цену сбоев и отказов в наличных долларах, а также их влияние на долю рынка и важнейшие задачи непрерывной деятельности.

Топология — это инфраструктура центра обработки данных, операционная устойчивость — это управление центром обработки данных, но для достижения целей нужно и первое, и второе. Эксплуатационная устойчивость определяется как поведение и риски за пределами топологии инженерных систем, которые влияют на достижение целей ЦОДа или решение бизнес-задач в долгосрочной перспективе. Стандарт Tier Standard: Operational Sustainabilty — это объективная методика, которая позволяет владельцам ЦОДов соотнести программы управления объектом с конкретным уровнем установленной инфраструктуры для достижения коммерческих целей организации или важнейших задач деятельности. Стандарт Tier: Operational Sustainability определяет поведение и риски за пределами системы классификации Tier (I, II, III и IV), которые влияют на показатели работы ЦОДа в долгосрочной перспективе. Стандарт Tier: Стандарт Operational Sustainability объединяет управление объектом и функциональность инфраструктуры объекта, подтвержденной Tier.

Стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability, разработанные Uptime Institute, являются последовательной системой критериев эффективности, которой можно соответствовать и использовать во всем мире. Для успешного проектирования, реализации и устойчивого функционирования ЦОДа владелец и проектная группа должны также учесть дополнительные факторы и риски. Многие из них определяются расположением объекта, а также местными, национальными или региональными особенностями и/или правилами. В частности, следует учитывать строительные нормы и правила, требования официальных уполномоченных органов, сейсмические данные, экстремальные погодные условия (сильный ветер, торнадо), наводнения, использование примыкающей недвижимости, наличие профсоюзов или других трудовых организаций и/или физическую безопасность (обусловленную как корпоративной политикой, так и непосредственным окружением).

Из-за существования многих проектных и управленческих вариантов, которые могут быть продиктованы владельцем, требоваться местными органами власти, рекомендоваться отраслевыми группами или считаться общей практикой, стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability не допускает установления своих критериев для этих дополнительных факторов и воздействий по всему миру. Uptime Institute не стремится вытеснить или запутать рекомендации местных экспертов, которые крайне важны для своевременной реализации проекта, соблюдения нормативных требований и использования передовых практик.

Для успешной реализации проекта Uptime Institute рекомендует проектной группе сформировать подробный перечень требований проекта, который включает в себя стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability, а также тщательно продуманные меры по смягчению дополнительных факторов и воздействий. Такой подход гарантирует, что проект будет соответствовать международным стандартам Uptime Institute, а также местным ограничениям и бизнес-модели владельца.

Система сертификации Tier признается во всем мире

Сертификация по стандарту Tier

Uptime Institute Professional Services — единственная компания, у которой есть лицензия на проведение оценки и сертификации проектов, построенных объектов и текущей эксплуатации на соответствие системе классификации Tier, разработанной Uptime Institute, и критериям Operational Sustainability. Сертификация Tier соотносит готовность инфраструктуры с топологией. Сертификация гарантирует, что в инфраструктуре ЦОДа нет недостатков или слабых звеньев. Обеспечить систематичность инженерных концепций на уровне представления подробных данных и допустить невыполнение правил или подмены невозможно. Процесс сертификации Tier был разработан с учетом вероятных последствий аварии — в терминах эффективности вложений в инфраструктуру ЦОДа и влияния на имидж компании, владеющей ЦОДом.

Процесс сертификации Tier органично включается в график проекта. Результаты проверки предлагают действенные рекомендации, развивая их от концепции до проектирования, от проектирования до реализации и дальше до ввода в эксплуатацию.

  • Tier Gap Analysis сможет выявить основные проблемы в достижении заданного уровня Tier.
  • Сертификация Tier Certification of Design Documents обеспечивает углубленный анализ 100 % пакета проектной документации.
  • Сертификация Tier Certification of Constructed Facility является проверкой установленной инфраструктуры, которая проводится непосредственно на объекте.
  • Стандарт Tier Certification of Operational Sustainability оценивает наличие и эффективность управления и эксплуатации

Сертификация Tier Certification of Design Documents является необходимым условием для сертификации Tier Certification of Constructed Facility. Сертификация Tier Certification of Constructed Facility является необходимым условием для сертификации Tier Certification of Operational Sustainability.

В текущий список клиентов с официальной сертификацией на соответствие Tier входят ведущие отраслевые компании со всего мира. Нажмите на ссылку справа, чтобы посмотреть карту и сортировать по типу сертификата, уровню Tier, клиенту или стране.

Что такое Tier 2 и Tier 3?

Прежде чем перейти к характеристикам 2- и 3-го уровней Tier, давайте разберемся, что это вообще такое. Итак, Tier — это показатель надежности центра обработки данных (ЦОД), разработанный известнейшей сертификационной организацией Uptime Institute. В отличие от многих других стандартов, в этой многоуровневой классификации рассматриваются главным образом надежность и безопасность будущего дата-центра — то, что призвано защитить вложения в его строительство.

Существует четыре уровня надежности дата-центра. Каждый из них представляет собой подробное описание, требования и даже рекомендации к входящим в него системам. Речь в этих стандартах идет не только об архитектурных особенностях ЦОД, но и об электроснабжении, используемых системах охлаждения, проводке, телекоммуникациях и многом другом. Давайте рассмотрим каждый из этих стандартов по отдельности.

Tier 1 (отказоустойчивость — 99,671 %)

Согласно классификации, принятой международным сертификационным институтом, это базовый уровень надежности. Он был актуален в 1960-е и 1970-е годы. В случае ошибок и отказов в работе ЦОД его работа прерывается. Даже при беглом ознакомлении с этим стандартом становится ясно, что он сильно устарел. В частности, в требованиях уровня Tier 1 не предусмотрено обязательное использование источников бесперебойного питания и возможность резервирования данных.

Tier 2 (отказоустойчивость — 99,749 %)

Как и в случае с 1-м уровнем, работа ЦОД стандарта Tier 2 может быть прервана из-за ошибок и отказов и возобновлена лишь после ремонтных операций. Однако здесь уже покрываются не только текущие потребности — этот стандарт предусматривает:

  • небольшой уровень резервирования работоспособности систем;
  • избыточные системные ресурсы;
  • улучшенные системы охлаждения и энергоснабжения;
  • наличие фальшпола;
  • резервные источники электроснабжения ЦОД.

Tier 3 (отказоустойчивость — 99,982 %)

В отличие от первых двух стандартов, ЦОД Tier 3 не нужно останавливать для ремонта и профилактических работ — это основное отличие. Для соответствия Tier 3 data center должен иметь резервные мощности всей системы и два трубопровода для охлаждения.

Дата центр Tier 3 — это гарантия надежности 3data. Все наши центры обработки данных спроектированы в соответствии с этим стандартом.

Собственный дата-центр — удовольствие недешевое. Высокий уровень отказоустойчивости с многократным резервированием обойдется еще дороже. Разумный компромисс — это использование собственных мощностей в сочетании с резервированием «на стороне».

Вероятно, даже совсем далекие от банковской сферы люди наслышаны о том, что Сбербанк собирается строить крупнейший в Европе центр обработки данных площадью аж 15 тыс. квадратных метров, поскольку в первом полугодии 2010 года глава «Сбера» Герман Греф говорил об этом при каждом удобном случае, включая общее годовое собрание акционеров. Правда, другие характеристики планируемого объекта пока неизвестны — общественности транслируются только размеры помещения. Кстати, специально для обывателей можно было бы еще и добавить, что такова примерно площадь среднего «Ашана». Тем же, кто интересуется экономической составляющей проекта, остается лишь прикидывать себестоимость и пытаться угадывать, зачем это нужно.

Справка.БО

Для определения уровня отказоустойчивости ЦОД во всем мире используется Tier Classification. Tier I — базовый уровень (коэффициент доступности — 99,67%). На данном уровне инженерная инфраструктура дата-центра создается без требований по резервированию, однако необходимо, чтобы дата-центр имел автономные системы обеспечения. Обязательно наличие системы гарантированного электроснабжения (дизель-генератора).

На уровне Tier I допускаются простои — как по причине сбоев в работе элементов ЦОДа, так и для плановых регламентных работ — в среднем 28,8 часа простоев в год. Tier II — средний уровень (коэффициент доступности — 99,75%). Все активные элементы систем должны быть зарезервированы по схеме, как минимум, N+1 (лучше больше), где N — минимально необходимое число элементов. Таким образом, любая внезапная поломка активного элемента не приведет к мгновенной остановке работы вычислительной системы. На данном уровне также допускается возможность плановых и неплановых остановок ЦОДа — в среднем 22 часа простоев в год.

Tier III — высокий уровень (коэффициент доступности — 99,98%). Дата-центр с таким уровнем надежности функционирует по принципу обслуживания без остановки, что обеспечивается резервированием всех инженерных подсистем. Допускается всего 4 часа на восстановление после поломки за два с половиной года, что соответствует 1,6 часа простоев в среднем в год.

Tier IV — максимальный уровень отказоустойчивости (коэффициент доступности — 99,99%). Для ЦОДа Tier IV допустимым считается 4 часа на восстановление после поломки за 5 лет, что соответствует в среднем 0,8 часа простоев в год. На этом уровне архитектура системы предполагает, что отказ любого элемента не только не влияет на работоспособность, но даже не приводит к снижению уровня резервирования.
Достаточным для нужд большинства банков считается уровень надежности ЦОДа Tier II или II+.

На площади 15 тыс. квадратных метров размещаются примерно 3 тыс. серверных стоек. Капитальные затраты на строительство такого ЦОДа можно оценить в интервале 100–200 млн долларов. Потребляемая мощность (исходя из расчета 10 кВт на стойку) — 30 МВт. То есть только за электроэнергию придется платить от 400 тыс. до 1 млн долларов в месяц, в зависимости от расположения объекта и местных тарифов. Плюс техническая поддержка — это еще от 1 до 2 млн долларов ежемесячно. Таким образом, операционные затраты (без учета заработной платы) составят от 17 до 36 млн долларов в год.

Для сравнения, цена аренды одного стойкоместа в коммерческом дата-центре находится в диапазоне 20–35 тыс. долларов в год без учета затрат на электроэнергию. Нетрудно подсчитать, что строительство собственного ЦОДа окупится в течение трех лет.

Строго говоря, сравнение с действующими арендными ставками не совсем корректно. Во-первых, на эти ставки стоит ориентироваться, если речь идет о 10–20 стойках, а в случае нескольких тысяч можно рассчитывать на огромные «оптовые» скидки. Во-вторых, наличие на рынке столь больших свободных мощностей — сомнительно. Поэтому означенные рассуждения приводят к следующим выводам.

Запланированное Сбербанком строительство своего мега-дата-центра может быть обусловлено как нехваткой ресурсов коммерческих ЦОДов, так и экономическими расчетами, показывающими приемлемую окупаемость проекта. Но остается непонятным главное: кто и как оценивал потребности банка в вычислительных мощностях и объемах хранения? Если эти потребности оценены неправильно, то и сравнение затрат на свой ЦОД и арендованный окажется бессмысленным. Причем данная логика одинаково применима как для Сбербанка, так и для любого кредитного учреждения.

Так свой или в аренду?

Понятно, что провайдеры всегда агитируют за аутсорсинг, но их аргументы не лишены смысла. Так, Александр Степанов, директор по маркетингу «РТКомм.РУ», считает, что, поскольку поддержание IT-инфраструктуры нельзя назвать профильной деятельностью для финансовой организации, передача части функций специализированным операторам — это «веление времени». Разумеется, нужно стремиться соблюдать баланс между экономической целесообразностью, с одной стороны, и защищенностью и доступностью данных, с другой.

Западные банки часто используют смешанный подход: имея собственную инфраструктуру, они для резервного копирования прибегают к услугам внешнего ЦОДа

Однако Нил Рикард, вице-президент по исследованиям Gartner Research, побывавший в Москве на V форуме «Центры обработки данных», полагает, что в России есть своя специфика. Российские компании (и банки не исключение) любят «развивать внутренние компетенции, строить собственные дата-центры, в то время как в целом по миру использование внешних ЦОДов давно стало нормой». Кроме того, он отметил, что российский рынок очень централизован — в основном Москва и Санкт-Петербург, хотя именно здесь самые высокие цены на аренду земли, помещений, а также электроэнергию. В других странах компании, наоборот, выносят дата-центры подальше от крупных городов, чтобы сэкономить на аренде и счетах за электричество.

К этому следует добавить, что экономическая логика заставляет располагать ЦОДы — особенно крупные — поближе к электростанциям, так как передача электроэнергии на расстояние обходится гораздо дороже, чем передача данных.

На самом деле, выбор между строительством своего дата-центра и арендой не так уж и сложен, по большому счету. Есть фактор денег, фактор времени и ряд очевидных соображений «за» и «против».

Создание своего ЦОДа занимает в среднем 1,5–2 года. В случае аренды на весь процесс, включая исследование рынка, составление ТЗ, заключение договора и ввоз оборудования, уйдет максимум полгода.

Что касается денег, то свой дата-центр в нормальных условиях «отбивается» через 2–3 года после запуска, хотя подобное утверждение тоже не совсем корректно. Средства, «замороженные» в строительстве собственного ЦОДа, можно куда-то инвестировать, поэтому его окупаемость следует считать с учетом недополученной прибыли.

Преимущества своего дата-центра сводятся к низкой стоимости владения, а также к прозрачности и управляемости. Недостатки: необходимость «замораживания» оборотных средств на длительный период создания и потребность в собственной службе эксплуатации.

В качестве плюсов арендуемого ЦОДа можно назвать низкие первоначальные затраты, быстрое внедрение и отсутствие хлопот с дополнительным техперсоналом. Минусы понятны — из них образуются плюсы in-house-центра.

Выше говорилось, что отечественное «цодостроение» центростремительно в отличие от центробежных мировых тенденций. Объясняется это резким контрастом между столицами и провинцией: да, можно сэкономить на аренде, электроэнергии и ФОТ, если отнести центр подальше от Москвы, но персонал окажется неквалифицированным, плохие каналы связи нивелируют выигрыш от дешевого электричества, а в случае поломок устранение проблем может затянуться из-за удаленности. Впрочем, ЦОД нетрудно разместить поближе к региональным центрам с хорошей образовательной базой для технических специалистов, качество связи постепенно растет, а вопрос скорости устранения неполадок решается путем проектирования дата-центров повышенной отказоустойчивости (см. «Справку.БО»), хотя это влечет дополнительные затраты. В общем, все решаемо, а главное — считаемо. Проблема не в этом.

Виртуализация

Проблема, как уже говорилось вначале, заключается в правильном понимании того, какие ресурсы требуются банку — действительно ли тому же «Сберу» нужен ЦОД на 3 тыс. стоек или хватило бы центра поскромнее?

Кстати, есть характерный пример намеренного создания инфраструктурной избыточности. Несколько лет назад у операторов сотовой связи существовала «проблема новогодней ночи». Оборудование, которое успешно работало 364 дня в году, переставало справляться с нагрузкой, когда вся страна после боя курантов бросалась звонить по мобильному телефону или рассылать SMS. Перед операторами встала дилемма: резко нарастить свои мощности и смириться с тем, что весь год существенная их часть будет простаивать, или же сохранить текущий экономически обоснованный уровень емкости сетей со всеми вытекающими репутационными потерями, которые будут происходить каждый Новый год.

Средства, «замороженные» в строительстве собственного ЦОДа, можно куда-то инвестировать, поэтому его окупаемость следует считать с учетом недополученной прибыли

По совокупности причин (в частности, европейское законодательство требует учитывать возможность резкого возрастания нагрузки на сеть мобильной связи в случае форс-мажора) был выбран первый вариант, но для банков такой подход вряд ли разумен.

По словам Нила Рикарда (Gartner Research), западные банки часто используют смешанный подход. Даже строя собственную инфраструктуру, они для резервного копирования или для повышения катастрофоустойчивости прибегают к услугам внешнего ЦОДа. При этом резервный дата-центр может быть развернут и в «облаке», что позволяет сглаживать пиковые нагрузки на собственные вычислительные мощности.

Российские провайдеры утверждают, что готовы предложить банкам услуги на уровне лучших мировых практик. Александр Степанов («РТКомм.РУ»): «У операторов связи появились специальные предложения для финансовых учреждений.

Создание резервного ЦОДа уже стало привычным. Находящиеся в них резервные системы хранения данных связаны с основной площадкой на территории банка защищенными виртуальными каналами. Некоторые операторы предлагают резервные рабочие места для сотрудников финансовых учреждений там же, на территории ЦОДов.

Самое интересное из предложений на рынке за последнее время — использование виртуальных систем облачных вычислений. В этом случае все серверные ресурсы банковского учреждения объединяются в единый распределенный ЦОД, где перераспределяются вычислительные мощности, работают одинаковые приложения, распределенно хранится информация и есть единая точка управления — классический вариант «частного» облака.

Еще большая эффективность достигается при объединении такого «частного» облака с облаком, созданным на ресурсах оператора связи, когда вычислительные мощности выделяются по требованию финансового учреждения, а оператор связи несет ответственность за защиту и целостность информации, обрабатываемой в его части системы».

Обучающий курс от команды «Клерка» «Налоговые проверки. Тактика защиты» Способы защиты, проверенные на практике, от Ивана Кузнецова, налогового эксперта, работавшего в ОБЭП.

  • Первое видео — бесплатно.
  • Даем сертификат в конце обучения.
  • Дистанционное обучение.

Записаться на курс за 5 500 руб.