Дата Центр EvoSwitch

В этой публикации я хотел бы немного рассказать о преимуществах размещения в Нидерландах, нидерландском Дата Центре EvoSwitch, в котором размещаемся, о плюсах и минусах в работе с этим ЦОД (центром обработки данных).

Почему Нидерланды?

Нидерланды – наиболее лояльная в плане законодательства страна среди остальных стран Европы. А удобное географическое положение дает возможность построения хорошей связности, как с Америкой, так и с Европой одновременно, в том числе с Украиной и Россией – основными потребителями трафика русскоязычного сегмента Интернет. А еще в Нидерландах можно размещать легальные сайты для взрослых, что невозможно во многих других странах из-за несовершенного законодательства или возможно с ограничениями. Например, в Германии, почти на всей территории, при наличии заглушки и платного доступа – разрешено, а в открытом доступе – нет. Почему-то даже там политики не думают о том, что несовершеннолетние при необходимости в состоянии воспользоваться картой родителей или зайти на сайт, размещенный в другом регионе, где отсутствуют ограничения.

Адалт составляет огромную долю всего интернет-трафика – в среднем по миру свыше 30%, потому препятствовать его размещению глупо и не дальновидно, таким странам приходится дорого платить за внешний трафик, ведь когда нельзя – спрос еще выше. Подтверждением этого может быть Россия, где доля взрослого зарубежного трафика оценивается в диапазоне до 54%. В результате развитие внутренних сетей таких стран оставляет желать лучшего, так как местные Дата Центры теряют до половины рынка. Но как говорили раньше – в России и Украине секса нет, именно так видимо полагают законодатели, вводя подобные запреты. Только теперь это понятие актуально для сети Интернет, за что даже предусмотрена криминальная ответственность, если не дай Бог Вы «клубничку» разместили в Украине или России (в РФ все-таки ситуация с этим лучше, но также официально запрещено и наказуемо).
Запрет сайтов для взрослых — увы, не единственная проблема. К сожалению, в Украине и России в последнее время складывается печальная ситуация, как в плане связности между странами (очень мало качественных каналов, Россия и Украина не развивают связность друг с другом, видимо, нет заинтересованности в обмене трафиком), так и в законодательном плане. Серверы могут быть изъяты без решения суда в качестве «доказательства» по различным надуманным мотивам в любой момент, а просмотр потокового видео невозможно сделать одинаково качественным для обеих стран одновременно, если только не потратится основательно на построение нормальных пирингов. На это не способен, по-видимому, даже Вконтакте. Просмотр видео с Вконтакте порой изрядно тупит в Украине. Плохая связность и потери на каналах, которые присутствуют всегда из-за перегруженности сетей, приводят к тому, что скорость на поток между Россией и Украиной порой достигает всего лишь 2 Мбит / с, иногда и ниже, что порой недостаточно для просмотра потокового видео и уж тем более видео HD-качества.

Очень часто между Украиной и Россией трафик ходит по очень сложному маршруту, например через Будапешт, Франкфурт, Лондон:

Но печаль не только в этом, а и во внутренних сетях стран. По аналогичной причине порой сайт из зарубежа будет пинговаться лучше, чем сайт, находящийся в Дата Центре столицы, если проверять из регионов. В том же Укртелекоме, который является Интернет-монополистом в Украине, такое наблюдается часто. Пользователь из региона может получать доступ к сайту, размещенному в Киеве, через Германию или даже через несколько европейских стран. В России в целом ситуация не лучше, а порой даже хуже. По этой причине, гарантированный гигабит в Интернет, который будет иметь более-менее приемлемую связность, как с российскими, так и с украинскими пользователями одновременно, будет стоить значительно больших денег, нежели подобный канал в Нидерландах.

Возникает логичный вопрос, а нужны ли эти все проблемы с размещением серверов в Украине и России, да еще и за большие деньги? На мой взгляд – нет. Куда проще будет разместить серверы в надежном Дата Центре и адекватной стране и обеспечить отличную связность оттуда.

Дата Центр «EvoSwitch»

Расположенный в Хаарлеме, 19 км на запад от центра Амстердама, основан в 2006-м году и введен в эксплуатацию в 2007-м с планом расширения до 5 залов и 2-х коммутационных комнат. Текущая занимаемая площадь свыше 5000 кв. м с возможностью роста до 10 000 кв. м, а в долгосрочной перспективе – до 40 000 кв. м. Благодаря удачному расположению в районе с небольшими потребителями электроэнергии EvoSwitch имеет возможность расширить потребление до 60 МВатт мощности, в данный момент используется свыше 30 МВатт.

EvoSwitch использует на 100% «зеленую» энергию, причем максимально эффективно, коэффициент эффективности энергопотребления — около 1,2. Это первый Дата Центр в Нидерландах, в результате деятельности которого отсутствуют выбросы углекислого газа в атмосферу, почти отсутствуют. Единственные источники – автомобили сотрудников, выбросы которых Дата Центр компенсирует взносами в экологический фонд.

Охлаждение спроектировано по принципу горячих и холодных коридоров, применяется фальшпол:

В каждом зале серверы размещаются в изолированных модулях с адиабатическим охлаждением, тепло из модулей выбрасывается в зал, а из зала отводится промышленными кондиционерами:

Вместительность одного модуля – 32 серверных шкафа, в каждом из шкафов допускается потребление оборудованием до 25 кВт мощности.

Кроме того Дата Центр EvoSwitch является обладателем сертификатов безопасности ISO27001 и 9001, PCI DSS (стандарт безопасности данных индустрии платёжных карт) и SAS-70, что подтверждает высокую надежность Дата Центра и позволяет размещаться даже банкам.

Связность

Дата Центр EvoSwitch имеет отличную связность, как с Россией, так и с Украиной, она, как уже указывалась выше, порой лучше, чем связность между различными регионами России и Украины внутри страны. Для подтверждения своих слов приведу несколько трасс в Россию (Москва и Питер):

[root@evoswitch.ua-hosting ~]# tracert mail.ru
traceroute to mail.ru (94.100.191.241), 30 hops max, 40 byte packets
1 hosted.by.leaseweb.com (95.211.156.254) 0.665 ms 0.663 ms 0.661 ms
2 xe4-0-0.hvc1.evo.leaseweb.net (82.192.95.209) 0.253 ms 0.266 ms 0.267 ms
3 xe1-3-0.jun.tc2.leaseweb.net (62.212.80.121) 0.918 ms 0.930 ms 0.932 ms
4 ae4-30.RT.TC2.AMS.NL.retn.net (87.245.246.17) 0.932 ms 0.934 ms 0.935 ms
5 ae0-1.RT.M9P.MSK.RU.retn.net (87.245.233.2) 44.981 ms 44.993 ms 44.994 ms
6 GW-NetBridge.retn.net (87.245.229.46) 52.378 ms 52.101 ms 52.095 ms
7 ae37.vlan905.dl4.m100.net.mail.ru (94.100.183.53) 52.093 ms 52.086 ms 52.081 ms
8 mail.ru (94.100.191.241) 41.870 ms 42.195 ms 42.181 ms
[root@evoswitch.ua-hosting ~]#
[root@evoswitch.ua-hosting ~]# tracert selectel.ru
traceroute to selectel.ru (188.93.16.26), 30 hops max, 40 byte packets
1 hosted.by.leaseweb.com (95.211.156.254) 0.494 ms 0.775 ms 0.793 ms
2 xe2-2-2.hvc2.leaseweb.net (82.192.95.238) 0.233 ms 0.239 ms 0.241 ms
3 xe1-3-2.jun.tc2.leaseweb.net (62.212.80.93) 0.767 ms 0.771 ms 0.772 ms
4 ae4-30.RT.TC2.AMS.NL.retn.net (87.245.246.17) 0.782 ms 0.996 ms 0.999 ms
5 ae5-6.RT.KM.SPB.RU.retn.net (87.245.233.133) 34.562 ms 34.573 ms 34.575 ms
6 GW-Selectel.retn.net (87.245.252.86) 41.945 ms 41.735 ms 41.728 ms
7 188.93.16.26 (188.93.16.26) 42.686 ms 42.469 ms 42.448 ms
[root@evoswitch.ua-hosting ~]#

Ну, а теперь покажу связность с моим домашним провайдером в Украине:

[root@evoswitch.ua-hosting ~]# tracert o3.ua
traceroute to o3.ua (94.76.107.4), 30 hops max, 40 byte packets
1 hosted.by.leaseweb.com (95.211.156.254) 0.578 ms 0.569 ms 0.569 ms
2 xe2-2-2.hvc2.leaseweb.net (82.192.95.238) 0.253 ms 0.259 ms 0.260 ms
3 62.212.80.140 (62.212.80.140) 0.894 ms 0.895 ms 0.894 ms
4 ams-ix.vlan425-br01-fft.topnet.ua (195.69.144.218) 7.186 ms 7.192 ms 7.192 ms
5 freenet-gw2-w.kiev.top.net.ua (77.88.212.150) 35.204 ms 35.402 ms 35.404 ms
6 94.76.105.6.freenet.com.ua (94.76.105.6) 39.237 ms 39.285 ms 39.279 ms
7 94.76.104.22.freenet.com.ua (94.76.104.22) 38.184 ms 38.304 ms 38.289 ms
8 noc.freenet.com.ua (94.76.107.4) 39.080 ms 39.200 ms 39.190 ms
[root@evoswitch.ua-hosting ~]#

Столь замечательная связность позволяет мне работать с моими серверами в Нидерландах на скорости выше, чем с серверами расположенными в Киеве в Дата Центре «Utel» Укртелекома. Печально, но факт, связность из Киева с Дата Центром в Киеве у меня хуже, нежели связность с нидерландским ЦОД… Таковы реалии. А все потому, что в ЦОД EvoSwitch не 2-3 аплинка, как зачастую бывает на украинских и русских площадках, а несколько десятков. Так же присутствуют различные пиринги и включения в основные точки обмена трафиком. Общее количество аплинков и пирингов – более 30, а общая связность превышает 3 Тбит / с. Пожалуй, это Дата Центр с наилучшей связностью в мире.

Внешняя маршрутизация осуществляется через 3 разных ввода в здании. Оптические кабели надежно проложены к оптическому кроссу в коммутационной комнате. Все кабели анонимны и контролируются EvoSwitch, сведения о кабельной инфраструктуре постоянно обновляются в соответствующей базе данных. В окрестностях Дата Центра присутствуют волокна следующих операторов: BT, Colt, Ziggo, Enertel, Eurofiber, FiberRing, Global Crossing, KPN, MCI/Verizon, Priority, Tele2, UPC. В итоге используются такие основные аплинки, как BT, Cogent, Colt, Deutsche Telekom, FiberRing, Eurofiber, Global Crossing, Interoute, KPN, Relined, Tele2, Telecom Italia, Teleglobe/VSNL, TeliaSonera.

В коммутационной комнате Дата Центра можно увидеть «спагетти» из сотен оптических кабелей желтого цвета (пропускной способностью 10 Гбит / с), и значительно меньше оранжевых (пропускной способностью 1 Гбит / с).

Так выглядит ядро Дата Центра, стоимость которого превышает 1 миллион евро, причем это ядро дублировано:

А вот и точки обмена, в которые есть включения:

• MSK-IX — 10 Gbit / s
• FRANCEIX — 10 Gbit / s
• AMSIX — 140 Gbit / s
• DE-CIX — 60 Gbit / s
• LINX — 40 Gbit / s
• BNIX — 10 Gbit / s
• EXPANIX — 10 Gbit / s
• NLIX — 10 Gbit / s
• DIX — 1 Gbit / s
• NIX1 — 1 Gbit / s
• NETNOD — 10 Gbit / s
• DE-CIX — 60 Gbit / s
• SWISSIX- 10 Gbit / s
• MIX — 1 Gbit / s
• NIX — 1 Gbit / s
• VIX — 1 Gbit / s
• SIX — 1 Gbit / s
• BIX — 1 Gbit / s
• INTERLAN — 1 Gbit / s

Стандартизация и система самообслуживания

В текущий момент скорость роста клиентской базы Дата Центра довольно высока, в частности благодаря партнерам, которые заказывают серверы для своих клиентов, в Дата Центре устанавливается свыше сотни новых серверов ежедневно. Именно по этой причине действуют определенные правила размещения и выдачи серверов.

Так, есть стандартные шкафы (с так называемыми «автоматическими» предустановленными серверами, которые выдаются автоматически), спроектированные под предоставление каждому серверу гарантированных 100 Мбит / с Flat Fee (без ограничения трафика), гарантированного 1 Гбит / с, а также шкафы для серверов с ограниченным потреблением трафика.

Помимо этого применяется стандартизация по конфигурации. Один шкаф заполняется серверами одного типа. Единственное, что может в них различаться – количество дисков и оперативной памяти.

Так выглядит новая партия серверов, ожидающая установки в шкаф, 40 серверов HP DL120:

Уже установленные серверы:

Каждый сервер подключается не только к сети Интернет, но и к системе, позволяющей перезагрузить сервер по питанию, отключить порт на свитче и даже переустановить операционную систему сервера нажатием одной кнопки.

В такой стандартизации есть не только плюсы, но и минусы. Плюс в том, что серверы автоматические и система их может выдать порой через несколько минут после проведения оплаты, настроенным согласно Вашим пожеланиям. Минус состоит в гибкости решений по конфигурации и первоначальной настройки.

Так, если Вам необходим будет сервер с разными типами дисков в одном сервере (например SATA и SSD), не смотря на то, что конфигурация сервера без проблем позволяет их одновременное использование — Вас зачастую отправят заказывать Custom Built (не автоматические серверы), которые стоят значительно дороже автоматических (порой в 2 раза) за счет того, что их установка проводится вручную и размещаются они в шкафах в которых можно подключить канал любой нужной пропускной способности и увеличить пропускную способность в любой момент до нужного Вам уровня. Иногда конечно ЦОД идет на встречу и соглашается добавить диски после установки (если проблема только в дисках), при условии оплаты времени инженера, пол часа которого стоят 50 евро (минимум к оплате пол часа).

В стандартных же шкафах, где серверы подключены к стомегабитному, гигабитному или каналу с ограничением по трафику изменить тарификацию трафика или увеличить пропускную способность не получится. Так же как и не получится предоставить дополнительный порт в свитче для постоянного IPMI, по той причине, что, как правило, они не резервированы под эту услугу.

Есть еще один минус - отсутствие возможности переустановить сервер автоматически с RAID. Для получения нужного уровня RAID Вам зачастую придется опять обращаться к инженеру (если только аппаратный RAID не был предварительно сконфигурирован перед установкой сервера) или заказывать временное KVM-устройство на платной основе, которое обойдется в 50 евро за сутки (минимальный период сутки) для проведения установки вручную самостоятельно.

Тем не менее IPMI и инженер в большинстве случаев оказывается не нужным, так как вне зависимости от того какой у Вас сервер, автоматический или нет, Вы можете при помощи системы управления серверами в центре самообслуживания (Self Service Center) выполнить не только переустановку, перезагрузку по питанию, но и загрузить сервер в режим восстановления.

Режим восстановления (Rescue Mode) предоставляет Вам возможность загрузить Small Linux или BSD среду в оперативную память сервера из сети ЦОД посредством нажатия одной кнопки. В режиме восстановления можно получить доступ к файлам на жестких дисках сервера, произвести ремонт загрузчика и множество других операций. При должных навыках администратора Вы даже сможете переустановить операционную систему с применением необходимого Вам программного уровня RAID, для конфигурирования аппаратного все же придется обратится к инженеру. Таким образом операции требующие физического вмешательства крайне редки.

Особенности режима восстановления. После нажатия кнопки загрузки в режим восстановления пароль к запрашиваемой среде отобразится в течении 10 минут, если этого не произойдет нужно перезагрузить сервер кнопкой через панель и подождать еще 5-10 минут. В случае, если режим восстановления загрузить не удается — обращайтесь к инженеру. Для выхода из режима восстановления достаточно просто перезагрузить сервер.

В системе самообслуживания есть изъян — в случае, если недоброжелатель получит доступ к Вашему SSC, он сможет переустановить все серверы нажатием соответствующей кнопки, что приведет к потере данных и особенно будет страшно, если серверов в аккаунте несколько. Решением могла бы стать возможность назначить пароль на функцию переустановки, как для отдельного взятого сервера, так и для группы серверов. О чем программисты SSC уведомлены нами и надеюсь в скором времени это будет реализовано.

SLA (service-level agreement) и особенности технической поддержки

SLA в EvoSwitch возможно и marketing bullshit, но жизненная необходимость. И вот почему. ЦОД настолько большой, а сотрудники порой настолько медлительны, что если не покупать гарантированный уровень поддержки, то к Вашему серверу могут подойти часа через 3, а то и вовсе можно ждать пол дня, прецеденты долгого ожидания были, без платного SLA там делать нечего. Но порой в задержке может быть виноват и сам абонент, если не точно указал тему своего запроса. В Дата Центре существует несколько линий поддержки, одна линия перебирает запросы и назначает им приоритет, другая — занимается решением. Также можно попытаться самому изначально определить приоритет, выбрав соответствующую тему. Например, на тему Service Unavailable реакция более стремительна, нежели на остальные, что логично. Но не стоит этим злоупотреблять, так как первая линия поддержки все-таки проверяет приоритетность этого запроса и можно угодить в негласный «черный список» и затем очень долго ждать ответов уже на критичные запросы.

Рассмотрим теперь уровни SLA:

• Best Effort (инженеры ЦОД прикладывают все усилия, чтоб решить вопрос как можно скорее, ага, просто «бегут» к серверам, не сомневайтесь), это бесплатный уровень SLA, который ничего не гарантирует и решение вопросов может занимать очень много времени;
• SLA Bronze (24x7xNBD);
• SLA Silver (24x7x12);
• SLA Gold (24x7x4);
• SLA Platinum (24x7x1).

Платные уровни, как видим, гарантируют то, что Вам ответит инженер в срок 24 часа, 12 часов, 4 и 1 час соответственно. Причем за то, чтоб Вам гарантировали получение ОТВЕТА (заметьте, ответа, а не решение проблемы, именно по этой причине многие считают SLA в европейских ЦОД маркетинговой фигней) в течении суток, Вы должны оплатить свыше 50 евро / месяц за сервер дополнительно, а в течении часа — 180 евро, что порой превосходит стоимость аренды сервера в 3 раза и дешевле уж построить кластер. Оплачивать такие деньги наверняка многие не готовы и клиентов заметно поубавилось бы, если б не было иной схемы работы. Получить платное SLA за бесплатно возможно, если работать через партнеров, а не напрямую. Но об этой схеме позднее.

Высокая стоимость SLA при работе напрямую для частных абонентов с небольшим количеством серверов — жестокие реалии этого Дата Центра premium-класса. Почему не возможно организовать качественный саппорт без доплат — мне до сих пор не понятно, видимо высокий уровень зар. плат (в сравнении с российскими и украинскими) понижает эффективность работы, люди не привыкли напрягаться, особенно обслуживая такую высокотехнологичную площадку, как EvoSwitch. Это мое мнение основывается на опыте работы с украинскими площадками, которые зачастую совсем не технологичны, а больше напоминают склад. Тем не менее на 10 000 юнитов в ЦОД в Украине может сидеть 2 сотрудника тех. поддержки (с окладом 400 евро / месяц каждый, сравните со стоимостью SLA в Нидерландах!) и при этом без всяких платных SLA в течении 15 минут успевать предоставить KVM к серверу всем нуждающимся абонентам, заменить вышедший из строя диск и при этом, как сказал наш админ — «еще успевают курить, пить чаи и в чатах сидеть»… Очень странно, что это невозможно в Нидерландах с таким огромным количеством сотрудников и намного более высоким уровнем зар. плат. Хотя не знаю, возможно выполняется только указанная админом часть? По какой причине поддержка не работает эффективно без доплат (хотя и с доплатами порой тоже)? Быть может это связано с тем, что в EvoSwitch для большинства серверов отсутствует возможность предоставления бесплатного KVM и инженеры сами вынуждены решать вопрос и восстанавливать доступность сервера вместо клиента, если у клиента не получается загрузить Rescue. Возможно… Хотя такие случаи не очень часты, видимо тут присутствуют еще проблема нехватки кадров и низкой эффективности их работы. Потому без платного SLA оперативность будет далеко не всегда.

Тем не менее руководство Дата Центра EvoSwitch воспринимает критику и уже есть положительные моменты в улучшении оперативности обслуживания.

Работа через партнеров, почему это выгодно всем

В Дата Центре развита программа партнерства с крупными хостинг-провайдерами, что позволяет уменьшить нагрузку на сотрудников, увеличить продажи и качество обслуживания. Провайдеры-партнеры получают услуги ЦОД со скидкой, а так же в зависимости от объема, определенный уровень SLA (Remote Hands) для всех своих серверов бесплатно, различные другие виды лояльности. Предоставление SLA без дополнительных оплат для своих партнеров основано прежде всего на том, что до 90% запросов клиентов провайдер может разрешить самостоятельно без обращения к инженерам в ЦОД. В случае, когда клиенты работают с Дата Центром напрямую, эти 90% ложатся на плечи сотрудников тех. отдела EvoSwitch, а как известно — зар. платы там не малые. Для ЦОД намного выгоднее предоставить SLA партнеру бесплатно (с разумным лимитом бесплатного времени инженеров в месяц), и с помощью его сотрудников бесплатно решать до 90% проблем, чем нанимать дополнительный персонал. Схема интересная и эффективная для всех сторон, в том числе и для клиента, который в итоге получает SLA вплоть до максимального уровня без огромных платежей. Для того, чтоб это понять достаточно взглянуть на статистику: на каждую сотню серверов, обслуживающуюся у нас, мы создали не более 100 запросов в Дата Центр за год. При этом к нам запросов поступает от 500 в год на сотню серверов.

Теперь приведем полный список причин, по которым клиенту выгоднее работать через партнера, а не напрямую:

• поддержка на родном языке;
• SLA максимального уровня бесплатно;
• гибкость в настройке и установке серверов, возможность заказа индивидуального решения по более низкой цене;
• более оперативное предоставление сервера после заказа, порой моментальное;
• предоставление в качестве бонуса панели управления или лицензии Windows без оплаты;
• оперативность решения проблем, возможность заказа сопровождения по минимальным ценам;
• больше времени для реакции на жалобу;
• более низкая цена на сервер, чем при покупке напрямую, разнообразные способы оплаты.

Ну и самое главное, провайдеры участники партнерской программы являются крупными клиентами ЦОД, к их запросам и потребностям более внимательное отношение, чем к клиенту с одним или даже несколькими десятками серверов. Работа через партнера будет выгодной даже в случае, когда Вам необходимо разместить большую инфраструктуру, сотни серверов. Так как совместно с партнером Вы получите большую скидку, чем можете получить заказывая решение по отдельности, кроме этого клиент избавляет себя от лишних административных и технических проблем, в решении которых у провайдера-партнера больше опыта.

Политика реакции на жалобы, сроки реакции

В Дата Центре существует отдельная от отдела продаж и тех. поддержки команда специалистов, работающая исключительно с жалобами. Поскольку ЦОД большой — жалоб поступает в сутки огромное количество. Сотрудники абузного отдела анализируют их и если по их мнению жалоба оправдана — передают клиенту, назначая жалобе приоритет. Необоснованными жалобами клиента не беспокоят! В зависимости от назначенного приоритета у пользователя есть время для реакции на жалобу от 1 до 72 часов. В случае, если пользователь не реагирует на жалобу в течении отведенного срока — ip-адрес сервера, на который поступила жалоба, временно блокируется. Поэтому крайне важно отслеживать жалобы.

Наибольшую опасность остаться с неработающим сервером представляют собой жалобы категории URGENT, где срок реакции установлен 1 час. Под реакцией для столь срочной жалобы подразумевается то, что пользователь должен дать ответ в течении этого времени, что начал решать проблему. Именно поэтому лучше не заказывать серверы в ЦОД напрямую, так как нормальный человек, у которого нет своего технического отдела — не способен зачастую отреагировать в течении часа. Правда такие жалобы весьма редки. К ним относят рассылку спама большой интенсивности, детское порно и всякие извращения (это запрещено даже в лояльных Нидерландах, что правильно), фишинговые сайты (банковских систем и т.п.). При повторении жалобы на интенсивный спам и отсутствии реакции в течении часа ай пи адрес сервера может быть заблокирован с разблокировкой только после переустановки сервера.

Тем не менее для 99% жалоб дается адекватный срок для реакции на проблему — 24, 48 или даже 72 часа.

Безопасность и надежность

EvoSwitch является обладателем сертификатов безопасности ISO27001 и 9001, PCI DSS (стандарт безопасности данных индустрии платёжных карт) и SAS-70, что подтверждает высокую надежность Дата Центра и позволяет размещаться даже банкам. Физически в сам ЦОД осуществляется пропуск исключительно по пропускам, в том числе биометрическим:

В некоторые зоны Дата Центра, в которых размещаются серверы банков, доступ ограничен даже для сотрудников ЦОД:

Несмотря на то, что ЦОД потребляет свыше 30 МВатт мощности из множества разных источников, было установлено 16 х 1540 кВА парных дизельных электростанций с резервированием по схеме N+1 (с возможностью расширения). В Дата Центре постоянно хранится запас топлива достаточного на 72 часа их функционирования, а также заключен контракт с поставщиком топлива, который согласно подписанного SLA обязуется выполнить поставку дополнительного топлива в период до 4-х часов после запроса.

Помимо этого присутствует система источников бесперебойного питания 1 х 1600 кВА + 3 х 2400 кВА статических ИБП с возможностью расширения.

Система очень раннего обнаружения дыма VESDA (Very Early Smoke Detection Apparatus) моментально уведомляет систему пожаротушения на основе инертного газа аргона:

Стены Дата Центра огнеупорны и могут выдержать воздействие высоких температур на протяжении не менее 180 минут. Помимо этого применяется система обнаружения пожара на основе оптических детекторов, фиксирующих изменения в воздушных потоках, а так же тепловых детекторов.

На территории Дата Центра постоянно присутствует охрана и реализована обширная система видеонаблюдения. Камеры установлены в каждом зале и практически в каждом изолированном модуле. Вокруг установлено несколько барьеров, а первый этаж расположен на уровне 1 метра над землей.

Выводы

В целом EvoSwitch является одним из самых надежных в мире центров обработки данных premium-класса, обеспечивает хорошую связность со всем миром, в особенности прямой канал в Россию и Украину, при этом стоимость услуг довольно невысока, а лояльность законодательства Нидерландов позволит Вам не переживать за свой бизнес. С ЦОД лучше не работать напрямую, а заказывать услуги через партнеров, что поможет избежать многих административных и технических проблем, языковых барьеров, а также сэкономить средства.

За все время работы (более года) проблем с каналами практически не было. Временами, очень редко, наблюдалась непродолжительная недоступность части серверов (как правило из одного шкафа) по причине атаки на клиента из этого шкафа либо проблемы со свитчем и один раз из-за проблем с маршрутизатором. К слову, ЦОД заменил маршрутизатор за менее чем 4 часа! Когда же однажды возникла проблема со скоростью в Россию из-за аварии на крупном русском магистральном провайдере — ЦОД по запросу заблокировал проблеммный PNI и отправил трафик по другому маршруту, причем сделано это было в течении получаса. Выводы делайте сами.

from Хабрахабр