CERN планує збільшити свої обчислювальні можливості до 50 000 ядер

Париж, 1989 - початок створення одного з найбільших і найдорожчих творінь нашого часу, Великий Хадрон Колайдер. Ця подія може бути викликана подвигом, але установка, яка утворилася майже 27-кілометрове кільце, що викопує більше 90 метрів підземелля на кордоні Франо-Свейса, без використання величезної обчислювальної потужності і однаково величезного магазину даних.



Така обчислювальна потужність для Європейської організації ядерних досліджень (CERN) подається ІТ-компанією 4 хмарних середовищ на основі OpenStack відкритого програмного забезпечення, що швидко стає галузевим стандартом для побудови хмари. CERN в даний час є чотири хмари OpenStack, розташованих в двох дата-центрах: один в Meiran, Швейцарія та інші в Будапешті, Угорщина.

Найбільша хмара, розташована в Мейрані, містить близько 70 000 ядер на 3000 серверів, інші три хмари містять всього в 45,000 ядер. Крім того, CERN Budapest буде підключений до штаб-квартири Женева за двома лініями зв'язку 100 Gbps.

CERN почав будувати хмарне середовище в 2011 році з Cactus (відкрите джерело хмарне програмне забезпечення). Хмари побачили світло дня з випуском OpenStack Grizzly у липні 2013 року. Сьогодні всі чотири хмари працюють на дев'ятому випуску платформ OpenStack, які називають Icehouse. На даний момент CERN готується активувати близько 2000 додаткових серверів, які підвищать обчислювальну потужність хмари за замовленням величини. Збільшення енергії зіткнення частинок в комірці від 8 ТеВ (тераелектронних джерел) до 13-14 ТеВ призведе до створення більшої кількості даних, ніж в даний час генерує. Зібрано понад 100 вихованців даних, 27 з яких були зібрані в цьому році. У першому кварталі 2015 року, що кількість проектується, щоб піднятися до 400 бутабайтів на рік, і хмара повинна бути готова до цього.

Хмарна архітектура CERN розташована в двох дата-центрах. Кожен центр даних в Швейцарії та Угорщині має кластери, обчислювальні вузли та контролери для цих кластерів. Контролери кластерів відносяться до головного контролера в Швейцарії, який в свою чергу розподіляє потік даних між двома балансувальниками.

Хмара OpenStack ніколи не створена за допомогою тільки компонентів OpenStack, і хмара CERN не є винятком. Інші компоненти відкритого джерела використовуються разом з ним:

• Git: Система керування версією програмного забезпечення.
• Ceph: Розподілений зберігання об'єктів, який працює на серверних ручках.
• Еластичне дослідження: пошук та аналітика в режимі реального часу.
• Кібана: Механізм візуалізації практичного дослідження.
• лялька: утиліта управління конфігурацією.
• Семан: Інструмент для налаштування та управління ресурсами сервера.
• Хадуп: Архітектура розподілу обчислень використовується для аналізу великих обсягів даних на кластерних серверах.
• Rundeck: планувальник завдань.
• Програмний пакет OpenStack для розгортання хмар на Linux Red Hat.
• Jenkins є постійним інструментом інтеграції.

Вибір був між утилітами шеф-кухаря та цуценя, обидва інструменти зрілі, добре інтегровані з іншими розробками. Тим не менш, суворий декларативний підхід цуценя був визнаний більш доцільним для такого роду роботи.

Архітектура поточної системи ілюстрована за схемою:

OpenStack CERN вже масивний, але це не обмеження. У не так віддаленому майбутньому планується збільшити його принаймні двічі, що буде асоціюватися з оновленням самого колатера.
Згідно з планами, це буде відбуватися в першому кварталі 2015 року, оскільки на цьому етапі фізики не мають достатньої потужності для пошуку відповіді на фундаментальні питання Всесвіту.

П.с. Мирні елементарні частинки.

Джерело: habrahabr.ru/company/ua-hosting/blog/242933/