Google використовує машинне навчання для підвищення ефективності центру даних

В інтернет-гіганті застосовується машинне навчання та штучний інтелект для підвищення ефективності своїх центрів обробки даних. За словами Джоа Кава, віце-президента Центру даних Google, компанія почала використовувати нейромережі для аналізу величезної кількості зібраних на серверах даних та рекомендації щодо вдосконалення їх роботи.

По суті, Google побудував комп'ютер, який знає ще більше про своїх дата-центрах, ніж самі інженери. Людини ресурсу не списуються, але Кава вважає, що використання нейромережі дасть Google можливість досягти нових горизонтів в ефективності серверних ферм, за рахунок чого інженери можуть бачити і аналізувати.





Google вже має деякі з найбільш енергоефективних центрів обробки даних на планеті. Використання штучного інтелекту дасть Google блиск у майбутнє та імітує тисячі центрів обробки даних.

На ранніх стадіях використання нейромережі дозволили Google прогнозувати співвідношення PUE з точністю 99,6%. Ці рекомендації, хоча, здавалося б, незначно, призвели до значної економії витрат, оскільки вони були застосовані до тисяч серверів.

Чому Google перетворюється на машинне навчання та нейромережі? Основна причина полягає в тому, що центри даних постійно розширюється, що є проблемою для Google, який використовує датчики для збору мільйонів значень даних на інфраструктурі та споживання енергії.

«У динамічному середовищі, як центр даних, іноді важко для людини бачити всі взаємозв’язки змінної системи», – розповідає Кава. Ми працюємо над тим, щоб оптимізувати процес обробки даних. Всі кращі способи вже реалізовані, але ми не повинні зупинитися! ?



Нейромережа Google була створена Джимом Гао, інженером Google, яким колегам висловили «бойовий геній» через можливість аналізу великих обсягів даних. Проаналізовано системи охолодження, застосовуючи принципи гідродинаміки та моніторингові дані для створення моделі 3D повітряного потоку всередині серверного приміщення.

Gao вважали, що це можливо створити модель, яка відстежувала ще більший набір змінних, включаючи навантаження на обладнання, погодні умови, охолоджувальні вежі, водяні насоси та теплообмінники, які зберігали сервери Google при нормальних температурах.

«Комп'ютери хороші, тому що вони можуть бачити всю приховану історію в даних. «Джим взяв інформацію, яку ми збираємо щодня, і переможемо її через свою модель, щоб придумати складні ланцюжки взаємодії, сенс, що працівники не можуть помітити як смертники,» Кава написав у блозі. Завдяки серії випробувань та помилок, модель Джима тепер дає точність 99,6% у кількості PUE. Це означає, що тепер можна застосувати моделі, щоб знайти нові способи, щоб зробити наші дії більш ефективними. Зображення нижче показує кореляцію між передбачуваними (чорною кривою) і фактичними (жовтими кривими) змінами PUE.



Ґо почав працювати над машинним навчанням як «20 відсотків проекту». Традиційно компанія Google надає своїм працівникам можливість проводити деякі з них часові розробки інновацій за межами своїх основних обов’язків. Гао не був експертом зі штучного інтелекту. Дослідити ключові моменти в машинному навчанні, Gao провів курс в Stanford з професором Ендрю Еун.

Нейромережа імітує роботу мозку людини, що дозволяє комп'ютеру розуміти і «звільнити» завдання, не маючи програми їх явно. Пошуковий двигун Google часто цитується як приклад цього типу навчання, який також є одним з ключових напрямків дослідження компанії. «Ця модель нічого не більше, ніж набір обчислень диференціального рівня», - пояснив Кава. «Ви повинні розуміти математику. Модель починається з вивчення взаємодії змінних. й

Для того, щоб розпочати роботу, необхідно визначити основні чинники, що впливають на енергоефективність в дата-центрах Google. Він звужував ці номери до 19 і розробив нейромережу, систему машинного навчання, здатну розпізнати візерунки в великих наборах даних.

«Кількість комбінацій обладнання та настройок важко знайти оптимальну ефективність», - написав Гао у своєму звіті. У робочому дата-центрі завдання можуть бути реалізовані безлічі комбінацій обладнання (механічної та електричної) та програмного забезпечення (контролю та інсталяційних стратегій). Для підвищення ефективності є обмеження часу, часті коливання в робочому навантаженні ІТ-обладнання, погодних умов, необхідність збереження стабільного центру даних.



Що стосується обладнання, згідно з Kava, система не вимагає неймовірної обчислювальної потужності і працює на одному сервері, і може працювати навіть на одному комп'ютері з високим рівнем робочого столу.

Система була запущена на декількох дата-центрах Google. Інструмент машинного навчання мав можливість запропонувати кілька змін, які призвели до поступових поліпшень в PUE, в тому числі поліпшеного розподілу навантаження в якості збільшення потужності інфраструктури, а також невеликі зміни температури системи охолодження води.

«Відсоткові тести в дата-центрах Google показали, що машинне навчання є ефективним методом використання існуючих сенсорних читання для імітації розподілу енергії в дата-центрах і призводить до значної економії витрат», - пише Gao.

Кава вважає, що цей інструмент допоможе Google модель та вдосконалення інших проектів в майбутньому. Але не хвилюватися, дата-центри Google не буде самодостатньою. Зараз компанія зацікавлена в автоматизації, і навіть нещодавно придбаних робототехніки компаніям, але поки не автоматизовані дані Google.

«Ми все одно повинні людей зробити правильні висновки про все це», – говорить Кава. І все ще хочу, щоб наші інженери читали рекомендації.

Найбільші бонуси за допомогою нейромережі з'являться в найближчі роки, коли побудувати новий сайт сервера Google. «Я задовольнював цей принцип у дизайні центрів обробки даних», – розповідає Кава. «Ця технологія різання може використовуватися як в дизайні, так і в подальшому поліпшенні. Я думаю, що ми знайдемо інше використання. й

У статті Гао, сподіваючись, що ті, хто також запустив потужні дата-центри, можуть внести її на практику. «Це не те, що можна використовувати лише Google або Jim Gao», - сказав Кава. Я хотів би побачити більш широке застосування цієї технології. Я думаю, що вся галузь буде вигідно. Це чудовий інструмент, щоб бути максимально ефективним. й

Джерело: habrahabr.ru/company/ua-hosting/blog/230627/