Модульная система для центра обработки данных (цод)

Модульная система для центра обработки данных (цод)

Иллюстрации

Показать все

Реферат

[0001] Такие организации, как компании торговли через интернет, провайдеры интернет-услуг и поиска, финансовые учреждения, университеты и другие потребители ИТ ресурсов, часто выполняют компьютерные операции с использованием крупных вычислительных центров. Такие вычислительные центры располагают и используют большое количество серверного, сетевого и компьютерного оборудования, предназначенного для обработки, хранения и осуществления обмена данными, требуемого для выполнения операций указанных организаций. Обычно в компьютерном зале компьютерного центра находится много серверных стоек. Каждая серверная стойка, в свою очередь, содержит много серверов и соответствующее компьютерное оборудование.

[0002] Так как вычислительный центр может располагать большим количеством серверов, то для его работы может потребоваться большое количество электроэнергии. Кроме того, электроэнергия подается на большое количество распределенных по компьютерному залу участков (например, на многие раздельно располагающиеся стойки и на многие серверы в каждой стойке). Обычно электроснабжение такого центра осуществляется относительно высоким напряжением. Подаваемое напряжение электропитания затем понижается до более низкого значения (например, до 110 B). Для подачи пониженного напряжения питания на многочисленные конкретные компоненты центра используется кабельная сеть, токопроводящие шины, соединители и распределительные щиты.

[0003] Компьютерные системы обычно состоят из ряда компонентов, генерирующих избыточное тепло. Такие компоненты включают печатные платы, запоминающие устройства большой емкости, устройства электропитания и процессоры. Например, некоторые многопроцессорные компьютеры могут генерировать 250 Вт избыточного тепла. Некоторые известные компьютерные системы имеют в своем составе множество таких больших многопроцессорных компьютеров в конфигурации устанавливаемых в стойки компонентов, которые затем размещаются в стоечной системе. Некоторые известные стоечные системы включают 40 таких устанавливаемых в стойки компонентов, и такие стоечные системы могут вырабатывать до 10 кВт избыточного тепла. Кроме того, некоторые известные центры обработки данных (ЦОД) имеют в своем составе множество таких стоечных систем. Некоторые известные ЦОД используют способы и оборудование, предназначенные для отвода тепла от многочисленных стоечных систем, обычно осуществляемого путем циркуляции воздуха через одну или большее количество таких стоечных систем.

[0004] Величина вычислительной мощности, требуемая от каждого данного центра обработки данных, может быстро изменяться в соответствии с потребностями бизнеса. Чаще всего в данной местности существует необходимость увеличения вычислительной мощности. Обеспечение первоначального предоставления центром обработки данных вычислительной мощности или ее расширение (например, в форме введения дополнительных серверов) требует вложения ресурсов и может занимать несколько месяцев. Обычно требуется значительное время и ресурсы для осуществления проектирования и строительства ЦОД (или его расширения), прокладки кабелей, монтажа стоечных и охлаждающих систем. Также требуется дополнительное время и ресурсы для осуществления необходимых проверок, получения соответствующих сертификатов и разрешений, например, для электрической системы, а также системы отопления, вентиляции и кондиционирования воздуха (HVAC).

[0005] Одна из проблем, существующих в ЦОД, - это проблема возникновения пожара. В некоторых центрах обработки данных пожар, возникающий в одной его части, вероятно, распространяется и на другие части данного ЦОД. Например, пожар, возникающий в электрическом трансформаторе или распределительной аппаратуре электропитания, может распространиться на весь ЦОД, выводя из строя все его серверы. Таким образом, пожар может приводить к большим убыткам вследствие как необходимости больших расходов на восстановление оборудования, так и из-за простоя/потери вычислительных ресурсов.

КРАТКОЕ ОПИСАНИЕ ФИГУР

[0006] На Фиг.1 показан один из вариантов выполнения модульной вычислительной системы.

[0007] На Фиг.2 представлен вид сверху нижнего уровня одного из вариантов выполнения модульной вычислительной системы.

[0008] На Фиг.3 представлен вид сбоку одного из вариантов выполнения модульной вычислительной системы.

[0009] На Фиг.4 представлен вид сверху варианта выполнения электрического модуля модульной вычислительной системы.

[0010] На Фиг.5 представлен вид сверху варианта выполнения модуля ЦОД модульной вычислительной системы.

[0011] На Фиг.6 представлен вид сбоку варианта выполнения модуля кондиционирования воздуха для охлаждения модуля ЦОД модульной вычислительной системы.

[0012] На Фиг.7 представлен вид сбоку варианта выполнения модуля кондиционирования воздуха для охлаждения электрического модуля модульной вычислительной системы.

[0013] На Фиг.8 представлен вид сверху альтернативного варианта реализации настоящего изобретения для верхнего уровня модульной вычислительной системы, включающего использование отдельно устанавливаемого испарительного охлаждения.

[0014] На Фиг.9 представлена блок-схема, иллюстрирующая один из вариантов выполнения модуля ЦОД модульной вычислительной системы без отдельного электрического модуля.

[0015] На Фиг.10 показан один из вариантов реализации предоставления вычислительных ресурсов модульной вычислительной системой.

[0016] Так как настоящее изобретение допускает наличие различных модификаций и альтернативных форм, то здесь в виде приведенных примеров на фигурах с последующим их подробным описанием представлены конкретные варианты реализации данного изобретения. Однако следует понимать, что приводимые фигуры и подробные описания не предназначены для ограничения настоящего изобретения определенными раскрытыми формами, но напротив, данное изобретение охватывает все модификации, эквивалентные и альтернативные варианты в пределах сущности и объема настоящего изобретения, определенных прилагаемой формулой изобретения. Приводимые здесь разделы используются только в организационных целях и не предназначаются для ограничения объема описания или формулы изобретения. В настоящей заявке слово "может" используется в разрешительном (т.е. означает наличие возможности), а не в обязующем смысле (т.е. не означает наличие необходимости). Аналогично, слова "включает", "включая" и "включают" означают наличие, а не ограничение.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0017] Раскрыты различные варианты выполнения модульной системы для центра обработки данных (ЦОД). В соответствии с одним вариантом реализации настоящего изобретения модульная вычислительная система для ЦОД включает один или большее количество модулей ЦОД, содержащих компьютерные системы со стоечным монтажом. Электрический модуль соединен с модулями ЦОД и обеспечивает предоставление электропитания компьютерным системам, располагающимся в модулях ЦОД. К модулям ЦОД подключаются один или большее количество модулей кондиционирования воздуха. Модули кондиционирования воздуха включают по меньшей мере один вентилятор. Модули кондиционирования воздуха обеспечивают подачу воздуха по меньшей мере в одну компьютерную систему, находящуюся по крайней мере в одном из модулей ЦОД. Модули системы могут заранее изготавливаться перед выполнением их поставки на площадку ЦОД. В некоторых вариантах реализации настоящего изобретения модульная вычислительная система представляет собой отдельно располагаемую вычислительную систему с регулируемыми характеристиками окружающей среды, требующую для начала работы только подвода электропитания и подачи воздуха.

[0018] В соответствии с одним вариантом реализации настоящего изобретения модуль ЦОД включает первую часть модуля ЦОД, включающую первый ряд стоек для компьютерных систем, и вторую часть модуля ЦОД, включающую второй ряд стоек для компьютерных систем. Первая часть вычислительного модуля и вторая часть вычислительного модуля при их соединении друг с другом объединяются с образованием вычислительного пространства. Модули системы могут заранее изготавливаться перед выполнением их поставки на площадку ЦОД.

[0019] В соответствии с одним вариантом реализации настоящего изобретения способ предоставления вычислительных ресурсов для ЦОД включает размещение на его площадке одного или большего количества готовых модулей ЦОД. Модули ЦОД включают компьютерные системы со стоечным монтажом. Заранее изготавливаемые модули кондиционирования воздуха, включающие по меньшей мере один вентилятор, подключаются к модулям ЦОД. Модули кондиционирования воздуха обеспечивают подачу воздуха для охлаждения компьютерных систем, располагающихся в модулях ЦОД. На площадке центра эксплуатируются заранее изготавливаемые модули ЦОД.

[0020] Используемый здесь термин "модуль кондиционирования воздуха" означает модуль, обеспечивающий подачу воздуха в одну или большее количество систем или компонентов, внешних для данного модуля.

[0021] Используемый здесь термин "проход" означает пространство, следующее за одной или большим количеством стоек.

[0022] Используемый здесь термин "окружающая среда" означает состояние наружного воздуха в месте расположения системы или ЦОД. Температура окружающей среды может измеряться, например, внутри или возле впускного колпака системы кондиционирования воздуха.

[0023] Используемый здесь термин "вычислительный" включает любые операции, которые может выполнять компьютер - такие как выполнение вычислений, сохранение данных, извлечение данных или обмен данными.

[0024] Используемый здесь термин "центр обработки данных (ЦОД)" включает любое оборудование или его часть, которое выполняет компьютерные операции. Центр обработки данных (ЦОД) может включать серверы, предназначенные для выполнения или обслуживания многих конкретных функций. Примеры компьютерных операций включают обработку информации, обмен данными, моделирование и оперативное управление.

[0025] Используемый здесь термин "компьютерный зал" означает помещение в здании, где работают такие компьютерные системы, как устанавливаемые в стойки серверы.

[0026] Используемый здесь термин "компьютерная система" включает любые различные компьютерные системы или их компоненты. Одним из примеров компьютерной системы может служить устанавливаемый в стойку сервер. Используемый здесь термин "компьютер" не ограничивается обычно используемыми в данной области техники интегральными цепями, но также в широком смысле относится и к процессорам, серверам, микроконтроллерам, микрокомпьютерам, программируемым логическим контроллерам (ПЛК), специализированным интегральным и другим программируемым цепям, причем указанные термины могут заменять друг друга. В различных вариантах реализации настоящего изобретения "память" может без ограничения включать считываемую компьютером среду - такую как запоминающее устройство с произвольным доступом (RAM). В качестве альтернативы также могут использоваться компакт-диск - постоянное запоминающее устройство (CD-ROM), магнитно-оптический диск (MOD), и/или цифровой многоцелевой диск (DVD). Также дополнительные каналы ввода информации могут включать компьютерную периферию, связанную с таким интерфейсом оператора, как мышь и клавиатура. В качестве альтернативы также могут использоваться другие компьютерные периферийные устройства, включающие, например, сканер. Кроме того, в некоторых вариантах реализации настоящего изобретения дополнительные каналы вывода информации могут включать интерфейсный монитор оператора и/или принтер.

[0027] Используемый здесь термин "модуль ЦОД" обозначает модуль, включающий или пригодный для размещения и/или физической поддержки одной или большего количества компьютерных систем, которые могут обеспечивать предоставление вычислительных ресурсов для ЦОД.

[0028] Используемый здесь термин "электрический модуль" означает модуль, распределяющий электропитание для систем или компонентов, внешних для данного электрического модуля.

[0029] Используемый здесь термин "испарительное охлаждение" означает охлаждение воздуха путем испарения жидкости.

[0030] Используемый здесь термин "внешняя система охлаждения" означает охлаждающую систему, внешнюю по отношению к модульной вычислительной системе. Например, внешняя система охлаждения может быть системой водяного охлаждения, подключенной к модульной вычислительной системе. Внешняя система охлаждения может располагаться внутри центра или на открытом воздухе.

[0031] Используемый здесь термин "естественное охлаждение" включает работу, при которой система кондиционирования воздуха по крайней мере частично осуществляет забор воздуха из внешнего источника (например, воздуха за пределами центра) и/или возвращаемого из компьютерного зала, и принудительно направляет его на электронное оборудование без активного охлаждения в подсистеме кондиционирования воздуха (например, при остановленном потоке жидкости через змеевики охлаждения в подсистеме кондиционирования воздуха путем закрывания вентиля регулирования расхода).

[0032] Используемый здесь термин "модуль" означает компонент или комбинацию компонентов, физически соединенных друг с другом. Модуль может включать такие функциональные элементы и системы, как компьютерные системы, стойки, вентиляторы, кабельные каналы, электрораспределительные устройства, системы пожаротушения, системы управления, а также такие конструктивные элементы, как каркас, корпус или контейнер. В некоторых вариантах реализации настоящего изобретения модуль заранее изготавливается вне центра обработки данных.

[0033] Используемый здесь термин "перемещаемый" означает компонент или комбинацию компонентов, содержащих контейнер, корпус, каркас или имеющих другую конструкцию, позволяющую осуществлять его перемещение как устройства из одного места в другое. Например, перемещаемый модуль можно перемещать как устройство на прицепе с платформой. В некоторых случаях перемещаемый модуль может при установке крепиться к участку пола, зданию или капитальной конструкции.

Например, перемещаемый модуль может крепиться болтами к полу ЦОД.

[0034] Используемый здесь термин "электрораспределительное устройство" относится к любому устройству, модулю, компоненту или их комбинации, которые могут использоваться для распределения электроэнергии. Элементы электрораспределительного устройства могут быть реализованы в виде одного компонента или узла (такого, как трансформатор и стойка электрораспределительного устройства, располагающиеся в общем корпусе), или могут распределяться между двумя или большим количеством компонентов или узлов (таких, как трансформатор и стойка электрораспределительного устройства, которые располагаются в своих корпусах и связанных кабелями, и т.д.).

[0035] Используемый здесь термин "стойка" означает стойку, контейнер, шкаф или другой элемент или комбинацию элементов, которые могут содержать или физически поддерживать одну или большее количество компьютерных систем.

[0036] Используемый здесь термин "механическое охлаждение" означает воздушное охлаждение с использованием процесса, включающего механическую работу по меньшей мере с одной жидкостью - такую, которая происходит в испарительно-компрессорных системах охлаждения.

[0037] Используемый здесь термин "источник питания" включает электропитание, получаемое из любого источника, включая, без ограничения, питание, получаемое из вторичной сети. В определенных вариантах реализации настоящего изобретения "источник питания" может представлять собой выход трансформатора.

[0038] Используемый здесь термин "пространство" означает пространство, область или объем.

[0039] На Фиг.1 показан один вариант выполнения модульной вычислительной системы. Модульная вычислительная система 100 включает модули ЦОД 102, модули кондиционирования воздуха 104, электрический модуль 106 и модуль кондиционирования воздуха 108. Каждый из модулей кондиционирования воздуха 104 может обеспечивать подачу охлаждающего воздуха в один из модулей ЦОД 102. Модуль кондиционирования воздуха 108 может обеспечивать подачу охлаждающего воздуха в электрический модуль 106.

[0040] Каждый из модулей ЦОД 102 включает полумодуль 102А и полумодуль 102B. Каждый полумодуль содержит ряд 116 серверных стоек. Каждый ряд 116 серверных стоек может включать несколько стоек 110, причем каждая стойка включает несколько компьютерных систем со стоечным монтажом (для ясности на Фиг.1 компьютерные системы не показаны). В одном варианте реализации настоящего изобретения каждый полумодуль включает ряд из 10 стоек, всего 20 стоек на каждый модуль ЦОД. В одном варианте реализации настоящего изобретения размер модульной вычислительной системы увеличивается с шагом в 20 стоек до достижения максимального размера 60 стоек (три модуля ЦОД) на каждую систему. В одном варианте реализации настоящего изобретения общие габариты модульной вычислительной системы составляют примерно 19,2 м×7,9 м (без учета генератора).

[0041] Электрический модуль 106 может обеспечивать подачу электропитания на модули ЦОД 102. Электрические проводники для подвода питания от электрического модуля 106 к модулям ЦОД 102 могут быть кабелями и/или шинами, проходящими внутри или снаружи модулей. В некоторых вариантах реализации настоящего изобретения кабели проходят через кабельные каналы или кабельные короба, проложенные между электрическим модулем 106 и различными модулями ЦОД 102.

[0042] В приведенной на Фиг.1 системе показаны три модуля ЦОД 102. В других вариантах реализации настоящего изобретения, однако, модульная вычислительная система может включать только один или два модуля ЦОД или же более трех модулей ЦОД. Аналогично этому, размер электрического модуля для модульной вычислительной системы может предполагать поддержку менее трех модулей ЦОД или же более трех модулей ЦОД.

[0043] Каждый из модулей кондиционирования воздуха 104 обеспечивает подачу воздуха в один из полумодулей 102A и один из полумодулей 102B. Каждый полумодуль 102А и полумодуль 102B имеет впускное воздушное отверстие 112 для приема охлаждающего воздуха от соответствующего устройства кондиционирования воздуха 104. Каждый полумодуль 102А и полумодуль 102B имеет выпускное отверстие возвратного воздуха 114, предназначенное для возврата воздуха в устройство кондиционирования воздуха после его прохода через серверные стойки 110.

[0044] В приведенном на Фиг.1 варианте реализации настоящего изобретения один модуль кондиционирования воздуха 104, включающий полумодуль кондиционирования воздуха 104А и полумодуль кондиционирования воздуха 142B, предназначен для обслуживания полумодулей 102А и 102B модуля ЦОД 102. Полумодуль кондиционирования воздуха 104A и полумодуль кондиционирования воздуха 142B могут соединяться с образованием общей камеры. Воздух от вентиляторов 120 в полумодуле кондиционирования воздуха 104А может смешиваться с воздухом от вентиляторов 120 в полумодуле кондиционирования воздуха 142B. Этот смешанный воздух от полумодулей кондиционирования воздуха 104А и 142B может подаваться на модуль ЦОД 102, например, через впускные воздушные отверстия 112 в полумодуле 102А и полумодуле 102B. В других вариантах реализации настоящего изобретения каждый полумодуль 102А и 102B может получать воздух от отдельного модуля кондиционирования воздуха. В определенных вариантах реализации настоящего изобретения модуль кондиционирования воздуха может подключаться и/или подавать охлаждающий воздух в более чем один модуль ЦОД.

[0045] В одном варианте реализации настоящего изобретения устройство кондиционирования воздуха для модуля ЦОД образуется путем соединения двух половин. Например, устройство кондиционирования воздуха для модуля ЦОД 102 может формироваться из двух половин, причем каждая половина модуля кондиционирования воздуха соответствует одному полумодулю 102A и 102B.

[0046] В некоторых вариантах реализации настоящего изобретения каждый полумодуль 102А, полумодуль 102B, полумодуль кондиционирования воздуха 104А, полумодуль кондиционирования воздуха 142B, электрический модуль 106 и модуль кондиционирования воздуха 108 представляют собой готовые модули. Все полумодули 102A, полумодули 102B, полумодуль кондиционирования воздуха 104A, полумодуль кондиционирования воздуха 142B, электрический модуль 106 и модуль кондиционирования воздуха 108 могут раздельно доставляться на место расположения ЦОД. Например, каждый модуль или полумодуль может доставляться на полуприцепе. На месте расположения полумодули 102А и 102B соединяются с образованием модуля ЦОД 102. Когда полумодули 102А и 102B полностью соединяются с образованием модуля ЦОД 102, то модуль ЦОД 102 может становиться герметизированным модулем.

[0047] На Фиг.2 представлен вид сверху нижнего уровня одного варианта выполнения модульной вычислительной системы. Модули ЦОД 102 и электрический модуль 106 модульной вычислительной системы 100 располагаются на одной линии. Каждый из полумодулей 102А и 102B модуля ЦОД 102 включает ряд 116 входящих в него стоек 110. В приведенном на Фиг.2 варианте реализации настоящего изобретения все ряды 116 включают по 10 стоек ПО. Однако ряд 114 может включать любое количество стоек. В определенных вариантах реализации настоящего изобретения каждый полумодуль может включать более одного ряда стоек. Воздух в модуль ЦОД 102 может подаваться от одного из модулей кондиционирования воздуха 104 через впускные воздушные отверстия 112. Воздух может возвращаться из модуля ЦОД 102 в модуль кондиционирования воздуха через отверстия для выпуска возвратного воздуха 114. В определенных вариантах реализации настоящего изобретения выходящий из стойки 110 воздух может выбрасываться в окружающую среду.

[0048] На Фиг.3 представлен вид сбоку одного из вариантов выполнения модульной вычислительной системы. Модули ЦОД 102 и электрический модуль 106 образуют нижний уровень модульной вычислительной системы 100. Модули кондиционирования воздуха 104 и 108 образуют верхний уровень модульной вычислительной системы 100. Полумодули кондиционирования воздуха 104A и 142B устанавливаются на полумодули 102A и 102B, соответственно. Модуль кондиционирования воздуха 108 устанавливается на электрический модуль 106. Модули кондиционирования воздуха 104 содержат вентиляторы 120. Вентиляторы 120 могут осуществлять циркуляцию воздуха в модулях ЦОД 102 и электрическом модуле 106.

[0049] Количество установленных в системе модулей ЦОД может выбираться на основе требований к ЦОД. Например, если центру обработки данных в Здании A требуется 38 серверных стоек и в Здании B - 55 серверных стоек, тогда в Здании A могут устанавливаться два 20-стоечных модулей ЦОД (где можно установить всего до 40 стоек), и в Здании В могут устанавливаться три 20-стоечных модулей ЦОД (где можно установить всего до 60 стоек). Кроме того, со временем в ЦОД могут добавляться модули к модульной вычислительной системе в случае увеличения требуемой в данном здании вычислительной мощности и выполняться их перераспределение в случае уменьшения требуемой в данном здании вычислительной мощности.

[0050] На Фиг.4 приводится вариант выполнения электрического модуля. Электрический модуль 106 может подключаться к внешнему источнику электропитания, такому как вторичная сеть. Электрический модуль 106 может подводить электропитание к модулям ЦОД 102. Электрический модуль 106 включает коммутационный/механический распределительный щит 124 и источник бесперебойного питания (ИБП) 126. Хотя на Фиг.4 показан только один ИБП, электрический модуль в некоторых вариантах реализации настоящего изобретения может иметь боле одного ИБП (например, 5 ИБП). В определенных вариантах реализации настоящего изобретения электрический модуль для модуля вычислительной системы может не иметь ИБП. Сервисный доступ к компонентам электрического модуля может осуществляться через дверцы обслуживания электрического модуля 128.

[0051] Электрический модуль 106 может содержать весь электропривод, связанный с модульной вычислительной системой. В одном варианте реализации настоящего изобретения электрический модуль 106 включает автомат включения резерва (АВР) на 1600 A, 2 ИБП мощностью по 550 кВт каждый, аварийный распределительный щит, главные распределительные щиты и механический распределительный щит. В некоторых вариантах реализации настоящего изобретения на стойки в модулях ЦОД подается напряжение электропитания при использовании соединения звездой 480/277Y.

[0052] Охлаждающий воздух для компонентов электрического модуля 106, включающих, без ограничения, источник бесперебойного питания 126, может подаваться модулем кондиционирования воздуха 108 (см. Фиг.1 и 2). В электрическом модуле 106 предусмотрены впускное воздушное отверстие электрического модуля 130, выпускное отверстие возвратного воздуха электрического модуля 132 и выпускное воздушное отверстие 134.

[0053] Электрический модуль 106 включает систему пожаротушения 136. Система пожаротушения обеспечивает пожаротушение электрического модуля 106. В некоторых вариантах реализации настоящего изобретения система пожаротушения автоматизирована. В одном варианте реализации настоящего изобретения система пожаротушения 136 включает устройство пожаротушения типа FM-200. В определенных вариантах реализации настоящего изобретения система пожаротушения 136 соединяется с системой управления ЦОД. В одном варианте реализации настоящего изобретения система пожаротушения управляет заслонками на впускном воздушном отверстии 130, выпускном отверстии возвратного воздуха 132 и выпускном воздушном отверстии 134. Система пожаротушения 136 может автоматически закрывать заслонки при обнаружении в электрическом модуле 106 пожара.

[0054] Электрический модуль 106 включает резервную систему охлаждения 138. В одном варианте реализации настоящего изобретения резервная система охлаждения 138 включает систему испарительного охлаждения.

[0055] На Фиг.5 приводится вариант выполнения модуля ЦОД для модульной вычислительной системы. Модуль ЦОД 102 включает полумодуль 102А и полумодуль 102B. Полумодули 102А и 102B могут соединяться вместе на площадке центра. При соединении полумодуля 102А и полумодуля 102B используются опоры 139.

Полумодуль 102А содержит в своем составе ряд 116А серверных стоек 110A. Полумодуль 102B содержит в своем составе ряд 116B серверных стоек 110B. Тыльный проход 140А располагается за рядом 116А. Тыльные проходы 140 выполняются в пространстве, располагающемся за рядом 116А серверных стоек 110A, и в пространстве, располагающемся за рядом 116B серверных стоек 110B. При соединении полумодулей 102А и полумодулей 102B образуется общий проход 142 между рядом 116А и рядом 116B. Опоры 137 могут располагаться между стойками.

[0056] Во время работы модульной вычислительной системы 100 модуль кондиционирования воздуха 104 (приведенный на Фиг.1) может подавать воздух в модуль ЦОД 102 через впускные отверстия 112. Воздух может подаваться из впускных отверстий 112 в общий проход 142. Воздух из общего прохода 142 может проходить через переднюю часть 144 серверных стоек 110А и 110B, через компьютерные системы, располагающиеся в серверных стойках 110А и 110B, и затем выходить из серверных стоек через выпускные воздушные устройства 146 на тыльной части 148 серверных стоек 110А и 110B. В некоторых вариантах реализации настоящего изобретения выходящий воздух из различных серверных стоек 110А смешивается в тыльных проходах 140. Воздух из тыльных проходов 140 может поступать в модуль кондиционирования воздуха через возвратные отверстия 114. В определенных вариантах реализации настоящего изобретения выпускное воздушное устройство 146 отделяет воздух, выходящий из одной из серверных стоек 110А или 110B, от воздуха в тыльных проходах 140. Например, воздух из одной из серверных стоек 110А или 110B может попадать непосредственно в модуль кондиционирования воздуха 104 или выводиться прямо в окружающую среду. В определенных вариантах реализации настоящего изобретения выпускное воздушное устройство 146 имеет в своем составе заслонки.

[0057] Сервисный доступ к передним частям серверных стоек 110А и 110B может осуществляться через дверцу обслуживания 150 модуля ЦОД. Сервисный доступ к тыльной части серверных стоек 110А и 110B может осуществляться через дверцы обслуживания 152 этих стоек. В определенных вариантах реализации настоящего изобретения дверцы обслуживания стоек могут располагаться на обоих концах рядов стоек. Например, дверцы обслуживания могут предусматриваться под каждым выпускным отверстием возвратного воздуха 114.

[0058] В одном варианте реализации настоящего изобретения каждый полумодуль 102A и 102B имеет размеры не более 2,7 м в ширину×7,9 м в длину×2,7 м в высоту. В каждом модуле может размещаться 10 стоек в работающем (горячем) ряду при компоновке с наличием холодных рядов. В данном примере модуль ЦОД имеет емкость в 20 стоек. В одном варианте реализации настоящего изобретения каждая стойка представляет собой стойку стандартного размера, которая может быть получена непосредственно от производителя или изготовлена на площадке. В одном варианте реализации настоящего изобретения стойка имеет размеры 610 мм×1016 мм×1778 мм, и она соответствует поставляемой компанией Rittal. Каждый модуль ЦОД может иметь три выходные точки, по одной на каждый горячий ряд и третья - для общего холодного ряда.

[0059] В данном варианте реализации настоящего изобретения модуль ЦОД включает 10 кВт стойку с номинальным используемым диапазоном 7,5-9,0 кВт. Температура окружающей среды внутри модуля ЦОД может подниматься до 35°C на впускной стороне стойки. В одном варианте реализации настоящего изобретения максимальная нагрузка для модулей ЦОД, электрического модуля и модулей кондиционирования воздуха не должна превышать 1 МВт.

[0060] В реализации настоящего изобретения, приводимой на Фиг.5, вид и размещение полумодулей 102A и 102B представлены в виде зеркальных изображений друг друга. Например, впускное воздушное отверстие 112 полумодуля 102А служит зеркальным отображением впускного воздушного отверстия 112 относительно разделительной линии, проходящей между полумодулем 102А и полумодулем 102B, а выпускное отверстие возвратного воздуха 114 полумодуля 102А служит зеркальным отображением выпускного отверстия возвратного воздуха 114 относительно разделительной линии, проходящей между полумодулем 102А и полумодулем 102B (каждое выпускное отверстие возвратного воздуха 114 находится дальше от разделительной линии, чем впускные воздушные отверстия 112). В других вариантах реализации настоящего изобретения вид и размещение обоих половин модуля ЦОД могут быть аналогичными - такими, что одна конфигурация полумодуля может использоваться в любой позиции (т.е. на правой или левой сторонах). В одном варианте реализации настоящего изобретения впускное воздушное отверстие 112 имеет тот же самый размер и расположение, что и выпускное отверстие возвратного воздуха 114, с соответствующими переходными пластинами и/или каналами, устанавливаемыми в модулях кондиционирования воздуха с целью обеспечения подачи и удаления воздуха в соответствующих местах модуля ЦОД (например, как описано выше, чтобы воздух подавался в общий проход 142 и удалялся с тыльных проходов 140).

[0061] На Фиг.6 приводится вариант выполнения модуля кондиционирования воздуха для охлаждения модуля ЦОД. Модуль кондиционирования воздуха 104 включает вентиляторы 120, частотно-регулируемый привод (VFD) 121, внешние воздухозаборные отверстия 160, выпускные отверстия возвратного воздуха 162, задвижку возвратного воздуха 163, фильтры 164 и теплообменник 166. VFD 121 может подключаться к вентиляторам 120. Частотно-регулируемый привод (VFD) 121 может соединяться с системой управления для его использования при управлении вентиляторами 120. В одном варианте реализации настоящего изобретения каждый модуль кондиционирования воздуха 104 включает однодвигательный вентилятор. Верхние части модулей кондиционирования воздуха 104 могут иметь небольшой уклон для предотвращения скопления воды. Как показано на Фиг.3, полумодули 104А или 142B могут иметь два расположенных рядом вентилятора. хМодуль или полумодуль кондиционирования воздуха может, однако, иметь любое количество или расположение вентиляторов.

[0062] Во время работы модульной вычислительной системы вентиляторы 120 подают воздух из внешних воздухозаборных отверстий 160, выпускных отверстий возвратного воздуха 162 или их комбинации через фильтры 164, и направляют его в камеру 168. Воздух проходит из камеры 168 через подающее отверстие 170. Воздух из подающего отверстия может поступать в модуль ЦОД, соединенный с модулем кондиционирования воздуха 104. В одном варианте реализации настоящего изобретения теплообменник 166 соединяется с петлей водяного охлаждения. Охлаждающая вода проходит через теплообменник 166 и может охлаждать воздух перед его попаданием в модуль ЦОД. В другом варианте реализации настоящего изобретения теплообменник 166 соединяется с системой водоснабжения. В определенных вариантах реализации настоящего изобретения модуль кондиционирования воздуха 104 может включать или соединяться с механической охлаждающей системой и/или системой испарительного охлаждения.

[0063] На Фиг.7 приводится вариант выполнения модуля кондиционирования воздуха для охлаждения электрического модуля. Модуль кондиционирования воздуха может иметь конструкцию, в общем виде аналогичную конструкции модулей кондиционирования воздуха 104. Вентиляторы 120 модуля кондиционирования воздуха 108 могут подавать воздух из канала возвратного воздуха 180, внешних воздухозаборных отверстий 182 или их комбинации направлять его в камеру 184, заставляя проходить через подающее воздушное отверстие 186 аналогично приведенному выше описанию для модуля кондиционирования воздуха 104 на Фиг.6. Модуль кондиционирования воздуха 108 также включает механическую охлаждающую систему 190. Механическая охлаждающая система 190 включает устройство конденсации 192. Устройство конденсации 192 включает теплообменники 194 и вентиляторы 196. Устройство конденсации 192 может работать по необходимости для обеспечения должного охлаждения электрического модуля 106 в различных режимах работы. Выходящий из устройства конденсации воздух может подаваться через воздушное отверстие 198. Модуль кондиционирования воздуха 108 включает впускную задвижку 200 для уменьшения поступления внешнего воздуха.

[0064] В одном варианте реализации настоящего изобретения модуль кондиционирования воздуха 108 включает 3 вентилятора - 2 вентилятора для массового удаления воздуха во время цикла зарядки ИБП и один вентилятор для обеспечения управления температурой базового модуля.

[0065] Охлаждающие компоненты располагаются в модулях кондиционирования воздуха 104 и могут соединяться с системой управления. В некоторых вариантах реализации настоящего изобретения отдельная система управления предназначается для электрического модуля и отдельная система управления - для каждого модуля ЦОД. Каждая система управления может выполнять измерение таких рабочих условий для модуля ЦОД, как температура, давление, скорость потока воздуха и влажность, и выполнять регулирование на основе измеренных условий таких параметров системы охлаждения для данного модуля ЦОД, как скорость вентилятора, поступление воздуха и механическое охлаждение. В одном варианте реализации настоящего изобретения все подсистемы кондиционирования воздуха и подсистемы циркуляции воды центра обработки данных управляются общим устройством управления. В других вариантах реализации настоящего изобретения предусмотрены отдельные контроллеры для каждой подсистемы кондиционирования воздуха и подсистемы циркуляции воды или для подсистемы кондиционирования воздуха и/или подсистемы циркуляции воды. Устройства подсистемы кондиционирования воздуха и подсистемы циркуляции воды могут управляться в автоматическом, ручном режиме или с использованием их сочетания.

[0066] В определенных вариантах реализации настоящего изобретения система управления включает по меньшей мере один программируемый логический контроллер (ПЛК). ПЛК может среди прочего открывать и закрывать заслонки модулей кондиционирования воздуха на основе команд оператора с целью обеспечения потока воздуха через модуль ЦОД, требуемого для преобладающих рабочих у