Лучший способ save данные хранилища на нескольких serverах?

Мне нужно хранить 100 + tb данных на нескольких serverах, поэтому я понимаю, что это возможно с распределенными fileовыми системами. Я также нуждаюсь в том, чтобы система была ошибочной.

Поэтому, если один server не работает, я не хочу, чтобы данные умирали из-за этого. Также я хочу сделать это наиболее эффективно [space].

Мне нравится, как работает RAID5. Могу ли я построить подобную RAID5 систему между несколькими serverами, или существуют ли fileовые системы, которые делают то же самое, что и RAID5 между несколькими serverами?

Похоже, ваши требования дико нереалистичны.

Во-первых, 100 ТБ данных много. Вам действительно нужно, чтобы все это было доступно одновременно? Если это так, вам нужно искать гораздо больше, чем просто распространять его на нескольких serverах. Необходимо учитывать соображения сетевого взаимодействия и доступа и ограничения производительности. Если у вас действительно есть законная потребность в этом много онлайн-данных, у вас будет много одновременного доступа к нему. Подвержены ли ваши serverы задачам всех этих IOPS? Ad, тогда есть проблема с резервными copyми … для резервного копирования 100 + TB данных вам понадобится одна чертова чудовищная система резервного копирования, требующая нескольких ленточных библиотек и / или систем резервного копирования D2D. То, как вы задали этот вопрос, делает меня абсолютно уверенным в том, что вы не рассматривали ничего из этого, и вам нужно это сделать.

Настройка этих данных – это несколько проектов в одном (или одном очень большом проекте, в зависимости от того, как ваша компания делает что-то.) И, пожалуйста, не принимайте это неправильно, но вы явно не справляетесь с этой задачей. По правде говоря, очень немногие люди в мире справляются с такой задачей самостоятельно, и никто из них не будет комментировать симпатию к RAID5 и не хочет знать, как распространять ее по нескольким serverам или fileовой системе, которая делает то же самое вещь.

Что еще более важно, less эффективного пространства, отказоустойчивого способа распространения больших наборов данных. На фундаментальном уровне вы жертвуете эффективностью пространства для отказоустойчивости, поскольку, если один из ваших распределенных узлов опускается, единственный способ продолжать предоставлять доступ к данным, которые он хранит, – это иметь другую копию или копии этих данных в той или иной форме. Таким образом, вы можете либо иметь отказоустойчивый доступ к своим данным, либо эффективно использовать свободное дисковое пространство, а не то, и другое. Чтобы иметь базовое отказоустойчивое хранилище данных более 100 ТБ, вам потребуется как минимум вдвое больше (200+ ТБ) дискового пространства, периода.

На некоторой смежной ноте / касательной к вышеописанному, RAID5 не является магии. Он обеспечивает избыточность путем вычисления бит четности. Это позволяет экономить пространство за счет времени вычисления. Как метод отказоустойчивости, на больших наборах данных на самом деле не очень хорошая идея, потому что в какой-то момент вы почти наверняка столкlessесь с ошибкой на уровне бит, исkeyив свою отказоустойчивость и очень интенсивно вычислительно. Это может занять DAYS, чтобы перестроить один сбойный диск на массивном массиве RADI5. Как долго, по вашему мнению, потребуется выполнить более сложные вычисления четности, например, 20 ТБ данных с отказавшего узла?

Например, GlusterFS может это сделать.

Но здесь вы можете find много других fileовых систем: http://en.wikipedia.org/wiki/List_of_file_systems#Distributed_fault-tolerant_file_systems

Взгляните на MooseFS , мы используем его здесь с 105TB с 3 лет, и он отлично работает.

  • Является ли NFS + NIS современной передовой практикой для сетей Linux для достижения общих логинов и домашних каталогов?
  • Можем ли мы использовать sshfs или NFS для LVM?
  • Как удалить directory, который у вас less в directoryе NFS?
  • Автоматическое обновление билетов в Kerberos (бессрочно)
  • Режим кластеров Netapp - группы unix для изменения Snapmirror
  • Только чтение NFS-монтирования с возможностью локальной записи
  • Альтернатива Luster для 70-узлового научного кластера
  • Mystic rsync over nfs - те же сообщения об ошибках, но в разных fileах каждый раз
  • sh scripting: как монтировать удаленную fileовую систему, если она не установлена?
  • Какой протокол обмена файлами (SMB / AFS / NFS / SMB2 / SMB3) лучше всего подходит для смешанной клиентской среды в объявлении?
  • Файловая система ZFS с iSCSI
  • Interesting Posts

    Бесплатный server календаря?

    Почему мой журнал транзакций Exchange Server 2007 заполнен

    IIS 6.0: AspMaxRequestEntityAllowed влияет на максимальный размер загрузки в Sharepoint 2007?

    Количество активных счетчиков производительности соединений с базами данных?

    rsync аварийно завершает работу при выполнении синхронизации на монтируемой галерее glusterfs

    Хостинг веб-websiteов и электронной почты на разных serverах

    SMBfs, installation OK, запись ОК, Чтение KO, smbclient OK

    Кодировка к base32 из оболочки

    использование wbadmin для резервного копирования и восстановления

    Повторная routing inputящего сетевого трафика из поддомена в конкретный порт в Windows 2008

    Невозможно уviewеть запланированные задачи из окон 7

    Проблемы с узким местом / дросселированием сети

    Не удается попасть на website CentOS / Apache2 (VirtualBox) после изменения порта прослушивания

    Может ли OpenNMS показывать мне все превышенные пороги?

    как определить повторную передачу на стороне клиента или serverа из pcap

    Давайте будем гением компьютера.