Коллекция не особо нужных вещей Dr.Zlo

[HOOD 5 360]

27 минут назад, donPedro сказал:

Что то не уверен.

И что с этим делать...? 

[donPedro 3 788]

48 минут назад, ДокторЗло сказал:

ТЕм надежнее.

Я чисто математически: если массив из пяти одинаковых дисков и пятая часть общего пространства под избыточное кодирование - с этим не спорю. Спорю с формулой: "n-1 дисков под хранение информации". При десяти дисках уже под инфу для восстановления останется десятая часть. Дальше - хуже: при двадцати одна двадцатая, при ста - одна сотая? То есть, чем больше и больше дисков в массиве, тем меньше надо места под резервирование? Чудеса!

Но, если под надёжностью понимать вероятность выхода из строя одновременно более одного диска, то да, чем больше в массиве физических дисков - тем меньше вероятность смерти сразу (одномоментно) нескольких дисков, влекущих невозможность восстановления пользовательской информации целиком.

Ещё раз, надёжность хранения и доля пространства под резервирование - это разные вопросы.

 

Изменено 14 ноября, 2020 пользователем donPedro

[donPedro 3 788]

38 минут назад, HOOD сказал:

И что с этим делать...? 

"Учиться, учиться и ещё раз учиться!" (с)

[HOOD 5 360]

2 минуты назад, donPedro сказал:

при двадцати одна двадцатая, при ста - одна сотая?

Ну, наверное, надо без фанатизЬма подходить к вопросу и для количества дисков больше 5...6 использовать другие массивы.... 

[Уроборос 2 670]

donPedro ДокторЗло Rutger HOOD 

Всем спасибо за информацию.

 

ДокторЗло 

У Вас помнится NAS другой был под рековскую стойку. 

[donPedro 3 788]

Только что, HOOD сказал:

Ну, наверное, надо без фанатизЬма подходить к вопросу и для количества дисков больше 5...6 использовать другие массивы.... 

Просто формула неправильная. Работает только до 5-ти одинаковых дисков, но не больше. Если дисков больше и/или они различны по ёмкости, то минимальная доля общего пространства под резервирование имеет предел, в силу небесконечной эффективности резервного кодирования.

[HOOD 5 360]

20 минут назад, donPedro сказал:

Просто формула неправильная.

Спорить можно до бесконечности, но в RAID 5 используется объём только 1 (одного) диска для резервирования и ничего с этим не поделаешь.... 

Изменено 14 ноября, 2020 пользователем HOOD

[donPedro 3 788]

7 минут назад, HOOD сказал:

RAID 5

Пятёрка здесь - не количество дисков, а обозначение уровня RAID-массива. Массивы уровня 5 могут состоять и из большего количества дисков и даже, если не ошибаюсь, из меньшего, кажется не менее 4-х, но могу и ошибиться - давно этой темой интересовался. Пользовательские данные расположены на всех дисках массива, и так же, резервная информация на всех дисках. Просто под резервирование примерно 20% от общей ёмкости занято.

Изменено 14 ноября, 2020 пользователем donPedro

[HOOD 5 360]

5 минут назад, donPedro сказал:

Пятёрка здесь - не количество дисков, а обозначение уровня RAID-массива. Массивы уровня 5 могут состоять и из большего количества дисков и даже, если не ошибаюсь, из меньшего, кажется не менее 4-х.

Они могут состоять даже из 3 (трёх)...

Изменено 14 ноября, 2020 пользователем HOOD

[ДокторЗло 14 462]

18 минут назад, algato77 сказал:

У Вас помнится NAS другой был под рековскую стойку. 

Как раз SSD 16 тб я о нем и написал. И он на болте втором. 

Изменено 14 ноября, 2020 пользователем ДокторЗло

[donPedro 3 788]

12 минут назад, HOOD сказал:

Они могут состоять даже из трёх.

Очень даже может быть  

Пяти-шести дисковые - это оптимум как по эффективности (соотношение полезной ёмкости к резервной минимальна), надёжности (если умирает один диск, его можно заменить даже не останавливая доступ к массиву, на-горячую) и стоимости.

Изменено 14 ноября, 2020 пользователем donPedro

[ДокторЗло 14 462]

donPedro ТОлько при этом скорость ощутимо падает до тех пор, пока массив не восстановится с новым диском/дисками. 

Только что на работе через это прошли. Работать можно, но притормаживает, зараза...  

Изменено 14 ноября, 2020 пользователем ДокторЗло

[donPedro 3 788]

Только что, ДокторЗло сказал:

donPedro ТОлько при этом скорость ощутимо падает до тех пор, пока массив не восстановится с новым диском/дисками. 

ТОлько чо на работе через это прошли. Работать можно, но притормаживает, зараза...  

Само собой, ведь в приоритете - как можно скорее восстановить целостность данных. Чтобы за время восстановления не успел сдохнуть ещё какой нибудь диск.

[Plokhikh 668]

18 часов назад, donPedro сказал:

Пятёрка здесь - не количество дисков, а обозначение уровня RAID-массива. Массивы уровня 5 могут состоять и из большего количества дисков и даже, если не ошибаюсь, из меньшего, кажется не менее 4-х, но могу и ошибиться - давно этой темой интересовался. Пользовательские данные расположены на всех дисках массива, и так же, резервная информация на всех дисках. Просто под резервирование примерно 20% от общей ёмкости занято.

Саша. Hood достаточно правильно говорит. Вот только я бы конечно не стал однозначно рекомендовать raid5 на 4+ дисков (3 диска в raid5 - более недежное и практичное решение) и  я бы не стал бы говорить что один диск в raid5 отведен под резервирование чтобы просто людей особо не путать.

В RAID5 не существует диска под резервирование инфы как такового в привычном его понимании- это не RAID1. Ну ты сам подумай как из 20% инфы можно вытащить все данные это все равно, что из mp3 вытащить оригинальный wav. Фарш назад не провернешь В RAID5 основная информация бьется в цепочки по n-1 членов. И в последний n-ый - результат строгого логического "или" для каждой цепочки. Блоки ротационно распределяются по дискам. При утрате элемента из массива n-1 имея результат дезъюнкции можно однозначно восстановить утраченый двоичный элемент основного массива данных той же самой дизъюнкцией. Если же утрачивается результатат дизъюнкций основного массива то мы его просто пересчитываем. На сохранность данных работает вся цепочка, а не какой-то единичный элемент. У нас просто овердетерменированная мат система.

В итоге если у нас массив из 3х дисков по терабайту то у нас "рабочий объем" 2тб, а если 100 дисков по 1 тб то "рабочий объем" будет уже 99тб и высокоая скорость записи/чтения.

RAID5 на 3 диска самый стабильный при прочих равных в плане вероятности перехода в критическое состояние и в плане вероятности полной потери данных при эксплуатации в критическом состояни или при восстановлении массива, которое реально может пойти не по плану особенно если используется не cow фс без журналирования. Повышая количество дисков мы увеличиваем "эффективность" массива, но немного понижаем надежность и увеличиваем гемор по обслуживанию

Ну, а так конечно если есть возможность то можно завести RAIDZ  он во многом надежнее, удобнее, быстрее, гибче в настройках отказоустойчивости и в зависимости от ранее использовоной файловой системы может дать дополнительные плюшки ZFS такие как моментальные незатратные снимки системы и полное сжатие системы по алгоритму lz4. Может когда-нибудь и zstd завезут и разрешат уровни компрессии настраивать как в совремнном btrfs на новых ядрах linuxю

Впоне может быть, что можно сделать RAID5 или RAID6 через LVM c BTRFS и компрессией zstd для ультимативной емкости и скорости работы, но я не уверен, что это действительно хорошо сработает. А так если только два диска то один из дучших отказоустойчивых вариантов - это raid1 на btrfs с zstd:15. Можно еще конечно древо метаданных немного потрясти, но для сервера с относительно большими файлами типа музыки, фильмов и фото то разница со стандартными настройками будет минимальной.

Изменено 15 ноября, 2020 пользователем Plokhikh

[Urez 2 505]

algato77 это не совсем тот форум для выбора nas конечно, от себя добавлю только тройку личных рекомендаций:

1) Synology (4 hdd в raid 5 + 2 ssd на кэш для записи и чтения), например 918+, всегда конечно лучше брать машину свежее, но будет и ощутимо дороже. Софт, поддержка, обновления, интеграция с уже имеющейся мультимедиа в доме/квартире. Идут нос-к-носу с Qnap.

 

2) С дисками выбор несколько сложнее, тишина - зеленые линейки на 5400, производительность - серверные монстры вплоть до 10000 rpm на шпинделе. Для себя выбрал между ними середину и сижу на ней почти 10 лет - ultrastar линейка слияния Хитачи и Вестерн.

 

Если нет проблем с деньгами - ультимативный вариант на ssd (новые 8 ТБ Самсунги несмотря на tlc в домашнем сценарии крякнут наверное только когда все вокруг устареет), извращаться можно на миллионы рублей как с профессиональной линейкой от Сино/Кунап + сетевые высокоскоростные карты в них, так и с nas/das от Ласи (или болтовым BlackMagic как у Миши) и пр. "попсой".

 

3) Backblaze ежегодно публикуют отчеты по отказам своего hardware подразделения - всегда ориентируйтесь только на них, опираться на отзывы о дисках школьников в DNS, Онлайнтрейдах и пр Я-маркетах - пустая трата времени.   

[donPedro 3 788]

7 часов назад, Plokhikh сказал:

не стал бы говорить что один диск в raid5 отведен под резервирование чтобы просто людей особо не путать

Так и я об этом

7 часов назад, Plokhikh сказал:

массив из 3х дисков по терабайту то у нас "рабочий объем" 2тб, а если 100 дисков по 1 тб то "рабочий объем" будет уже 99тб

Вот это мне показалось очень не логичным. Исходя из "здравого смысла" эффективность резервного кодирования не может бесконечно расти. Получится, что при тысяче дисков в массиве, практически весь объём будет рабочий? 

[Foster 578]

В 14.11.2020 в 12:33, ДокторЗло сказал:

bnz ТАк как звук? Нормально вам? 

The Man Mаchine - отлично, как раз дослушиваю.  Спасибо еще раз!

[Plokhikh 668]

12 часов назад, donPedro сказал:

Так и я об этом

Вот это мне показалось очень не логичным. Исходя из "здравого смысла" эффективность резервного кодирования не может бесконечно расти. Получится, что при тысяче дисков в массиве, практически весь объём будет рабочий? 

Так в том-то и дело, что это не резервное копирование. Там просто записывается дополниетельный элемент для классического RAID5 - это результат дизъюнкции имея который мы можем восстановить утраченый элемент. Имея на руках условно 8 триллионов жестких дисков мы можем организовать RAID5 массив, записать на него 1 терабайт данных так чтобы на каждый диск записалось по одному биту информации. и еще на один записывается один единственный бит информации - дизъюнкция от целого терабайта. Таким образом плучается, что всего лишь один бит информации на одном диске страует целый терабайт данных. Если крякнется любой один диск из всего массива то имея на руках результат с диска с дизъюнкцией мы одно значно восстанавливаем этот утраченный диск, нов реальной жизни нас конечно этот массив скорее всего накроется если мы попробуем его восстановить. Этот бит с дизъюнкций говорит сразу и точно о каждом конкретном отдельно взятом бите в терабайтном массиве, но при этом он полностью бесполезен если мы не имеем остатка массива (одного террабайта без одного бита).  Логику моно продолжить и на 10 и на 100 террабайт защищенные всего лишь одним битом информации и далее. С математической точки зрения никакого противоречия вообще нет. Можно продолжать до бесконечности. Просто утилитарный смысл теряется

[donPedro 3 788]

5 часов назад, Plokhikh сказал:

это не резервное копирование

Я прекрасно и это понимаю, поэтому старался называть "резервное кодирование", так как не знаю красивого слова 

 

5 часов назад, Plokhikh сказал:

дизъюнкции

Plokhikh , я почти готов поверить, что математически так может быть. Но с практической точки зрения, сомнения остаются. Например, чем больше дисков в массиве, тем больше вероятность выхода из строя единовременно более одного диска. Понятно пока,что тема сложная. И мне кажется, что пора на этом закруглиться, чтобы беседа не превратилась в научный диспут.

Изменено 16 ноября, 2020 пользователем donPedro

[Plokhikh 668]

3 часа назад, donPedro сказал:

Я прекрасно и это понимаю, поэтому старался называть "резервное кодирование", так как не знаю красивого слова 

 

Plokhikh , я почти готов поверить, что математически так может быть. Но с практической точки зрения, сомнения остаются. Например, чем больше дисков в массиве, тем больше вероятность выхода из строя единовременно более одного диска. Понятно пока,что тема сложная. И мне кажется, что пора на этом закруглиться, чтобы беседа не превратилась в научный диспут.

может одновременно вылететь несколько дисков, могут диски вылететь когда производится восстановления массива. Для этого и существуют другие типы массивов. RAID5 - это же не всегда оптимум. Да и вообще RAID5 нестабилен для некотороыйх типов прогрессивных файловых систем.

[ДокторЗло 14 462]

Перебирал фотки. Вот - одна из самых любимых))) 

[individuuum 2 719]

37 минут назад, ДокторЗло сказал:

Перебирал фотки. Вот - одна из самых любимых)))

а вот у меня (динамик дети порисовали фломастером)

[donPedro 3 788]

1 час назад, ДокторЗло сказал:

Вот - одна из самых любимых

А главное, подпись в тему получилась: "... - ответил кот -" 

[CHAY 6 412]

2 часа назад, ДокторЗло сказал:

одна из самых любимых)

Система - живой звук  )

[individuuum 2 719]

41 минуту назад, CHAY сказал:

Система - живой звук  )

Котосатурация )))