И снова вопрос про скорость передачи

[SolidSnake 0]

Добрый вечер/день!

 

Пару дней назад приобрел замечательный девайс - DS713+ с двумя дисками WD30EFRX.

Запись файла в хранилище происходит превосходно - 113 мбайт/с, почти предел для гигабита.

Но чтение того же файла 52 мбайт/с, что мало! (надо поместить файлы диска виртуальной машины, скорость чтения тоже важна)

Протокол SMB (видимо версия 2.x), у меня windows 8.1 x64.

Диски объединены в RAID 1 (зеркало).

Jumbo фрейм = 4000.

Хранилище подключаю для теста напрямую к ПК.

 

ПК: MSI X79A-GD65 (8D), Core i7-3930K, 16гб оперативки, диск SSDSC2CW240A310.

 

Скорость работы дисков WD30EFRX достигает 150 мбайт/с на чтение и запись, если подключать напрямую,

да и тесты в интернете это подтверждают.

 

Что не так?

Нагрузка ЦП в корзине минимальная.

[DMagister 0]

Но чтение того же файла 52 мбайт/с, что мало! (надо поместить файлы диска виртуальной машины, скорость чтения тоже важна)

читали куда ? локальным диском скорость не ограничилась ?

попробуйте для чистоты эксперимента копировать файл с NAS в локальный /dev/null (если линукс) или NUL (если винда).

[SolidSnake 0]

Кажется я понял где копать.

1. Kaspersky internet security

2. Сетевой адаптер от Hyper-V

 

Пока еще в процессе, но отключение сетевого экрана KIS и удаление сетевого адаптера в Hyper-V решило проблему.

DS713+ теперь в оба конца передает файл со скоростью 113 мбайт/с.

 

Еще буду разбираться какое именно влияние оказывает отдельно KIS и отдельно сетевой адаптер от Hyper-V, в любом случае, это не проблема Synology, но клиентам может быть интересно узнать.

[SolidSnake 0]

Передача данных по сети на высокой скорости приводит к возникновению "системных прерываний" инициатором которых является сетевой контроллер.

Есть какая-то бредовая но общеизвестная проблема с созданием прерываний для обработки данных из контроллера в память.

На скорости 113 мбайт/с на моей системе, прерывания грузят 45% одного ядра ЦП.

При установленном антивирусе KIS, при передаче данных по сети создается значительно больше прерываний, ядро грузится на 100% и скорость падает (до 52 мбайт/с).

Причем, даже если все модули KIS отключены, проблема остается (файл передается на скорости 72 мбайт/с), видимо, их драйвер контроля сети реализован через одно место.

 

Итак, сейчас скорость передачи и приема большого файла = 113 мбайт/с.

Передача маленьких файлов, конечно, не столь быстрая, к сожалению.

 

Может кто-нибудь знает как ускорить передачу набора маленьких файлов?

[SolidSnake 0]

Кто может подсказать, как по iSCSI достигнуть сопоставимой скорости в сравнении с SMB?

Не понимаю, почему скорость передачи на iSCSI раздел плавает да и скорость почти в 2 раза меньше.

[DMagister 0]

Не понимаю, почему скорость передачи на iSCSI раздел плавает да и скорость почти в 2 раза меньше.

я у себя сейчас посмотрел по скоростям с nas на ноутбук: по smb порядка 620 mbit/sec, по iscsi - 530 mbit/sec. чуть медленнее, но явно не в два раза. ds1513+. iscsi файловый, в том же разделе на nas.

[Siroc-co 0]

Итак, сейчас скорость передачи и приема большого файла = 113 мбайт/с.

Передача маленьких файлов, конечно, не столь быстрая, к сожалению.

Может кто-нибудь знает как ускорить передачу набора маленьких файлов?

Да. Поставьте SSD. Простые жизненные тесты подтверждают повышение скорости. Если прям с удалённого диска из расшаренной папки запускать портабл приложения - это те ещё тормоза. Думал из-за сети. А потом впихнул SSD в USB 3.0 NAS, и запустил тоже самое приложение, также, из расшаренной по сети папки. Скорость минимум в десять раз выше.

HDD нужно много времени для позиционирования головки, в SSD время доступа в сотню раз меньше.

[SolidSnake 0]

я у себя сейчас посмотрел по скоростям с nas на ноутбук: по smb порядка 620 mbit/sec, по iscsi - 530 mbit/sec. чуть медленнее, но явно не в два раза. ds1513+. iscsi файловый, в том же разделе на nas.

Действительно, оказалось в настройках windows можно было добавить еще 1 соединение на тот же таргет.

Скорость более менее приблизилась, но тем не менее, ниже и самое странное что она плавает (скачками идет выгрузка).

В то же время по SMB передача идет стабильно (за исключением редких моментов) и по скорости близко к максимуму.

 

Да. Поставьте SSD. Простые жизненные тесты подтверждают повышение скорости. Если прям с удалённого диска из расшаренной папки запускать портабл приложения - это те ещё тормоза. Думал из-за сети. А потом впихнул SSD в USB 3.0 NAS, и запустил тоже самое приложение, также, из расшаренной по сети папки. Скорость минимум в десять раз выше.

HDD нужно много времени для позиционирования головки, в SSD время доступа в сотню раз меньше.

Какой смысл ставить SSD если теоретически максимальный канал 1Гбит (128 мбайт/с)?

Тот же диск из корзины при прямом подключении на ПК дает 150+ мбайт/с.

У меня по SMB с DS713+ скорость с обычным диском 113 мбайт/с, а у вас?

[Siroc-co 0]

Какой смысл ставить SSD если теоретически максимальный канал 1Гбит (128 мбайт/с), а у меня по SMB скорость с обычным диском 113?

Это был ответ на вопрос, цитирую:

Может кто-нибудь знает как ускорить передачу набора маленьких файлов?

Или у Вас скорость передачи и маленьких и больших файлов 113Мб\сек?

 

А у вас какая скорость передачи по SMB?

А у меня разная бывает, максимальная колеблется в пределах 117-124 Мб\сек.

 

 

P.S. Но всё же думаю поставить SSD. Один SSD в качестве системного, так сказать, и HDD в качестве хранилища. Если конечно так возможно. Службы, как VPN, DNS сервер, сайт, фотостанция и главное база данных - хотелось бы чтоб вертелись на SSD, а остальная файлопомойка на HDD. Так можно разделить?

[SolidSnake 0]

Это был ответ на вопрос

Я почему-то не обратил внимание на цитату) и посчитал что это про iscsi.

 

Или у Вас скорость передачи и маленьких и больших файлов 113Мб\сек?

Да, для передачи набора маленьких файлов ссд помогает, это точно.

Но:

 

А у меня разная бывает, максимальная колеблется в пределах 117-124 Мб\сек.

Стоит ли устанавливать диск с максимальной скоростью 400+ мбайт/с и терять ~300 из за ограничений интерфейса..

У меня 2 ссд и оба подключены напрямую для максимальной производительности.

[Siroc-co 0]

Стоит ли устанавливать диск с максимальной скоростью 400+ мбайт/с и терять ~300 из за ограничений интерфейса..

У меня 2 ссд и оба подключены напрямую для максимальной производительности.

Ну да, в домашний NAS SSD пихать рановато. Сеть слабое место. И когда уже 10G Ethernet разовьётся..? Но можно SSD выбрать и по дешевле и не такие шустрые, чтоб не обидно было. Есть спец серии SSD для NAS. Я давно уже хочу использовать NAS как будто это внутренний диск компа. Например есть приложения, данные которых очень критичны, ну например биткойн кошелёк. Блоки это куча относительно мелких файлов на 25Гб весом. Хранить на компе не безопасно и не надёжно, на NAS - это тормоза ещё те. А если использовать SSD для этого в NAS, то вполне сносно по скорости. Так что в некоторыз случаях и в домашний NAS SSD впихнуть не помешало бы.

[SolidSnake 0]

У меня и на 1Гбит сети возникли проблемы с обработкой данных процессором.

Так и не понял, это глобальная проблема всех сетевых карт или intel не могут драйвер сделать нормальный.

Вообще да, 10 Гбит было бы круто)

[Siroc-co 0]

У меня и на 1Гбит сети возникли проблемы с обработкой данных процессором.

Однажды я мучился с WoL на сетевой карте в метеринской плате... Потом решил купить гигабитную отдельную сетевуху, д линк. Так вот выяснил, что если сетевуха вставлена в PCI порт, то она ргузит проц. А родная, интегрированная, работает совсем не напрягая остальные узлы системы. Как-то так.

[DMagister 0]

Ну да, в домашний NAS SSD пихать рановато. Сеть слабое место..

почему это ? у меня дома 1513+ с четырмя гигабитными линками правда сейчас только два подключено с агрегированием. конечно для одного компьютера это все равно больше гигабита не выдаст, но когда несколько одновременно, то немного помогает.

а ssd в nas... в моем применении вряд ли существенно ускорит. хотя посмотреть нужно в текущей ситуации... но маловероятно.

[Siroc-co 0]

Агрегирование... Думал об этом. Искал свитч, пришёл к знакомому админу, попросил дать погонять. Но админ сказал, что агрегирование в целях повышения скорости, это почти фантастика. Вот в целях резервирования линка, это помогает, но не в скорости. И правда. В тестах скорость возросла не в два раза, как я наивно ожидал, а на 15%, иногда возрастая до 50%. Зато если выдернуть любой из двух кабелей связь никак не терялась, файл продолжал передаваться.

Вот что думаю... 10G никак не хочет приходить по кабелю. Может есть другие пути? Какие там скорости по WiFi сейчас? Может есть преобразователи USB 3.0 -> Ethernet 10G или ещё что-то из области моей фантастики?

Хотя какие нафиг 10 гигабит в сети, если внутренние интерфейсы работают на 6 гигабитах, например SATA3

[polanat 0]

Агрегирование... Думал об этом. Искал свитч, пришёл к знакомому админу, попросил дать погонять. Но админ сказал, что агрегирование в целях повышения скорости, это почти фантастика. Вот в целях резервирования линка, это помогает, но не в скорости. И правда. В тестах скорость возросла не в два раза, как я наивно ожидал, а на 15%, иногда возрастая до 50%. Зато если выдернуть любой из двух кабелей связь никак не терялась, файл продолжал передаваться.

Врёт Ваш админ. Аггрегирование используется именно для скорости а не бэкапа. Для бэкапа используется кластер из 2-х свичей. И потом свичи каскадируются и вот когда трафик от них принимает кор-свич, вот тут-то аггрегирование и сказывается. Ну а про выдернуть один из кабелей - это "Сказки Венского леса"

 

Вот что думаю... 10G никак не хочет приходить по кабелю. Может есть другие пути? Какие там скорости по WiFi сейчас? Может есть преобразователи USB 3.0 -> Ethernet 10G или ещё что-то из области моей фантастики?

Хотя какие нафиг 10 гигабит в сети, если внутренние интерфейсы работают на 6 гигабитах, например SATA3

опять на Wi-Fi замахнулись, остыньте, провод он никак не заменит. Из последних стандартов - IEEE 802.11ac, в отдалённой перспективе - 802.11ad и 802.11as

 

Список стандартов

[SolidSnake 0]

провод он никак не заменит.

С этим можно поспорить

Текущий домашний wifi обеспечивает скорость коннекта 1300 мбит.

Учитывая потери и другие факторы, 1000 должен потянуть, а может и больше. Особенно если устройства расположены рядом.

Пока у меня нет 802.11ac адаптера и протестировать не могу, потом может и попробую) Роутер: asus rt-ac68u. Жаль что не поддерживает Агрегирование по Ethernet.

 

На подходе более быстрые wifi роутеры.

Уверен, беспроводные маршрутизаторы обгонят производителей мат. плат домашнего сектора.

[polanat 0]

С этим можно поспорить

Текущий домашний wifi обеспечивает скорость коннекта 1600 мбит.

Учитывая потери и другие факторы, 1000 должен потянуть, а может и больше. Особенно если устройства расположены рядом.

Пока у меня нет 802.11ac адаптера и протестировать не могу, потом может и попробую) Роутер: asus rt-ac68u.

Речь шла про 10-гигабитный эзернет.

 

PS Про Ваш частный случай - а Вы случаем не в коттедже посреди одинокого поля живёте? Соседей у Вас нет? И потом, что все Wi-Fi у-ва в Вашем доме сидят на 5ГГц? Телек тоже?

[Siroc-co 0]

Да. Туго с сетью 10g. Ценники заоблачные. Самое бюджетное, что нашёл из коммутаторов 10G - NETGEAR ProSafe® Plus XS708E, цена начинается от 45 тыс.

Плюс сетевуха не меньше 5 тыс. А на конце всего этого обычный NAS с двумя 1g портами.

Хотя если денег дофига, можно купить этот свитч(он вроде агрегирование умеет), NAS с четырьмя изернетами, сетевуху в комп... И при идеальном стечении обстоятельств и при солнечной погоде на Марсе можно получить 4х гигабитный линк до NAS. 4 гигабита (4000 мегабит\сек), это 500 мегабайт\сек, что подпирает потолок SSD и, скорее всего не найдётся таких NAS, которые моглибы дать такую скорость, среди четырёхпортовых. Примерно в 55 тыс можно уложиться, если уже есть NAS. Кто готов прокачать сеть за 55 килорублей?

[SolidSnake 0]

И потом, что все Wi-Fi у-ва в Вашем доме сидят на 5ГГц? Телек тоже?

Нет, я в Москве живу, соседи есть но 5 ггц сетей вокруг не много.

Роутер 2х диапазонный, 2.4 тоже поддерживает.

ТВ, телефоны, другой ПК и правда с wifi 5ггц, а для старых устройств использую второй диапазон с 802.11n.

[polanat 0]

Нет, я в Москве живу, соседи есть но 5 ггц сетей вокруг не много.

А вы думаете, Вы один такой в Москве ... Пока соседи не интерферируют, просветите как у Вас идёт просмотр тяжёлого видео по WiFi?? Не лагает? Только не говорите, что у Вас для этих целей - медиаплеер

[DMagister 0]

Агрегирование... Думал об этом. Искал свитч, пришёл к знакомому админу, попросил дать погонять. Но админ сказал, что агрегирование в целях повышения скорости, это почти фантастика. Вот в целях резервирования линка, это помогает, но не в скорости. И правда. В тестах скорость возросла не в два раза, как я наивно ожидал, а на 15%, иногда возрастая до 50%.

агрегированный линк может Вам дать прирост скорости только в случае обработки нескольких клиентов, при этом да, будет суммарная скорость всех линков. а для одного клиента действительно скорость не увеличится. агрегирование так работает. пришел один клиент, свич направляет его на один из линков, пришел второй клиент - свич направляет его на второй линк и т.д.

т.е. если Вы агрегировали два гигабитных линка, то один компьютер по прежнему будет иметь максимум гигабит, а вот если Вы еще и второй компьютер на тот же NAS напустите, то каждый из них будет иметь по гигабиту и с NAS будет отдаваться два гигабита. реальность конечно не такая веселая и сильно зависит от реализации агрегирования в свиче. на TP-LINK TL-SG3210у меня немного получше работает чем на Cisco SB SLM2008T-EU, на этом недоциско и агрегирование разваливается и сам свич теряется и вообще какая-то неадекватная железка, ужасно не понравилась, валяется выключенная.

[Siroc-co 0]

А если свитч 10G, комп 10G, а NAS 4х1G. Тогда на одного клиента с NAS получим 4g ? Хотя.. Правильно админ сказал, хрень всё это. Не знаю как в масштабах предприятия, но для дома вывод правильный. Ждём NAS c 10Гигабит, тогда можно будет что-то мутить. Только ждать, чувствую, долго надо, не один год, и не два.

[polanat 0]

А зачем прямо щас 10Gb в домашней сети? Есть чем их нагрузить? Расскажите - интересно, ведь ...

 

PS Про потуги выжать из железа всё и по-максимуму - писать не надо. Интересует не спринтерство, а так сказать именно практическое применение

[SolidSnake 0]

как у Вас идёт просмотр тяжёлого видео по WiFi?? Не лагает? Только не говорите, что у Вас для этих целей - медиаплеер

Видео транслируется через медиа сервер от DS713+.

Тяжелые фильмы еще не успел протестировать, но когда медиа сервер был на ПК, работало даже при трансляции матрицы в Bluray качестве.

И основные тормоза были на ТВ, ему тяжело такое воспроизводить, даже интерфейс тормозил.

А так, фильмы по 15гб вообще без проблем проходят И это не шутка. ТВ с модулем 802.11n 5ггц, скорость коннекта 300 мбит полагаю.

 

А зачем прямо щас 10Gb в домашней сети? Есть чем их нагрузить? Расскажите - интересно, ведь ...

Я тоже так думаю, но с другой стороны, если есть желание вынести все диски в сеть для консолидированного управления и единой системы отказоустойчивости...

Тогда скорость сопоставимая со скоростью прямого подключения диска была бы уместна, но таких замороченных клиентов явно не много найдется.

 

PS: еще вот вспомнил.

Мне пришлось отказаться от хранения виртуальных дисков ВМ на DS713, т.к. скорость по iscisi не удовлетворила.

Вот яркий пример, когда 1 гбита не хватило. В итоге системные диски на локальном диске ПК, так быстрее.

Но приходится бекапить ВМ снапшотами целиком, а если бы хватало скорости, можно было бы ограничиться контрольными точками.

Хорошо хоть для данных (проекты, видео, музыка, фото, дистрибутивы) 113 мбит хватает, и ко всем ВМ подключен сетевой диск с DS713, хоть так.