Страница 1 из 1

Скорость побайтного сравнения медленнее скорости чтения

Добавлено: Пт окт 23, 2015 17:40
M.S.I.
Скопировал данные с одного диска на NAS. Для проверки корректности переноса запустил синхронизацию с проверкой по содержимому.
Так вот, скорость синхронизации ниже скорости чтения с NAS в 2,5-3 раза. Не пойму, почему так происходит, ведь синхронизация по сути чтение?.. И процессор загружен даже не на 50%, чтобы можно было сказать, что он не успевает сравнивать блоки данных.

P.S. Win 7 x64 & TC 8.51a

Re: Скорость синхронизации медленнее скорости чтения

Добавлено: Пт окт 23, 2015 18:58
Skif_off
M.S.I. писал(а):с проверкой по содержимому
Значит, проверяется не только наличие/отсутствие файла/каталога, но и сравниваются контрольные суммы, вероятно, отсюда потеря скорости.

Re: Скорость синхронизации медленнее скорости чтения

Добавлено: Пт окт 23, 2015 20:53
M.S.I.
Skif_off писал(а):
M.S.I. писал(а):с проверкой по содержимому
но и сравниваются контрольные суммы
Что?.. какие контрольные суммы? Блок из первого файла и этот же блок из второго, если равны, идем дальше, если нет, ставим метку "не равен".
В любом случае, операции в оперативной памяти гораздо быстрее чтения по сети. "Мне так кажется" (с)

Re: Скорость побайтного сравнения медленнее скорости чтения

Добавлено: Сб окт 24, 2015 10:38
Tol!k
M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
курите что такое последовательный/случайный доступ

Изображение

[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]

считайте контрольные суммы в файл на источнике, копируйте вместе с файлами и проверяйте КС на цели
– будет быстрее

Добавлено: Сб окт 24, 2015 11:33
MVV
Интересно, какой размер блока у тоталовской сравнивалки. Что он мэппит файлы - факт, но какого размера блоки он потом вычитывает?.. Если он потом просто идет линейно по файлам, сравнивая байты по порядку, то, конечно, это будет медленно.

Re: Скорость побайтного сравнения медленнее скорости чтения

Добавлено: Сб окт 24, 2015 15:56
M.S.I.
Tol!k писал(а):
M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
Я имел в виду, что если взять древний компьютер с каким-нибудь Celeron'ом, то, скорее всего, там ограничением станет именно он, а не пропускная способность сети. То есть он будет производить сравнение блоков медленнее, чем будут приходить ему данные.
Tol!k писал(а):курите что такое последовательный/случайный доступ
Выкурил еще очень давно.
Tol!k писал(а): [сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
И зачем здесь это?... Кто говорит о параллельном копировании?..
Мож вы не поняли о чем речь?... Открываем некую папку, в ней, допустим, 3 файла - "1", "2", "3". Копируем - смотрим скорость, допустим, X Mb/s. Теперь, после копирования, запускаем сравнение, скорость уже X/(2,5-3) Mb/s, хотя TC, точно также вынужден вычитывать эти 3 файла по сети. Разве не так?
MVV писал(а):Что он мэппит файлы - факт
можете пояснить, о чем речь?..

Добавлено: Сб окт 24, 2015 16:45
Tol!k
значит не вкурили. параллельно они читаются (копируются в память, если угодно)
кусок одного файла, кусок другого, сравнение, следующий кусок одного, следующий кусок другого, сравнение, ...
доступ к диску получается случайный, который в разы медленнее последовательного