Страница 1 из 1
Скорость побайтного сравнения медленнее скорости чтения
Добавлено: Пт окт 23, 2015 17:40
M.S.I.
Скопировал данные с одного диска на NAS. Для проверки корректности переноса запустил синхронизацию с проверкой по содержимому.
Так вот, скорость синхронизации ниже скорости чтения с NAS в 2,5-3 раза. Не пойму, почему так происходит, ведь синхронизация по сути чтение?.. И процессор загружен даже не на 50%, чтобы можно было сказать, что он не успевает сравнивать блоки данных.
P.S. Win 7 x64 & TC 8.51a
Re: Скорость синхронизации медленнее скорости чтения
Добавлено: Пт окт 23, 2015 18:58
Skif_off
M.S.I. писал(а):с проверкой по содержимому
Значит, проверяется не только наличие/отсутствие файла/каталога, но и сравниваются контрольные суммы, вероятно, отсюда потеря скорости.
Re: Скорость синхронизации медленнее скорости чтения
Добавлено: Пт окт 23, 2015 20:53
M.S.I.
Skif_off писал(а):M.S.I. писал(а):с проверкой по содержимому
но и сравниваются контрольные суммы
Что?.. какие контрольные суммы? Блок из первого файла и этот же блок из второго, если равны, идем дальше, если нет, ставим метку "не равен".
В любом случае, операции в оперативной памяти гораздо быстрее чтения по сети. "Мне так кажется" (с)
Re: Скорость побайтного сравнения медленнее скорости чтения
Добавлено: Сб окт 24, 2015 10:38
Tol!k
M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
курите что такое последовательный/случайный доступ
[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
считайте контрольные суммы в файл на источнике, копируйте вместе с файлами и проверяйте КС на цели
– будет быстрее
Добавлено: Сб окт 24, 2015 11:33
MVV
Интересно, какой размер блока у тоталовской сравнивалки. Что он мэппит файлы - факт, но какого размера блоки он потом вычитывает?.. Если он потом просто идет линейно по файлам, сравнивая байты по порядку, то, конечно, это будет медленно.
Re: Скорость побайтного сравнения медленнее скорости чтения
Добавлено: Сб окт 24, 2015 15:56
M.S.I.
Tol!k писал(а):M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
Я имел в виду, что если взять древний компьютер с каким-нибудь Celeron'ом, то, скорее всего, там ограничением станет именно он, а не пропускная способность сети. То есть он будет производить сравнение блоков медленнее, чем будут приходить ему данные.
Tol!k писал(а):курите что такое последовательный/случайный доступ
Выкурил еще очень давно.
Tol!k писал(а):
[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
И зачем здесь это?... Кто говорит о параллельном копировании?..
Мож вы не поняли о чем речь?... Открываем некую папку, в ней, допустим, 3 файла - "1", "2", "3". Копируем - смотрим скорость, допустим, X Mb/s. Теперь, после копирования, запускаем сравнение, скорость уже X/(2,5-3) Mb/s, хотя TC, точно также вынужден вычитывать эти 3 файла по сети. Разве не так?
MVV писал(а):Что он мэппит файлы - факт
можете пояснить, о чем речь?..
Добавлено: Сб окт 24, 2015 16:45
Tol!k
значит не вкурили. параллельно они читаются (копируются в память, если угодно)
кусок одного файла, кусок другого, сравнение, следующий кусок одного, следующий кусок другого, сравнение, ...
доступ к диску получается случайный, который в разы медленнее последовательного