Скорость побайтного сравнения медленнее скорости чтения

Обсуждение Total Commander. Установка, использование, настройка, решение проблем, скрытые функции. Обсуждение новых версий.

Модераторы: Avada, CaptainFlint, Nik, d-view, Моторокер

Ответить
M.S.I.
Сообщения: 32
Зарегистрирован: Пн мар 12, 2007 16:29

Скорость побайтного сравнения медленнее скорости чтения

Сообщение M.S.I. »

Скопировал данные с одного диска на NAS. Для проверки корректности переноса запустил синхронизацию с проверкой по содержимому.
Так вот, скорость синхронизации ниже скорости чтения с NAS в 2,5-3 раза. Не пойму, почему так происходит, ведь синхронизация по сути чтение?.. И процессор загружен даже не на 50%, чтобы можно было сказать, что он не успевает сравнивать блоки данных.

P.S. Win 7 x64 & TC 8.51a
Последний раз редактировалось M.S.I. Сб окт 24, 2015 00:29, всего редактировалось 1 раз.
Skif_off
Сообщения: 1252
Зарегистрирован: Ср ноя 28, 2012 13:44

Re: Скорость синхронизации медленнее скорости чтения

Сообщение Skif_off »

M.S.I. писал(а):с проверкой по содержимому
Значит, проверяется не только наличие/отсутствие файла/каталога, но и сравниваются контрольные суммы, вероятно, отсюда потеря скорости.
M.S.I.
Сообщения: 32
Зарегистрирован: Пн мар 12, 2007 16:29

Re: Скорость синхронизации медленнее скорости чтения

Сообщение M.S.I. »

Skif_off писал(а):
M.S.I. писал(а):с проверкой по содержимому
но и сравниваются контрольные суммы
Что?.. какие контрольные суммы? Блок из первого файла и этот же блок из второго, если равны, идем дальше, если нет, ставим метку "не равен".
В любом случае, операции в оперативной памяти гораздо быстрее чтения по сети. "Мне так кажется" (с)
Аватара пользователя
Tol!k
Сообщения: 1727
Зарегистрирован: Вт апр 01, 2008 20:02
Откуда: Арзамас

Re: Скорость побайтного сравнения медленнее скорости чтения

Сообщение Tol!k »

M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
курите что такое последовательный/случайный доступ

Изображение

[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]

считайте контрольные суммы в файл на источнике, копируйте вместе с файлами и проверяйте КС на цели
– будет быстрее
Аватара пользователя
MVV
Сообщения: 4815
Зарегистрирован: Чт окт 15, 2009 10:58
Откуда: Ростов-Дон

Сообщение MVV »

Интересно, какой размер блока у тоталовской сравнивалки. Что он мэппит файлы - факт, но какого размера блоки он потом вычитывает?.. Если он потом просто идет линейно по файлам, сравнивая байты по порядку, то, конечно, это будет медленно.
M.S.I.
Сообщения: 32
Зарегистрирован: Пн мар 12, 2007 16:29

Re: Скорость побайтного сравнения медленнее скорости чтения

Сообщение M.S.I. »

Tol!k писал(а):
M.S.I. писал(а):процессор загружен даже не на 50%
ШТА
Я имел в виду, что если взять древний компьютер с каким-нибудь Celeron'ом, то, скорее всего, там ограничением станет именно он, а не пропускная способность сети. То есть он будет производить сравнение блоков медленнее, чем будут приходить ему данные.
Tol!k писал(а):курите что такое последовательный/случайный доступ
Выкурил еще очень давно.
Tol!k писал(а): [сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
И зачем здесь это?... Кто говорит о параллельном копировании?..
Мож вы не поняли о чем речь?... Открываем некую папку, в ней, допустим, 3 файла - "1", "2", "3". Копируем - смотрим скорость, допустим, X Mb/s. Теперь, после копирования, запускаем сравнение, скорость уже X/(2,5-3) Mb/s, хотя TC, точно также вынужден вычитывать эти 3 файла по сети. Разве не так?
MVV писал(а):Что он мэппит файлы - факт
можете пояснить, о чем речь?..
Аватара пользователя
Tol!k
Сообщения: 1727
Зарегистрирован: Вт апр 01, 2008 20:02
Откуда: Арзамас

Сообщение Tol!k »

значит не вкурили. параллельно они читаются (копируются в память, если угодно)
кусок одного файла, кусок другого, сравнение, следующий кусок одного, следующий кусок другого, сравнение, ...
доступ к диску получается случайный, который в разы медленнее последовательного
Ответить