Поиск дубликатов по размеру с погрешностью

oyx147 · Сообщение **oyx147** » Вс апр 18, 2021 12:41

Всем привет!

Есть ли возможность настроить погрешность при поиске дубликатов по размеру? К примеру у одного файла размер 25 507 килобайт, а у другого 25 505. Содержимое-то и одно и то же, просто взято из разных источников и лежит в одной куче.

Avada · Сообщение **Avada** » Вс апр 18, 2021 13:07

oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)

Skif_off

Avada
По идее, в MP3, например, теги в формате ID3v2 (они вроде обычно в начале файла): очистить какой-нибудь или добавить - размер и контрольная сумма изменятся (или только второе, если, например, опечатку исправили или теги ID3v1), но собственно содержимое то же.
Хотя пример так себе, ТС же не будет вырезать теги и сравнивать...

oyx147 · Сообщение **oyx147** » Вс апр 18, 2021 13:42

Avada писал(а):oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)

Это pdf-файлы в основном. За счет чего отличие - черт его знает. Я открывал и сравнивал. Просто когда их за тысячу с хреном - очень муторно их разгребать. Думал что хоть так себе задачу облегчу.

Avada · Сообщение **Avada** » Вс апр 18, 2021 14:18

Skif_off писал(а):ТС же не будет вырезать теги и сравнивать...

Вот именно.

oyx147
Непохоже, что вы себе что-то облегчите. Сравнение дубликатов как таковое совпадений не выявит, а сравнивать по порядку каждую пару... Впрочем, мне иногда приходится что-то подобное делать. Например, при сравнениии разных версий HTM-файлов, составляющих справку TC. И на уровне самого текста, и — при необходимости — с тегами, если текст одинаков, а файлы всё-таки разные. Но это уже совсем другой инструментарий.

Моторокер

Теоретически можно в сравнение добавить поле процентов.
Если в конце или начале что-то добавить, в середине пару байт поменять.

Но если изменений несколько, да ещё со сдвигом, это не поможет. Тут уже мощнее алгоритмы нужны. Скорее всего есть спецсофт для этого.

В своё время пользовался программой BinDiff вроде называется, вот она мощно сравнивала.

Только какой-нибудь контентный плагин. Например из PDF будет вытаскивать тексты/строки и сравнивать их.