Страница 1 из 1
Поиск дубликатов по размеру с погрешностью
Добавлено: Вс апр 18, 2021 12:41
oyx147
Всем привет!
Есть ли возможность настроить погрешность при поиске дубликатов по размеру? К примеру у одного файла размер 25 507 килобайт, а у другого 25 505. Содержимое-то и одно и то же, просто взято из разных источников и лежит в одной куче.
Добавлено: Вс апр 18, 2021 13:07
Avada
oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)
Добавлено: Вс апр 18, 2021 13:37
Skif_off
Avada
По идее, в MP3, например, теги в формате ID3v2 (они вроде обычно в начале файла): очистить какой-нибудь или добавить - размер и контрольная сумма изменятся (или только второе, если, например, опечатку исправили или теги ID3v1), но собственно содержимое то же.
Хотя пример так себе, ТС же не будет вырезать теги и сравнивать...
Добавлено: Вс апр 18, 2021 13:42
oyx147
Avada писал(а):oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)
Это pdf-файлы в основном. За счет чего отличие - черт его знает. Я открывал и сравнивал. Просто когда их за тысячу с хреном - очень муторно их разгребать. Думал что хоть так себе задачу облегчу.
Добавлено: Вс апр 18, 2021 14:18
Avada
Skif_off писал(а):ТС же не будет вырезать теги и сравнивать...
Вот именно.
oyx147
Непохоже, что вы себе что-то облегчите. Сравнение дубликатов как таковое совпадений не выявит, а сравнивать по порядку каждую пару... Впрочем, мне иногда приходится что-то подобное делать. Например, при сравнениии разных версий HTM-файлов, составляющих справку TC. И на уровне самого текста, и — при необходимости — с тегами, если текст одинаков, а файлы всё-таки разные. Но это уже совсем другой инструментарий.
Добавлено: Ср апр 28, 2021 12:27
Моторокер
Теоретически можно в сравнение добавить поле процентов.
Если в конце или начале что-то добавить, в середине пару байт поменять.
Но если изменений несколько, да ещё со сдвигом, это не поможет. Тут уже мощнее алгоритмы нужны. Скорее всего есть спецсофт для этого.
В своё время пользовался программой BinDiff вроде называется, вот она мощно сравнивала.
Только какой-нибудь контентный плагин. Например из PDF будет вытаскивать тексты/строки и сравнивать их.