[Util] DupSelector - выделение дубликатов.

Обсуждение только плагинов и утилит для Total Commander.

Модераторы: Моторокер, Avada, CaptainFlint, Nik, d-view

Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

[Util] DupSelector - выделение дубликатов.

Сообщение Lev »

DupSelector 1.0

Программа предназначена для выделения дубликатов файлов в панели с результатами поиска работает только в 7 версии TC и новее.

Идентификация одинаковости файлов производится по третьей колонке в панели. Для простейших случаев достаточно переключиться в режим просмотра Full (идентификация пойдет по размеру), для большей надежности рекомендуется завести пользовательскую колонку плагина считающего контрольные суммы файлов, например, wdHash (способ медленный, если файлы очень большого размера, дождитесь расчета всех контрольных сумм, до применения утилиты). Т.к. для файлов нулевого размера контрольная сумма не расчитывается, рекомендуется, что-либо вписать в настройки поля показывающего контрольную сумму, например, так - "0[=wdhash.MD5]" - перед всеми суммами будет вписан ноль.

Программа может работать и в текущей директории (не надо производить предварительного сравнения) - будут выделены файлы у которых существует дубликат в директории, один из файлов останется невыделенным. К сожалению в текущей версии в списке файлов полученном по Ctrl+B утилита должным образом работать не будет (будут выделяться только файлы из корневой директории).[/url]
Последний раз редактировалось Lev Ср авг 15, 2007 15:22, всего редактировалось 2 раза.
Аватара пользователя
funduk
Сообщения: 1515
Зарегистрирован: Вт авг 16, 2005 16:00
Откуда: Санкт-Петербург

Сообщение funduk »

У тебя есть аккаунт на wincmd.ru вроде - выложил бы там ;)
Аватара пользователя
Bomm
Сообщения: 245
Зарегистрирован: Сб янв 15, 2005 14:39
Откуда: Москва

Сообщение Bomm »

Не скачивается...
Страница не найдена!!!
Юрий Бомштейн
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

Ссылку поправил.
На аккаунт пока выкладывать не хочу, пусть сначала погоняется слегка, да и слишком прожка примитивна.
Ник
Сообщения: 1256
Зарегистрирован: Ср дек 15, 2004 09:33
Откуда: Москва

Сообщение Ник »

Круто, а какие ей надо давать параметры, если делать кнопку в тулбаре?
И по какому принципу она выделяет дубликаты? Ппоследний в списке?
Можно ли будет по нескольким колонкам сравнивать?
Xubuntu
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

Параметров для кнопки никаких не нужно, сортировать по колонке отбора не обязательно, но удобно для наглядности.
Критерий отбора сейчас случаен, в теоретических планах добавить критерий минимальности длины пути, а если файлы в одной папке, то и длины имени.
Про несколько колонок - просьба обрисовать поподробнее, как Вы представляете себе работу с несколькими колонками?

что еще в todo листе - работа с ТС 6.хх, работа со списком Ctrl+B
зы. развития прожки не обещаю, написал ради развлечения
Ник
Сообщения: 1256
Зарегистрирован: Ср дек 15, 2004 09:33
Откуда: Москва

Сообщение Ник »

"Если будет чёткий критерий отбора" - то, как я понял, будут искаться дубликаты по третьей колонке в панели и убираться файлы идентичные, но с большей длинной имени (как я понял).

Или она дубликаты берёт из "указаний" ТК?

Если она сама выявляет дубликаты - можно ли сделать так, чтобы она считала дубликатом совпадение значений не в одной колонке - а в двух-трёх...?
Xubuntu
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

По первым предложениям ничего не понял. Прожка файлы не убирает, а выделяет, реакция на длину пути отсутствует, что такое "указания" ТК я тоже не знаю. Про случайность выбора я уже писал.
можно ли сделать так, чтобы она считала дубликатом совпадение значений не в одной колонке - а в двух-трёх...?
Можно, для этого вам придётся создать колонку объединяющую в себе результаты двух-трех плагинов - [=plug1.field1][=plug2.field1][=plug1.field2]
Ник
Сообщения: 1256
Зарегистрирован: Ср дек 15, 2004 09:33
Откуда: Москва

Сообщение Ник »

Новая версия будет - без случайности выбора и с подробным описанием? :)
Xubuntu
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

развития прожки не обещаю, написал ради развлечения
а чего Вам не хватает в описании?
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

1.0.0.1 Добавил поддержку Branch view (Ctrl+B) и закинул на сайт.
Ник
Сообщения: 1256
Зарегистрирован: Ср дек 15, 2004 09:33
Откуда: Москва

Сообщение Ник »

Спасибо большое :)
Скачал, пробую...

Пара мелких замечаний:
1) По первым ощущениям работает существенно медленнее, чем CloneSpy - но так и должно быть.
2) Когда идёт обработка (выделение) нескольких тысяч файлов, то совершенно непонятно - можно ли и как принудительно остановить процесс.

У меня с плагином вычисления контрольной суммы MD5 не сработало - я считал её в динамическом режиме и повесил на третью колонку - плагин говорит "Переключите на полный режим или используйте поля контентных плагинов" (сообщение по-английски)...

Попробовал с другими свойствами, взятыми из контентных плагинов, - тоже сообщение.

Чего он хочет??

Работает не со всеми колонками контентных плагинов - длина имени файла работает, а хэш нет...

Ещё покрутил - очень странно: с wdhash работает, с hashsys - не работает...

И хотелось бы опции принципа выбора не дубликатов - оставлять с самым коротким именем, с самым длинным, самый ранний, самый поздний и т.п.
Xubuntu
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

Чего он хочет?
Вы дождались расчета колонки идентификации, как написано в readme?
У меня с плагином вычисления контрольной суммы MD5 не сработало - я считал её в динамическом режиме и повесил на третью колонку
Тут если можно поподробнее. Как считывают в динамическом режиме, как это вешают на колонку?
с hashsys - не работает...
Не нашел на wincmd.ru такого плагина (в списке неопубликованных тоже)
Ник
Сообщения: 1256
Зарегистрирован: Ср дек 15, 2004 09:33
Откуда: Москва

Сообщение Ник »

Lev писал(а):Вы дождались расчета колонки идентификации, как написано в readme?
Да, конечно...

У меня есть несколько наборов пользовательских колонок, я их и использовал.

"Динамически" - я имел ввиду, что плагин рассчитывает хэш динамически и не записывает никуда для сохранения между сеансами работы.
Hashsys 0.2 - контентный плагин для Тотал Коммандер, вычисляет значения CRC32, CRC32B, ADLER32, MD2, MD4, MD5, SHA1, SHA224, SHA256, SHA384, SHA512, HAVAL128, HAVAL160, HAVAL192, HAVAL224, HAVAL256, RIPEMD128, RIPEMD160, RIPEMD256, RIPEMD320, TIGER128, TIGER160, GOST, WHIRLPOOL, SNEFRU128, SNEFRU256. Бесплатно. 398 Кб. 20.03.2007. Автор: joelhewitt. http://en.totalcmd.pl/download/wdx/Fls/695
Я ещё протестировал - целый ряд наборов слетает также:
[=dirsizecalc.File Count (Background)]
[=hashsys.MD5]

Не слетает:
[=filename_chrcount.Pathname (ChrCount)]
[=filename_chrcount.Filename (ChrCount excl Ext)]
[=iconlibrary.Number Of Icons]
[=trid.Match 0.Name]
[=wdhash.MD5]

У меня ощущение, что wdhash и hashsys технически работают по-разному - первый считает сумму быстро и только для тех файлов, которые видны в окне панели - приходится постепенно прокручивать всю директорию, второй - медленно и для всех файлов в директории.

Думаю, секрет в том, что Ваша утилита в середине работы обновляет панель - при этом, для одних плагинов информация слетает, а для других - нет (судя по миганию экрана и прочему)...

Если надо, могу ещё потестировать - но непонятно - на каких плагинах...
Xubuntu
Аватара пользователя
Lev
Сообщения: 392
Зарегистрирован: Ср мар 02, 2005 16:34

Сообщение Lev »

Похоже на то, что утилитка не будет работать с контентными плагинами выдающими значения "по запросу" (ft_ondemand). Бум думать.
Ответить