Поиск по нескольким файл-спискам

Обсуждение вопросов автоматизации Total Commander с помощью сторонних программ и скриптовых технологий.

Модераторы: d-view, Моторокер, Avada, CaptainFlint, Nik

BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Поиск по нескольким файл-спискам

Сообщение BeardFury78 »

Здравствуйте. Возникла нужда искать по огромному файл-списку (300+ мегабайт) с использованием данных плагинов для поиска дубликатов. Проблема в том, что после нажатия кнопки "Начать поиск" Тотал глухо виснет и таковым остается, даже после 12 часа работы. И метод поиска дубликатов не тяжелый, всего-то нужно искать файлы, имеющие одинаковые размеры и разрешения.
Т.к. с тяжелым файлом Тотал не справился, решил разбить этот файл-список на десять файлов по 30 мегабайтов, тогда Тотал по таким файл-спискам нормально ищет файлы. Проблема в том, что Тотал не ищет по несколько файл-списков одновременно, если задать такие пути в виде:
@e:\pack7\file300000.txt;@e:\pack7\file330000.txt
возникает ошибка "Файл не найден". Можно в принципе по очереди работать по одному файл-списку, но это муторно, потому что это значит, что придется 10 раз скопировать полные пути к текстовому файлу, 10 раз вставить в место поиска с улиткой, ждать 10 раз и 10 раз выбирать дубликаты и их удалять, так что это достаточно рутинная работа. Можно ли как-то автоматизировать это или обратиться к специальным утилитам или плагинам?
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78
Если ТС не даёт что-то сделать в своём инструменте, то автоматизация тут уже никакой роли сыграть не может.

Можно попробовать скрипт для WACP, но не уверен, что всё будет быстро.
Список в какой кодировке?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

UTF-8 BOM.
WACP
Что-то ни гугл, ни поиск по форуму не дали понять, что это за аббревиатура... :oops:
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

Мы же это проходили.

Список состоит из путей или только имён?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

Flasher
А, теперь понял о каком плагине идет речь.
Список из полных путей.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78
А вообще какая конечная цель? Что с найденным делается?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

Flasher
Хотелось бы в конечном итоге просто скопировать список всех файлов, найденных по поиску дубликатов по размеру и разрешению, а затем я скормлю такой список специальной программе по поиску дубликатов для полной уверенности. Просто изначально искать по всему компьютеру такие файлы было бы очень долго, поэтому через Everything (он просто быстрый) просто вывел файлы с одинаковым размерам и скопировал такой список, теперь-то нужно по этому списку искать файлы не только с одинаковыми размерами, а еще с разрешениями.
Просто чтобы вы понимали, на компе изображений насчитывается 3млн и приходится искать относительно быстрые пути удаления дубликатов.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78
Минуточку. Everything и так поддерживается в ТС. Что мешает использовать его, отметив в дополнение соотв. опции?
И какие сомнения насчёт поиска в ТС? Зачем спецпрограмма?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

Flasher
А с контент плагинами Everything поддерживается?
Спецпрограмма нужна чтобы искать по байтовому методу поиска.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78
Если речь про дубликаты ([=image.Dimensions]), то по крайней мере у меня не конфликтует.
Но в любом случае можно вывести файлы на панель, выделить и повторить поиск с новыми опциями.

Так есть же поиск по содержимому.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

Flasher
Ок, попробую этот метод.

Добавлено спустя 1 час 27 минут:

Что-то с птичкой "Everything" как-то не выходит мгновенный поиск. Даже просто с поиском по размеру, без контент плагинов. Задал поиск по всему компьютеру, видно, что на больших папках поиск долго думает. И за один час прогресса немного. С таким темпом, это растянется надолго. Оно и так должно быть? С самой программой Everything поиск идет без проблем - задал название и выводит результат мгновенно. Просто я сегодня установил 9 версию Тотала из официального сайта, до этого работал с версией 8.51 и не в курсе как оно должно быть в версии 9.
Аватара пользователя
Avada
Сообщения: 10541
Зарегистрирован: Пт авг 01, 2008 16:17
Откуда: Россия, Саратов

Сообщение Avada »

Прежний заголовок темы " Поиск по несколько файл-списков" приведён в соответствие с нормами русского языка.
Даже самая богатая фантазия
Не представит себе наши безобразия.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78 писал(а):через Everything (он просто быстрый) просто вывел файлы с одинаковым размерам
Каким образом? *.jpg size: ? Но она же дубликаты не ищет, а просто выдаёт отсортированный список, куда всё подряд попадает. В ТС тоже самое ищется через подстановку ed: спереди. Но что толку-то?

Кстати, могу посоветовать FileMany. Там хороший выбор алгоритмов поиска и опций. Только там шрифт нормальный выбрать нужно.
Знаю ещё AntiDupl, ну и такую ерундовину, но они, конечно, не ровня.
Последний раз редактировалось Flasher Пн янв 16, 2017 10:45, всего редактировалось 1 раз.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
BeardFury78
Сообщения: 213
Зарегистрирован: Чт авг 25, 2016 05:24

Сообщение BeardFury78 »

Flasher
Через
sizedupe: <.jpg|.png|.gif>
C скоростью Everything в Тотале все решилось, оказалось нужно докинуть в папку Тотала dll из SDK Everything. Тему можно закрывать. Спасибо огромное Flasher за помощь и советы!
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

BeardFury78
Тут такого нет. И при попытке вставить ничего не ищется. :?

Насчёт dll само собой. Просто мы это всё прошли ещё на ранних стадиях бетотестирования, поэтому не подумал предупредить.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
Ответить