Fast Search Engine (wfx-плагин)

uneasy · Сообщение **uneasy** » Чт дек 25, 2008 00:27

Ник писал(а):Фигово - хотелось бы, например, хранить файлы на одной машине (хранилище), а индексы на другой (постоянном рабочем компе).

Реализовано так - Everything ставится на обе машины, после чего клиент подключается к серверу по FTP/ETP.

VadiMGP

uneasy
Нет смысла спорить - Everything быстрее и это ясно. Вопрос - чем за это надо заплатить? Ответ тоже ясен - некоторыми ограничениями. Кому это подходит, кому нет - дело вкуса.

uneasy писал(а):размер БД получился около 1 Мб

А как ты это определил? Где он хранит свою базу? И как заставить пересоздать ее заново?

Реализовано так - Everything ставится на обе машины, после чего клиент подключается к серверу по FTP/ETP.

Сам поверял? Можешь сказать как все надо настроить, чтобы при запуске клиента из командной строки поиск шел по трем машинам - локально и две в сети? Я не смог.

VadiMGP писал(а):
uneasy писал(а):размер БД получился около 1 Мб
А как ты это определил? Где он хранит свою базу?

Местоположение базы задаётся в настройках, по умолчанию — каталог установки программы. Размер определяется методом пристального взгляда на соответствующий файл (Everything.db).

И как заставить пересоздать ее заново?

Полагаю, что достаточно удалить файл базы.

Сам поверял? Можешь сказать как все надо настроить, чтобы при запуске клиента из командной строки поиск шел по трем машинам - локально и две в сети? Я не смог.

Такое, вроде, нельзя. Поиск каждый раз выполняется только по одной машине — либо локальной, либо сетевой.

VadiMGP

CaptainFlint писал(а):Местоположение базы задаётся в настройках, по умолчанию — каталог установки программы.

Слона-то...

А у него в установках ничего не написано, вот глаз и скользнул не задерживаясь на пустом месте.

CaptainFlint писал(а):Поиск каждый раз выполняется только по одной машине

Это жаль. Лифт должен выдерживать прямое попадание самого необученного академика.

Ник · Сообщение **Ник** » Чт дек 25, 2008 10:28

В любом случае у меня комп и так постоянно работает на пределе возможностей и висение в фоне мне совсем не нужно.
Вообще я не могу себе представить ситуацию, когда было бы остро необходимо индексировать файлы постоянно, "из-под рук", а не по расписанию, пусть и пару раз в день.
Вы уверены, что при постоянной работе с индексацией винт не сдохнет через полгода?

И ещё - непонятно, почему и как Everything работает так быстро - винт-то не разгонишь, а пока он прочитает 10 млн файлов - вот и время прошло (да и нагрузка на винт нефиговая).

VadiMGP писал(а):Это жаль. Лифт должен выдерживать прямое попадание самого необученного академика.

В плагине можно будет реализовать и многомашинный поиск: просто делать несколько запросов к Everything на соответствующих машинах и объединять результаты.

Ник писал(а):Вы уверены, что при постоянной работе с индексацией винт не сдохнет через полгода?

Да не индексирует он постоянно. Вот у тебя в Тотале включён режим слежения за изменениями? Здесь, скорее всего, то же самое. Я вообще довольно трепетно отношусь к тормозам на своём компе, но ни малейшей разницы в быстродействии с Everything и без него не замечаю. Бенчмарки, может, и покажут различие…

Ник писал(а):И ещё - непонятно, почему и как Everything работает так быстро - винт-то не разгонишь, а пока он прочитает 10 млн файлов - вот и время прошло (да и нагрузка на винт нефиговая).

Вот этого я и сам пока не могу понять. Но "нефиговая нагрузка" на винт идёт только при первом индексировании. Ну и ещё если вырубить Everything на долгое время, а потом врубить — обновляет базу. Но обновление тоже выполняется гораздо быстрее первой индексации, как если бы он проверял только изменившиеся данные. Как он это делает — пока для меня тоже полнейшая загадка. Знаю только, что он обращается к жёсткому диску напрямую. И ещё, не зря у него есть настройки работы журналов — видимо, активно использует внутренние журналы NTFS.

VadiMGP

CaptainFlint писал(а):В плагине можно будет реализовать и многомашинный поиск:

Ну, может я опять какого-нибудь слона не заметил, но пока я не вижу возможности это реализовать. Из плагина можно запустить поиск в работающем экземпляре Everything, но нет никакой возможности указать где искать, локально или удаленно. Вот как в данный момент он настроен, там искать и будет.

На самом деле, хотя Everything и работает быстрее Locate, но не это в нем привлекает меня больше всего. Самое ценное - юникодный интерфейс! Вот на это я облизываюсь. А то я с автором Locate общался насчет юникода, так он что-то не мычит, не телится.
Но для этого надо, как минимум, чтобы в TC 7.5 наконец устоялся юникодный плагиновый интерфейс.

Ник · Сообщение **Ник** » Чт дек 25, 2008 12:08

CaptainFlint
Строго говоря, любой такой софт должен всё равно читать весь список файлов и проверять - есть такие имена в индексном списке или нет.
Разница во времени между первой индексацией и второй - только во времени перестроения всего индекс-списка.

У меня в Locate32 тоже за полчаса перестраивает список - если было 2 млн файлов и к ним за неделю добавились ещё 100 тыс.
Не уверен, что Everything будет делать это сильно быстрее - ну за 10 минут - какая на фиг разница - всё равно это ночью происходит?

Главный вопрос - как технически работает Everything и какие подводные камни могут возникнуть в связи с этой его быстрой работой?

С Locate32 я работаю уже год и вроде о большинстве проблем уже знаю...

VadiMGP писал(а):Из плагина можно запустить поиск в работающем экземпляре Everything, но нет никакой возможности указать где искать, локально или удаленно. Вот как в данный момент он настроен, там искать и будет.

А забить на Everything. Если он запущен на другой машине с ETP-сервером, обратиться прямо к этому серверу — не через локальный Everything, а своими силами.

Ник писал(а):Строго говоря, любой такой софт должен всё равно читать весь список файлов и проверять - есть такие имена в индексном списке или нет.
Разница во времени между первой индексацией и второй - только во времени перестроения всего индекс-списка.

Я знаю. Поэтому и написал, что не пойму, как он так быстро умудряется работать.

Ник писал(а):Не уверен, что Everything будет делать это сильно быстрее - ну за 10 минут - какая на фиг разница - всё равно это ночью происходит?

Ну не за 10 минут, а на порядок быстрее. Специально сейчас на своей машине попробовал: на дисках тут примерно полмиллиона файлов, и полная переиндексация заняла 37 секунд. Потом закрыл Everything, создал в одном каталоге 10 000 файлов, запустил снова: запуск самой программы и загрузка базы заняли примерно 2 секунды, дальше в строке состояния мелькнула и сразу же исчезла строчка "Updating database", и всё — программа готова к работе, все созданные мной файлы уже есть в списке.

Ник писал(а):Главный вопрос - как технически работает Everything и какие подводные камни могут возникнуть в связи с этой его быстрой работой?

Думаю, на это может ответить только автор.

VadiMGP

CaptainFlint писал(а):А забить на Everything. Если он запущен на другой машине с ETP-сервером, обратиться прямо к этому серверу — не через локальный Everything, а своими силами.

A разве ETP это какой-то стандартный протокол? Я думал, что это его совственный. Гугл тоже молчит с непроницаемой мордой.

VadiMGP писал(а):A разве ETP это какой-то стандартный протокол?

См. справку. ETP — это его собственное расширение FTP, обратно совместимое с самим FTP. Посмотреть, какие команды он посылает серверу при запросах, да повторить их. По идее, должно быть несложно.

VadiMGP

Значит так, краткий отчет о проделанной работе. Пощупал я интерфейс к Everything, пообщался с автором.
Кстати, еще одно отличие от Locate (довольно очевидное, на которое никто не обратил внимания

) - поиск только по именам файлов. Никаких там по размеру, дате или атрибутам.

Планы у автора большие, как по самому Everything, так и по интерфейсу, так что продукт обещает развиваться.

Одна из заманчивых фишек в Everything - опция "выгружать базу когда нет обращений" ибо хотя файл базы и маленький а памяти жрет, как взрослый, не хуже Locate. Я сначала обрадовался, что можно все эти мегабайты освободить, но тут оказалась засада - эта опция конфликтует с работой через интерфейс. Автор, конечно, обещал починить.

Работа с удаленными компьютерами - автор оказался солидарен с Флинтом

А забить на Everything. Если он запущен на другой машине с ETP-сервером, обратиться прямо к этому серверу — не через локальный Everything, а своими силами.

К сожалению, такой подход неприемлем для FSE, так как FSE это виртуальная панель и должен давать TC настоящие имена файлов.

В общем, я пока пожалуй, погодю добавлять в FSE работу с Everything. Подожду и юникодного TC и починки бага в интерфейсе,

VadiMGP

Все-таки я решил не дожидаться и добавил в FSE работу с Everything уже сейчас. Пока еще версия не юникодная, пробный шар, так сказать. Если ничего критичного не будет, то добавлю юникод для ТС 7.5.
Качать тут - http://www.mgpsoft.com/Downloads/FSEE.zip

ya158 · Сообщение **ya158** » Ср фев 04, 2009 20:29

VadiMGP писал(а):Все-таки я решил не дожидаться и добавил в FSE работу с Everything уже сейчас. Пока еще версия не юникодная, пробный шар, так сказать. Если ничего критичного не будет, то добавлю юникод для ТС 7.5.

Качать тут - http://www.mgpsoft.com/Downloads/FSEE.zip

Что-то никак не удаётся скачать

VadiMGP

ya158 Да, вроде нет никаких проблем. Судя по логам уже человек 30 скачало, жалоб не было.