Codepage – плагин для определения кодировки файла

[Моторокер]

Codepage 2.0 бета – контентный (информационный) плагин для Total Commander для определения кодировки текстового файла.

В единственном поле CodePage показывает кодировку текстового файла, определённую по первым 64 символам.

пустое поле – если пустой файл
n/a – если длина текста меньше 4
RTF – определяется по '{\rtf1'
UTF8BOM – определяется по первым 3 символам 'EF BB BF'
UTF8 – определяется функцией IsUTF8Memory, подсказанной на форуме forum.wincmd.ru
функция определяет бинарные и латинские файлы как UTF8, поэтому дополнительно проверяется
BIN – если символов с кодом <32 больше ~14%
LAT – если нет русских символов
иначе функцией AutoCode из модуля xlat.pas определяются
WIN – кодировка Windows 1251
KOI – кодировка KOI-8R
DOS – кодировка CP866

На выборке из 11,5 тыс песен с аккордами показывает как KOI для некоторых WIN файлов и совсем немного DOS для UTF-8 файлов.

Скачать (26 Кб)

[Avada]

LAT – если нет нерусских символов

Может быть, в этом случае нет всё-таки русских символов?

Разделение текстовых файлов в Windows-1251, содержащих как латиницу, так и кириллицу, происходит по непонятной логике. Часть у меня отмечается как LAT, часть как WIN, часть как KOI.
Далее. Имеются два тестовых набора русских языковых файлов TC в UTF-8. Один с BOM, другой без. Набор с сигнатурой чётко определяется как UTF-8. Набор без сигнатуры: LNG как UTF-8, остальные (MNU и INC) как WIN.

[Моторокер]

BOM определяется только по первым 3 символам. Теоретически это должно срабатывать в большинстве случаев.

Остальные варианты зависят только от используемых готовых алгоритмов – срочно надо было выявить UTF файлы среди WIN. Среди ложных срабатываний пошерстить руками оказалось проще, чем среди всех файлов.

Распознавание идёт по первым 64 символам. Наверно этого мало. Может настройку сделать, чтобы проверять всё? Понятно, что скорость упадёт – вначале прочитать настройки, потом весь файл.

[Avada]

Моторокер
Можно сделать тестовую версию, где проверяется всё, и погонять на неправильные определения и на скорость работы.

[Tol!k]

Первых 4kB должно хватить

[Avada]

Моторокер
Есть ли возможность добавить плагину 64-битную версию и заодно его нормально выложить на wincmd.ru/totalcmd.net (нынешняя ссылка на сайт автора не работает)? Ну и про некоторые усовершенствования тут речь раньше шла.

[Моторокер]

Новую Delphi ещё не пробовал – руки не доходят. Да и особо отзывов нет, поэтому стимула продолжать тоже мало

[Avada]

Моторокер
А какие ещё появятся отзывы, если плагин несколько лет не обновляется?

[Alextp]

У кого есть тот файл wdx_codepage.rar ?

[Avada]

Alextp
У меня есть. Берём здесь.

[Alextp]

Моторокер не против что я выложу на wincmd, я думаю

Добавлено спустя 6 минут:

Лучше я сделаю такой же (почти) но open source. попозже

А реальная нужда в плаге есть??

[Avada]

Alextp
Есть. Не сказать, чтобы постоянно, но пользуюсь.

[Alextp]

Avada, перешел в новый топик. Просьба отписаться там- по моему вопросу. Все ли кодировки Codepage.wdx нужны. пишите там

Добавлено спустя 35 секунд:

http://forum.wincmd.ru/viewtopic.php?t=15264