View previous topic :: View next topic |
Author |
Message |
Моторокер
Joined: 06 May 2005 Posts: 1517 Location: г. Пермь (читается Перьмь)
|
(Separately) Posted: Wed Dec 22, 2010 03:00 Post subject: Codepage – плагин для определения кодировки файла |
|
|
Codepage 2.0 бета – контентный (информационный) плагин для Total Commander для определения кодировки текстового файла.
В единственном поле CodePage показывает кодировку текстового файла, определённую по первым 64 символам.
пустое поле – если пустой файл
n/a – если длина текста меньше 4
RTF – определяется по '{\rtf1'
UTF8BOM – определяется по первым 3 символам 'EF BB BF'
UTF8 – определяется функцией IsUTF8Memory, подсказанной на форуме forum.wincmd.ru
функция определяет бинарные и латинские файлы как UTF8, поэтому дополнительно проверяется
BIN – если символов с кодом <32 больше ~14%
LAT – если нет русских символов
иначе функцией AutoCode из модуля xlat.pas определяются
WIN – кодировка Windows 1251
KOI – кодировка KOI-8R
DOS – кодировка CP866
На выборке из 11,5 тыс песен с аккордами показывает как KOI для некоторых WIN файлов и совсем немного DOS для UTF-8 файлов.
Скачать (26 Кб) _________________ плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми
Last edited by Моторокер on Thu Dec 23, 2010 22:33; edited 1 time in total |
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Wed Dec 22, 2010 09:40 Post subject: |
|
|
Моторокер wrote: | LAT – если нет нерусских символов |
Может быть, в этом случае нет всё-таки русских символов?
Разделение текстовых файлов в Windows-1251, содержащих как латиницу, так и кириллицу, происходит по непонятной логике. Часть у меня отмечается как LAT, часть как WIN, часть как KOI.
Далее. Имеются два тестовых набора русских языковых файлов TC в UTF-8. Один с BOM, другой без. Набор с сигнатурой чётко определяется как UTF-8. Набор без сигнатуры: LNG как UTF-8, остальные (MNU и INC) как WIN. _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Моторокер
Joined: 06 May 2005 Posts: 1517 Location: г. Пермь (читается Перьмь)
|
(Separately) Posted: Thu Dec 23, 2010 22:39 Post subject: |
|
|
BOM определяется только по первым 3 символам. Теоретически это должно срабатывать в большинстве случаев.
Остальные варианты зависят только от используемых готовых алгоритмов – срочно надо было выявить UTF файлы среди WIN. Среди ложных срабатываний пошерстить руками оказалось проще, чем среди всех файлов.
Распознавание идёт по первым 64 символам. Наверно этого мало. Может настройку сделать, чтобы проверять всё? Понятно, что скорость упадёт – вначале прочитать настройки, потом весь файл. _________________ плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми |
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Fri Dec 24, 2010 10:32 Post subject: |
|
|
Моторокер
Можно сделать тестовую версию, где проверяется всё, и погонять на неправильные определения и на скорость работы. _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Tol!k
Joined: 01 Apr 2008 Posts: 1727 Location: Арзамас
|
(Separately) Posted: Fri Dec 24, 2010 21:26 Post subject: |
|
|
Первых 4kB должно хватить |
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Mon Oct 14, 2013 11:30 Post subject: |
|
|
Моторокер
Есть ли возможность добавить плагину 64-битную версию и заодно его нормально выложить на wincmd.ru/totalcmd.net (нынешняя ссылка на сайт автора не работает)? Ну и про некоторые усовершенствования тут речь раньше шла. _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Моторокер
Joined: 06 May 2005 Posts: 1517 Location: г. Пермь (читается Перьмь)
|
(Separately) Posted: Mon Oct 14, 2013 11:34 Post subject: |
|
|
Новую Delphi ещё не пробовал – руки не доходят. Да и особо отзывов нет, поэтому стимула продолжать тоже мало _________________ плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми |
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Mon Oct 14, 2013 12:09 Post subject: |
|
|
Моторокер
А какие ещё появятся отзывы, если плагин несколько лет не обновляется? _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Alextp
Joined: 06 Feb 2005 Posts: 4957
|
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Mon Oct 14, 2013 12:58 Post subject: |
|
|
Alextp
У меня есть. Берём здесь. _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Alextp
Joined: 06 Feb 2005 Posts: 4957
|
(Separately) Posted: Mon Oct 14, 2013 14:20 Post subject: |
|
|
Моторокер не против что я выложу на wincmd, я думаю
Добавлено спустя 6 минут:
Лучше я сделаю такой же (почти) но open source. попозже
А реальная нужда в плаге есть?? _________________ UniViewer - CudaText - LogViewer
|
|
Back to top |
|
|
Avada
Joined: 01 Aug 2008 Posts: 10268 Location: Россия, Саратов
|
(Separately) Posted: Mon Oct 14, 2013 14:45 Post subject: |
|
|
Alextp
Есть. Не сказать, чтобы постоянно, но пользуюсь. _________________ Даже самая богатая фантазия
Не представит себе наши безобразия. |
|
Back to top |
|
|
Alextp
Joined: 06 Feb 2005 Posts: 4957
|
|
Back to top |
|
|
|