Total Commander Forum Index Total Commander
Форум поддержки пользователей Total Commander
Сайты: Все о Total Commander | Totalcmd.net | Ghisler.com | RU.TCKB
 
 RulesRules   SearchSearch   FAQFAQ   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

Codepage – плагин для определения кодировки файла

 
Post new topic   Reply to topic    Total Commander Forum Index -> Плагины Total Commander printer-friendly view
View previous topic :: View next topic  
Author Message
Моторокер



Joined: 06 May 2005
Posts: 1482
Location: г. Пермь (читается Перьмь)

Post (Separately) Posted: Wed Dec 22, 2010 03:00    Post subject: Codepage – плагин для определения кодировки файла Reply with quote

Codepage 2.0 бета – контентный (информационный) плагин для Total Commander для определения кодировки текстового файла.

В единственном поле CodePage показывает кодировку текстового файла, определённую по первым 64 символам.

пустое поле – если пустой файл
n/a – если длина текста меньше 4
RTF – определяется по '{\rtf1'
UTF8BOM – определяется по первым 3 символам 'EF BB BF'
UTF8 – определяется функцией IsUTF8Memory, подсказанной на форуме forum.wincmd.ru
функция определяет бинарные и латинские файлы как UTF8, поэтому дополнительно проверяется
BIN – если символов с кодом <32 больше ~14%
LAT – если нет русских символов
иначе функцией AutoCode из модуля xlat.pas определяются
WIN – кодировка Windows 1251
KOI – кодировка KOI-8R
DOS – кодировка CP866

На выборке из 11,5 тыс песен с аккордами показывает как KOI для некоторых WIN файлов и совсем немного DOS для UTF-8 файлов.

Скачать (26 Кб)
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми


Last edited by Моторокер on Thu Dec 23, 2010 22:33; edited 1 time in total
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Wed Dec 22, 2010 09:40    Post subject: Reply with quote

Моторокер wrote:
LAT – если нет нерусских символов

Может быть, в этом случае нет всё-таки русских символов?

Разделение текстовых файлов в Windows-1251, содержащих как латиницу, так и кириллицу, происходит по непонятной логике. Часть у меня отмечается как LAT, часть как WIN, часть как KOI.
Далее. Имеются два тестовых набора русских языковых файлов TC в UTF-8. Один с BOM, другой без. Набор с сигнатурой чётко определяется как UTF-8. Набор без сигнатуры: LNG как UTF-8, остальные (MNU и INC) как WIN.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Моторокер



Joined: 06 May 2005
Posts: 1482
Location: г. Пермь (читается Перьмь)

Post (Separately) Posted: Thu Dec 23, 2010 22:39    Post subject: Reply with quote

BOM определяется только по первым 3 символам. Теоретически это должно срабатывать в большинстве случаев.

Остальные варианты зависят только от используемых готовых алгоритмов – срочно надо было выявить UTF файлы среди WIN. Среди ложных срабатываний пошерстить руками оказалось проще, чем среди всех файлов.

Распознавание идёт по первым 64 символам. Наверно этого мало. Может настройку сделать, чтобы проверять всё? Понятно, что скорость упадёт – вначале прочитать настройки, потом весь файл.
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Fri Dec 24, 2010 10:32    Post subject: Reply with quote

Моторокер
Можно сделать тестовую версию, где проверяется всё, и погонять на неправильные определения и на скорость работы.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Tol!k



Joined: 01 Apr 2008
Posts: 1726
Location: Арзамас

Post (Separately) Posted: Fri Dec 24, 2010 21:26    Post subject: Reply with quote

Первых 4kB должно хватить
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Mon Oct 14, 2013 11:30    Post subject: Reply with quote

Моторокер
Есть ли возможность добавить плагину 64-битную версию и заодно его нормально выложить на wincmd.ru/totalcmd.net (нынешняя ссылка на сайт автора не работает)? Ну и про некоторые усовершенствования тут речь раньше шла.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Моторокер



Joined: 06 May 2005
Posts: 1482
Location: г. Пермь (читается Перьмь)

Post (Separately) Posted: Mon Oct 14, 2013 11:34    Post subject: Reply with quote

Новую Delphi ещё не пробовал – руки не доходят. Да и особо отзывов нет, поэтому стимула продолжать тоже мало Smile
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Mon Oct 14, 2013 12:09    Post subject: Reply with quote

Моторокер
А какие ещё появятся отзывы, если плагин несколько лет не обновляется?
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Alextp



Joined: 06 Feb 2005
Posts: 4956

Post (Separately) Posted: Mon Oct 14, 2013 12:41    Post subject: Reply with quote

У кого есть тот файл wdx_codepage.rar ?
_________________
UniViewer - CudaText - LogViewer
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Mon Oct 14, 2013 12:58    Post subject: Reply with quote

Alextp
У меня есть. Берём здесь.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Alextp



Joined: 06 Feb 2005
Posts: 4956

Post (Separately) Posted: Mon Oct 14, 2013 14:20    Post subject: Reply with quote

Моторокер не против что я выложу на wincmd, я думаю

Добавлено спустя 6 минут:

Лучше я сделаю такой же (почти) но open source. попозже

А реальная нужда в плаге есть??
_________________
UniViewer - CudaText - LogViewer
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 9587
Location: Россия, Саратов

Post (Separately) Posted: Mon Oct 14, 2013 14:45    Post subject: Reply with quote

Alextp
Есть. Не сказать, чтобы постоянно, но пользуюсь.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Alextp



Joined: 06 Feb 2005
Posts: 4956

Post (Separately) Posted: Mon Oct 14, 2013 15:48    Post subject: Reply with quote

Avada, перешел в новый топик. Просьба отписаться там- по моему вопросу. Все ли кодировки Codepage.wdx нужны. пишите там

Добавлено спустя 35 секунд:

http://forum.wincmd.ru/viewtopic.php?t=15264
_________________
UniViewer - CudaText - LogViewer
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    Total Commander Forum Index -> Плагины Total Commander All times are GMT + 4 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum


Powered by phpBB © 2001, 2005 phpBB Group