Страница 1 из 6

EncInfo (content-плагин)

Добавлено: Пн окт 14, 2013 15:29
Alextp
В новом плаге думаю определять encoding файла.
release http://wincmd.ru/plugring/EncInfo.html
beta www.uvviewsoft.com/bb/

Добавлено: Пн окт 14, 2013 16:18
Avada
Alextp
То есть TEXT— это всё в кучу, кроме юникодых, DOS и бинарных? А хорошо ли это? Конечно, хотелось бы кириллические тексты в ANSI 1251 отличать от латиницы и от нераспознанных. Целесообразность RTF и KOI (если брать возможности Codepage) обсуждабельна, но если их нетрудно показать — почему нет?

Добавлено: Пн окт 14, 2013 18:20
Alextp
не знаю пока, как детектить русиш текст в Cp1251.
Бета. Смотрим.
www.uvviewsoft.com/bb/

Добавлено спустя 2 минуты:

-То есть TEXT— это всё в кучу
Нет.В бете уже не так

Добавлено спустя 25 минут:

Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично

Может еще колонку? IsRus.

Добавлено спустя 27 минут:

Детект NFO. Update

Добавлено: Пн окт 14, 2013 18:37
Avada
Alextp
Посмотрел. С той колонкой, где Binary и Text, всё ясно (но о числе колонок см. далее). А с кодировками пока нет. Проверил на рабочем каталоге TC. Один файл распознан как UTF-8 BOM, один как RTF, для прочих отображаются сплошные знаки вопроса. И добро бы для бинарных, а то и для текстовых.
Alextp писал(а):Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично
Если учесть, что русских текстов в ANSI у меня многократно больше, чем в юникоде, логика получается несколько другой. Насчёт отдельной колонки не уверен. Всё-таки когда вся информация сведена в единую колонку, удобнее. Тем более, если она используется вместе с другими колонками от других плагинов. Даже при наличии прокрутки.

Добавлено спустя 7 минут:

Проверил обновлённую версию. File_id.diz не детектится как DOS (знак вопроса). Про пару файлов в кодировке Windows-1252 (это FullTCHistory.txt и NoClose.ini) утверждается, что это ASCII. RTF отображается правильно. Дальше опять знаки вопроса...

Добавлено: Пн окт 14, 2013 19:05
Alextp
File_id.diz, FullTcHistory.txt- проверь в Synwrite, есть ли вхождения regex
[\x80-\xFF]
видимо нет если файл не ASCII. или есть если ascii

Добавлено спустя 2 минуты:

Может 1 лишний символ дает плохой детект ascii. Но даже 1 символ из ascii надо учесть. или игнорить 1? а 2 игнорить?

Добавлено: Пн окт 14, 2013 20:54
Skif_off
Как потенциальный будущий пользователь отвечу на вопрос не мне:
Alextp писал(а):Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично
UTF-8/UTF-16 везде откроются одинаково, а ANSI - это и 1251, и 1252, и 1250 и это геморрой.

Добавлено: Пн окт 14, 2013 21:53
Alextp
позже сделаю, по опции, определение русиш текстов 1251. Подумаю еще какие там опции делать. То ли минимальное число русиш символов, то ли минимальное число разных, и каких именно.

Добавлено: Пн окт 14, 2013 21:54
Avada
Alextp писал(а):проверь в Synwrite, есть ли вхождения
Нет. И не File_id.diz отображался как ASCII (хотя он-то как раз должен бы), а NoClose.ini из NoClose Replacer в кодировке ANSI 1252. Вот его содержание:
[General]
CommandProcessor=cmd.exe /C START " NoClose Replacer 1.3 © Konstantin Vlasov" cmd.exe /T:1B /E:ON /F:ON /V:ON /K
ShowWindow=normal
ShortcutWaitDelay=500
А в файле истории могут встречаться всякие последовательности, но как ASCII он детектиться не должен. И не детектится самыми разными средствами.

Добавлено: Пн окт 14, 2013 22:33
Alextp
Подкручу для History/Noclose

Добавлено спустя 37 минут:

Avada, Upd.

Добавлено: Пн окт 14, 2013 23:28
Avada
Alextp
Теперь уже завтра гляну, срочные дела.

Добавлено: Вт окт 15, 2013 01:56
Skif_off
Alextp
x64-версия будет попозже или не будет вовсе?

Добавлено: Вт окт 15, 2013 02:05
Alextp
Попозже, видимо.

Добавлено: Вт окт 15, 2013 08:51
Avada
Alextp
Посмотрел. Для двух указанных файлов тоже отображаются теперь знаки вопроса. Теперь, видимо, надо ждать, когда вместо вопросиков в абсолютном большинстве строк появится что-то содержательное.

Добавлено: Вт окт 15, 2013 11:00
Serge Yolkin
Хоть для меня эти вопросы и не связаны с TC, всё же, думаю, в этой теме они не будут оффтопными:
  1. Надо ли детектить .rtf? Т.е., существуют ли в реальности, не в тестовых наборах, файлы формата RTF с иным расширением?
  2. Кто-нибудь видел, опять же - в реальности, файлы в кодировках UTF-32 LE/BE (UCS-4)?
  3. UTF-8 без BOM и ANSI, при отсутствии кириллицы (символов из расширенного набора) - одно и то же. Как логичнее описать: ANSI, или UTF-8 w/o BOM?

Добавлено: Вт окт 15, 2013 13:09
Alextp
+Detect RUS ANSI. если в начале файла (2Кб) от 30% русиш символов (это коды $C0..$FF). BEta