Страница 1 из 6
EncInfo (content-плагин)
Добавлено: Пн окт 14, 2013 15:29
Alextp
В новом плаге думаю определять encoding файла.
release
http://wincmd.ru/plugring/EncInfo.html
beta
www.uvviewsoft.com/bb/
Добавлено: Пн окт 14, 2013 16:18
Avada
Alextp
То есть TEXT— это всё в кучу, кроме юникодых, DOS и бинарных? А хорошо ли это? Конечно, хотелось бы кириллические тексты в ANSI 1251 отличать от латиницы и от нераспознанных. Целесообразность RTF и KOI (если брать возможности
Codepage) обсуждабельна, но если их нетрудно показать — почему нет?
Добавлено: Пн окт 14, 2013 18:20
Alextp
не знаю пока, как детектить русиш текст в Cp1251.
Бета. Смотрим.
www.uvviewsoft.com/bb/
Добавлено спустя 2 минуты:
-То есть TEXT— это всё в кучу
Нет.В бете уже не так
Добавлено спустя 25 минут:
Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично
Может еще колонку? IsRus.
Добавлено спустя 27 минут:
Детект NFO. Update
Добавлено: Пн окт 14, 2013 18:37
Avada
Alextp
Посмотрел. С той колонкой, где Binary и Text, всё ясно (но о числе колонок см. далее). А с кодировками пока нет. Проверил на рабочем каталоге TC. Один файл распознан как UTF-8 BOM, один как RTF, для прочих отображаются сплошные знаки вопроса. И добро бы для бинарных, а то и для текстовых.
Alextp писал(а):Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично
Если учесть, что русских текстов в ANSI у меня многократно больше, чем в юникоде, логика получается несколько другой. Насчёт отдельной колонки не уверен. Всё-таки когда вся информация сведена в единую колонку, удобнее. Тем более, если она используется вместе с другими колонками от других плагинов. Даже при наличии прокрутки.
Добавлено спустя 7 минут:
Проверил обновлённую версию.
File_id.diz не детектится как DOS (знак вопроса). Про пару файлов в кодировке Windows-1252 (это
FullTCHistory.txt и
NoClose.ini) утверждается, что это ASCII. RTF отображается правильно. Дальше опять знаки вопроса...
Добавлено: Пн окт 14, 2013 19:05
Alextp
File_id.diz, FullTcHistory.txt- проверь в Synwrite, есть ли вхождения regex
[\x80-\xFF]
видимо нет если файл не ASCII. или есть если ascii
Добавлено спустя 2 минуты:
Может 1 лишний символ дает плохой детект ascii. Но даже 1 символ из ascii надо учесть. или игнорить 1? а 2 игнорить?
Добавлено: Пн окт 14, 2013 20:54
Skif_off
Как потенциальный будущий пользователь отвечу на вопрос не мне:
Alextp писал(а):Зачем тебе отличать русиш тексты в ANSI надо, а отличать русиш тексты в UTF16, или utf8 - не надо? Нелогично
UTF-8/UTF-16 везде откроются одинаково, а ANSI - это и 1251, и 1252, и 1250 и это геморрой.
Добавлено: Пн окт 14, 2013 21:53
Alextp
позже сделаю, по опции, определение русиш текстов 1251. Подумаю еще какие там опции делать. То ли минимальное число русиш символов, то ли минимальное число разных, и каких именно.
Добавлено: Пн окт 14, 2013 21:54
Avada
Alextp писал(а):проверь в Synwrite, есть ли вхождения
Нет. И не
File_id.diz отображался как ASCII (хотя он-то как раз должен бы), а
NoClose.ini из NoClose Replacer в кодировке ANSI 1252. Вот его содержание:
[General]
CommandProcessor=cmd.exe /C START " NoClose Replacer 1.3 © Konstantin Vlasov" cmd.exe /T:1B /E:ON /F:ON /V:ON /K
ShowWindow=normal
ShortcutWaitDelay=500
А в файле истории могут встречаться всякие последовательности, но как ASCII он детектиться не должен. И не детектится самыми разными средствами.
Добавлено: Пн окт 14, 2013 22:33
Alextp
Подкручу для History/Noclose
Добавлено спустя 37 минут:
Avada, Upd.
Добавлено: Пн окт 14, 2013 23:28
Avada
Alextp
Теперь уже завтра гляну, срочные дела.
Добавлено: Вт окт 15, 2013 01:56
Skif_off
Alextp
x64-версия будет попозже или не будет вовсе?
Добавлено: Вт окт 15, 2013 02:05
Alextp
Попозже, видимо.
Добавлено: Вт окт 15, 2013 08:51
Avada
Alextp
Посмотрел. Для двух указанных файлов тоже отображаются теперь знаки вопроса. Теперь, видимо, надо ждать, когда вместо вопросиков в абсолютном большинстве строк появится что-то содержательное.
Добавлено: Вт окт 15, 2013 11:00
Serge Yolkin
Хоть для меня эти вопросы и не связаны с TC, всё же, думаю, в этой теме они не будут оффтопными:
- Надо ли детектить .rtf? Т.е., существуют ли в реальности, не в тестовых наборах, файлы формата RTF с иным расширением?
- Кто-нибудь видел, опять же - в реальности, файлы в кодировках UTF-32 LE/BE (UCS-4)?
- UTF-8 без BOM и ANSI, при отсутствии кириллицы (символов из расширенного набора) - одно и то же. Как логичнее описать: ANSI, или UTF-8 w/o BOM?
Добавлено: Вт окт 15, 2013 13:09
Alextp
+Detect RUS ANSI. если в начале файла (2Кб) от 30% русиш символов (это коды $C0..$FF). BEta