Total Commander :: CudaLister (просмотр исходников)

through

[^/[Print]\]
Goto page Previous 1, 2, 3 ... 9, 10, 11 ... 13, 14, 15 Next :| |:
Total Commander -> Плагины Total Commander

#136: Author: LonerD, Location: Донецк

Posted: Fri Aug 17, 2018 23:16
—

Skif_off wrote:

LonerD
UTF-16 LE без BOM? А зачем так делать?

Не знаю. Попались такие файлы скриптов в разных источниках, значит их существование возможно.

#137: Author: Skif_off,

Posted: Fri Aug 17, 2018 23:53
—
Строго говоря, не "возможно", а "допустимо" и даже не "обязательно", но анализ BOM - самый ходовой вариант автодетекта кодировки юникода и вроде с него обычно начинают автодетект вообще.

Смутно припоминаю, что где-то в потрохах WinXP попадаются то ли конфиги, то ли логи в UTF-16 LE без BOM.

#138: Author: Alextp,

Posted: Sat Aug 18, 2018 00:52
—
Loner,
мне нужно описание алго, словами хотя бы, который детектит такой utf16.
Например:

- читаем первые 20 words, смотрим что нечетные байты 0, а другие не 0.
- еще смотрим то же про utf16 LE.

#139: Author: Skif_off,

Posted: Sat Aug 18, 2018 03:18
—
Alextp
Добрался до компа и проверил AkelPad (UTF-16 LE узнал в Jota+, т.к. уже видел подобное): определяет правильно. Детект кодировки в Edit.c, если правильно понял - после анализа BOM и до проверки UTF-8 без BOM/не юникод.
Только не понял, что будет в случае суррогатных пар.

Добавлено спустя 3 минуты:

Забыл, по умолчанию размер буфера для распознавания 1024 байт.

#140: Author: Alextp,

Posted: Sat Aug 18, 2018 11:58
—
Приделал _простой_ детект utf16 по первым 10 байтам- четные 0 а нечетные ascii. Для BE наоборот.

CudaText: https://sourceforge.net/projects/cudatext/files/beta_version/

Не уверен что надо опцию "размер буфера".

Добавлено спустя 11 минут:

Про Akel:

- он детектит ascii code по ренджу 1..126, хотя надо бы по (9,10,13,32..126)
- он детектит UTF16 по частоте LE chars, BE chars.
Если частота LE > частоты BE и больше порога- детект LE.
Это криво. Т.к. хотя бы 2 символа BE уже должны говорить что "это не LE"...

#141: Author: Skif_off,

Posted: Sat Aug 18, 2018 13:03
—

Alextp wrote:

Не уверен что надо опцию "размер буфера".

А сколько CudaText/CudaLister используют для детекта? В смысле, если BOM нет. Весь файл анализируется?

Alextp wrote:

- он детектит ascii code по ренджу 1..126, хотя надо бы по (9,10,13,32..126)

Не сразу дошло, в смысле - только печатные? В этом же цикле бинарные детектятся, ограничивать диапазон не резонно. Но их ведь немного, и всё уже в ОЗУ?

Про LE/BE не понял, это ведь просто порядок байт и считается, что попадается чаще - \x00\xXX или \xXX\x00?

#142: Author: Alextp,

Posted: Sat Aug 18, 2018 13:17
—

Skif_off wrote:

Весь файл анализируется?

Первые 20 байт - наверно достаточно.
Про Акел - просто почитай код по ссылке Edit.c.

#143: Author: Skif_off,

Posted: Sat Aug 18, 2018 22:06
—
Alextp
Если есть символы из ASCII, то для определения порядка байтов, наверное, должно быть достаточно. Но имел в виду вообще для неюникода или UTF-8 без BOM, для всяких cp125x, oem и т.п.

#144: Author: Alextp,

Posted: Sun Aug 19, 2018 23:53
—
Я уже не понял что ты имел в виду...
Короче выше написал мой коммент к Edit.c.

#145: Author: Skif_off,

Posted: Mon Aug 20, 2018 16:42
—
Alextp
Имел в виду, как CudaText/CudaLister определяют кодировки - анализируя весь файл или только часть?

#146: Author: Alextp,

Posted: Mon Aug 20, 2018 18:32
—
Только часть. Для UTF8 no bom это Н кбайт, для UTF16 no bom -10-20 б.

#147: Author: Alextp,

Posted: Wed Oct 24, 2018 22:16
—
Кто то может подтвердить этот баг?
я у себя не повторил, тестил в Wine.
https://github.com/Alexey-T/CudaLister/issues/37

#148: Author: CaptainFlint, Location: Москва

Posted: Thu Nov 01, 2018 02:42
—
У меня воспроизводится. Win7 x64, TC 9.21a x64, CudaLister 1.5.6, режим read-only без курсора.

#149: Author: bob2000,

Posted: Fri Jan 25, 2019 21:15
—
Что нужно сделать, чтобы CudaLister не "перехватывал фокус"
То есть после его включения, другие плагины по клавише "4" уже не подключаются
Заметил, что перехватывает фокус только на файлах без "лексеров"

#150: Author: Alextp,

Posted: Fri Feb 01, 2019 02:02
—
Видимо ничего не сделать. Или доработать код на Гитхабе.

Total Commander -> Плагины Total Commander

output generated using printer-friendly topic mod. All times are GMT + 4 Hours

Goto page Previous 1, 2, 3 ... 9, 10, 11 ... 13, 14, 15 Next :| |: Page 10 of 15