Поиск в *.CSV файле и вывод данных из него списком? Чем?

Обсуждение любых программ, не имеющих отношения к Total Commander.

Модераторы: Avada, CaptainFlint, Nik, d-view, Моторокер

Ответить
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Чем открыть данные из CSV файла?

Сообщение MicR »

Вся база более 2 GB, открывать её всю нет нужды, да и комп зависнет капитально. Нужно выдернуть только определённые данные. Есть ли какие программы, которые по заданным параметрам, что нужно найти, выведут как результат лишь определённые искомые данные?
Аватара пользователя
Hobo
Сообщения: 45
Зарегистрирован: Пт июл 06, 2007 12:54

Сообщение Hobo »

Есть grep, awk, Perl и т.д. для фильтрации текста...
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

MicR
Скрипт на WSH + ADODB решает.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Поиск в *.CSV файле и вывод данных из него списком? Чем?

Сообщение MicR »

Есть база данных в CSV формате. Около 2GB.

Нужно чем-то открыть её. Целый файл открывать в 2 гига - нереально всё тормозит. Через эксель открывается в не той кодировке.

Есть ли какие программы, которые выдергивают искомые нужные данные по заданным параметрам и представляют списком?

Или есть ли какие бесплатные конвертеры в DBF формат. Для DBF у меня есть программа.

В сети нашел классные программы для конвертации, но платные, дающие только 50 первых записей. Ключей к ним найти не удалось.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

И чем принципиально задача отличается от этой?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Сообщение MicR »

Flasher писал(а):И чем принципиально задача отличается от этой?
Большей степенью задолбанности (извините за эмоциональность) этим вопросом, который так и не решил.

Я читал ответы, спасибо, но не понимаю их. Я не разбираюсь в скриптах и т.п., мне нужна бы простая программа-оболочка, чтобы данные открыть или какой-либо иной способ - суть это вывод данных по заданному критерю (фильтру). Нужно выдернуть конкретные данные из текстового файла.
Аватара пользователя
Avada
Сообщения: 10541
Зарегистрирован: Пт авг 01, 2008 16:17
Откуда: Россия, Саратов

Сообщение Avada »

MicR
Вы задали вопрос, создав тему в "Программном обеспечении". Допустим, полученные ответы вас не устроили. Но это ни при каких условиях не может быть поводом для создания через какое-то время дублирующейся темы (тем более — на том же подфоруме!) вместо того, чтобы продолжить обсуждение проблемы в уже имеющейся. В результате имеем разновидность оверпостинга.
Тема, где можно расчитывать на получение ответов по заданному вопросу — эта и никакая иная. Невзирая на то, получите ли вы какие-то другие ответы и устроят ли они вас.

Замечание за нарушение правил форума. Темы объединены.
Даже самая богатая фантазия
Не представит себе наши безобразия.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

MicR писал(а):Через эксель открывается в не той кодировке.
А если пересохранить в нужную?

А xbaseview не подошёл? Там фильтр имеется.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Сообщение MicR »

1. Пересохранить в нужную не вариант, все равно через эксель не работа. Слишком большой файл, работать нереально.

2. Xbase фильтр позволяет использовать только когда уже подгружен файл. А это опять же зависание всего ПК. Пытался конвертнуть в DBF, но для этого формата именно этот файл оказался недоступен. Может быть, из-за размера. Другого объяснения не нашел. Мелкие нормально конвертировались.

3. Лучшими программами чтения и конвертации оказались Advanced CSV Converter и ещё один конвертер от WhiteTown. Но обе платные и дали конвертировать и открыть только 50 первых строк. Покупать не вариант, дорого, других версий не нашёл в сети.
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

MicR
Понятно. В общем, на ум приходит только LogParser. Из гуёв можно взять Lizard (в ней окно будет после 65 дней появляться) либо Studio (она попроще), но без умения формировать SQL-запросы там делать нечего.
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Сообщение MicR »

Изучу данные программы.

Корявое решение нашёл: Нужные мне данные находятся в менее чем 5% файла, располагаясь последовательно друг за другом. Я разбил файл на части, отыскал часть, содержащую нужные мне данные, открыл нотепадом++, конвертнул в UTF-8, чтобы читалось в Экспеле и открыл таблицу.

Пока читаемо. Только затык с сортировкой там. Не знал, что эксель не умеет сортировать числа по величине. Он их сортирует в "алфавитном порядке", а не по величине.

Но лучше бы, конечно, оболочку, чтобы выдергивать нужное..
Аватара пользователя
Flasher
Сообщения: 14229
Зарегистрирован: Пт ноя 06, 2009 00:33
Откуда: Москва

Сообщение Flasher »

MicR писал(а):Он их сортирует в "алфавитном порядке", а не по величине.
А формат ячеек менялся?
Автору сборки TC Image (Andrey_A) настоятельно рекомендуется не распространять на иных ресурсах любую предоставленную мной где-либо техническую информацию по автоматизации и оптимизации в работе с ТС и системой.
MicR
Сообщения: 18
Зарегистрирован: Вт окт 14, 2014 10:51

Сообщение MicR »

Flasher писал(а):
MicR писал(а):Он их сортирует в "алфавитном порядке", а не по величине.
А формат ячеек менялся?
Понял в чем там дело было. Там в дробных числах вместо запятой точки были. Заменил их все на запятые и всё отсортировалось.
Ответить