Страница 7 из 10
Добавлено: Пн авг 14, 2017 03:12
BeardFury78
А есть ли скрипт (или кто-то сможет сваять), который скачивает файлы по ссылкам из текстовых файлов, причем сохраняет их в определенные папки, чьи названия должны браться из текстовых файлов, где записаны ссылки? Пример: есть файлы "example1.txt" и "example2.txt", в первом файле записаны 3 ссылки, в другом - 11 ссылки. Хотелось бы чтобы можно было выделить эти текстовые файлы, нажать на кнопку скрипта и на другом панеле создаются папки "example1" и "example2" и по соответствующим ссылкам в первом папке скачиваются 3 файлов, а на другом - 11 файлов. Для меня это было бы очень удобно. Для информации: у меня есть много текстовых файлов с списками ссылок, по которым хотелось бы организовать удобное скачивания файлов в соответствующие папки. Ссылки все записаны построчно, кроме ссылок больше ничего нет, но могут быть пустые строки в конце файлов. Кодировка таких файлов - ANSI.
К слову, если кто знает такую программу, которая делает то же самое, то можно не писать скрипт, а просто подсказать её название, главное чтобы там можно было выбирать сразу несколько текстовых файлов и все файлы по ссылкам должны скачиваться в папки, соответствующие этим текстовым файлам.
Добавлено: Пн авг 14, 2017 03:50
Flasher
BeardFury78
Вряд ли есть программа, задача специфическая. Скачиваемые Файлы бинарные, или есть текстовые?
Добавлено: Пн авг 14, 2017 03:57
BeardFury78
Flasher
Это изображения, обычно jpg,png,gif. Каких-то других файлов нет, в том числе и текстовые.
Добавлено: Пн авг 14, 2017 04:15
Flasher
BeardFury78
Закодированных ссылок типа http%3A%2F%2Fsite.com%2F нет?
Добавлено: Пн авг 14, 2017 04:21
BeardFury78
Flasher
Нет. Могут встречаться ссылки с https, это ничего?
Добавлено: Пн авг 14, 2017 04:30
Flasher
BeardFury78
Ничего. Заготовка есть. Завтра скину.
Добавлено: Пн авг 14, 2017 04:31
BeardFury78
Flasher
Ок. Потестировать смогу только вечером.
Добавлено: Пн авг 14, 2017 08:49
Zmy
Вот в этой программе есть такая возможность.
http://wincmd.ru/plugring/clipwork.html
Добавлено: Пн авг 14, 2017 12:26
Flasher
Zmy
Тяжеловатая программка. Почитал help (DownloadFromFile) и не увидел там такой возможности.
Добавлено: Пн авг 14, 2017 13:31
Zmy
Как нету?
Вот, создаём файл с таким содержимым.
http://progman13.wincmd.ru/downloads/wd ... er_1.0.zip ||C:\Temp\111\
http://progman13.wincmd.ru/downloads/wl ... 2_Beta.zip ||C:\Temp\222\
http://wincmd.ru/files/1236825/wdx_firstByte-0.3.zip ||C:\Temp\333\
И запускаем команду
C:\Temp\ClipWork.exe DownloadFromFile 5 C:\List.txt
Добавлено: Пн авг 14, 2017 13:38
Flasher
Zmy
Так это и не запрашивалось.
Добавлено: Пн авг 14, 2017 13:44
Zmy
Точно, извиняюсь. Невнимательно прочитал вопрос.
Добавлено: Пн авг 14, 2017 15:05
Flasher
BeardFury78
Код: Выделить всё
'•••••••••••••••••••••••••••• VBS •••••••••••••••••••••••••••
' Скачивание бинарных файлов по ссылкам выбранных txt-списков
' в создаваемые при необходимости папки c их базовыми имёнами
' Параметры: %WL "<путь получателя>"
' Ключ на протоколирование ошибок: /l
'••••••••••••••••••••••••••••••••••••••• Автор: Flasher © •••
Option Explicit : Dim List, Path, Log, Title, FSO, Dic, Reg, _
F, HTTP, URL, FN, Name, Ext, FType, File, All, Fold, FLog, Cnt
With WSH.Arguments
If .Count Then List = .Item(0) : Path = .Item(1) Else WSH.Quit
Log = .Named.Exists("l")
End With : Title = " Скачивание файлов"
Set FSO = CreateObject("Scripting.FileSystemObject")
Set Dic = CreateObject("Scripting.Dictionary")
Set Reg = New RegExp : Reg.IgnoreCase = True
Reg.Global = True : Reg.MultiLine = True
Reg.Pattern = "^\s*(https?://[^\r\n\s]+)"
Set HTTP = CreateObject("WinHttp.WinHttpRequest.5.1")
HTTP.Option(4) = 13056 : HTTP.Option(6) = True
HTTP.Option(12) = True : HTTP.Option(14) = 5
Set List = FSO.OpenTextFile(List,,,-1)
Do : File = List.ReadLine
If StrComp(FSO.GetExtensionName(File), "txt", 1) = 0 Then
If Len(File) > 259 Then File = "\\?\" & File
If FSO.GetFile(File).Size Then
With FSO.OpenTextFile(File) All = .ReadAll : .Close :End With
Fold = FSO.BuildPath(Path, FSO.GetBaseName(File))
If Len(Fold) > 259 Then Fold = "\\?\" & Fold
If Reg.Test(All) And Not FSO.FolderExists(Fold) Then FSO.CreateFolder Fold
If Log Then FLog = Left(File, InStrRev(File, ".") - 1) & " Errors.txt" :_
Dim LogFile : Set LogFile = FSO.CreateTextFile(FLog, 1)
For Each URL in Reg.Execute(All)
URL = URL.SubMatches(0) : FN = ""
If Not Dic.Exists(URL) Then
HTTP.Open "GET", URL, False
HTTP.SetRequestHeader "Pragma", "no-cache" : Dic.Add URL, ""
HTTP.SetRequestHeader "Cache-Control", "no-cache" : HTTP.Send
HTTP.WaitForResponse 5, True : URL = HTTP.Option(1)
FType = HTTP.GetResponseHeader("Content-Type")
If HTTP.Status = 200 And InStr(FType, "text/html") = 0 Then
On Error Resume Next
Name = HTTP.GetResponseHeader("Content-Disposition")
If Err.Number = 0 Then FN = Split(Name & """", """")(1)
On Error GoTo 0 : If FN = "" Then FN = FSO.GetFileName(URL) :_
FN = Mid(FN, InStrRev(FN, "?") + 1)
Ext = FSO.GetExtensionName(FN)
If Ext = "" Or IsNumeric(Ext) Then
Ext = Mid(FType, InStrRev(FType, "/") + 1)
If Len(Ext) Then FN = FN & "." & Ext
End If : F = FSO.BuildPath(Fold, FN)
If Len(F) > 259 And Left(F, 1) <> "\" Then F = "\\?\" & F
If Not FSO.FileExists(F) Then
With CreateObject("SAPI.SpFileStream")
.Format.Type = 1 : .Open F, 3, True
.Write HTTP.ResponseBody : .Close
End With : Cnt = Cnt + 1
End If
ElseIf Log Then LogFile.WriteLine URL
End If : HTTP.Abort
End If
Next : If Log Then LogFile.Close :_
If FSO.GetFile(FLog).Size = 0 Then FSO.DeleteFile FLog
End If
End If
Loop Until List.AtEndOfStream : List.Close : If Cnt Then _
MsgBox "Число скачанных файлов: " & Cnt, 4160, Title Else _
MsgBox "Нет подходящих объектов!", 4144, Title
Добавлено: Пн авг 14, 2017 15:36
Zmy
Я тут сделал небольшую программку. Из выделенных списков
URL создать папки, и загрузить все ссылки в именные папки.
У неё два обязательных параметра.
Command:
C:\Temp\DownloadFromFile.exe
Parameters:
"%T" 0 %P%S
https://cloud.mail.ru/public/8hPg/984s3oDba
.
Добавлено: Вт авг 15, 2017 03:15
BeardFury78
По итогам тестирования.
Скрипт от
Flasher по началу работал нормально, папки как положено создались, туда качались файлы, но потом появилась ошибка:
Строка: 32
Символ: 61
Ошибка: Время ожидания операции истекло
Код: 80072EE5
Источник: WinHttp.WinHttpRequest
и на этом скрипт прекратил работу, остальные файлы из списков остались не скачанными. Решил посмотреть, что там в скрипте, увидел эту строку:
HTTP.WaitForResponse 5, True : URL = HTTP.Option(1)
решил поменять 5 на 50 и после этого все теперь скачивается, больше не появилось ни одной ошибки. И еще обнаружил, что после завершения работы скрипта в папках встречаются файлы размером в 162 байтов и вьювер ничего не показывает после их открытия. Я открыл их блокнотом и оказалось, что они содержат этот текст:
<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx</center>
</body>
</html>
Я посмотрел по именам таких файлов в списке ссылок, проверил эти ссылки в браузере и они все действительно выдают ошибку 404. Было бы хорошо внести такую правку, чтобы такие файлы не создавались или удалялись после завершения скрипта, так как они только замусоривают папки. Замерял скорость скачивания: скрипт работал 20:49, скачано 505 мб, средняя скорость выходит 424 кб/с. В целом скриптом остался доволен, все файлы были скачаны как положено, причем нету ни одного отсутствующего файла (сверял количество ссылок в файлах с количеством файлов в папках), просмотрел файлы в режиме эскизов, не встретил ни одного битого или незавершенного файла. Спасибо большое за скрипт.
Программа от
Zmy работает как нужно, не заметил ни одной ошибки, все файлы скачиваются в нужные папки, нету файлов с размером в 162 байтов, в целом нету ни одного нарекания. Также потестил скорость скачивания: скрипт работал 23:21 с., скачано 505 мб, средняя скорость получается 378 кб/с, что немного пониже чем у скрипта, но это не критично. Тоже работой программы остался доволен, спасибо большое за работу.
Решил забрать оба варианты в коллекцию, буду чередовать их, на случай если один из вариантов по каким-то причинам откажется работать. Спасибо еще раз
Flasher и
Zmy!