Коллеги, мне нужна помощь слесаря по компьютерам.
Дано:
около 500 файлов со спектрами, формат, приблизительно, такой:
Bla Bla Bla
Bla wavenumber day month ear bla bla bla
bla bla bla (суммарно около 20 строчек)
>>>>>Begin Spectral Data<<<<<
189.78 0.000
190.14 0.000
190.51 -0.800
и т.д., в конце
866.16 -1.200
866.45 -3.300
>>>>>End Spectral Data<<<<<
Файлы имеют название типа Bla Bla Bla485.blablablabla
Хочу: получить около 500 файлов с названиями "485.sp" и содержанием типа:
"189.78 0.000
190.14 0.000
190.51 -0.800
и т.д., в конце
866.16 -1.200
866.45 -3.300"
Как проще всего решить эту проблему? На вин-10, разумеется. Я так понимаю, можно написать батник, но не умею этого делать
Помогите, пожалуйста
Пакетная обработка файлов
Moderator: InterimModers
17 posts
• Page 1 of 1
Пакетная обработка файлов
by dr_Strangelove » Sat Jun 16, 2018 10:56 am
Дух свободы… К перестройке // Вся страна стремится, // Полицейский в грязной Мойке // Хочет утопиться.
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
-
dr_Strangelove - Posts: 665
- Joined: Mon Oct 18, 2004 9:17 pm
- Location: Химфак-ФНМ-Химфак+ФИАН
Re: Пакетная обработка файлов
by IB » Sat Jun 16, 2018 12:10 pm
ИСН подскажет лучше.
Но раз я уже открыл тему, то выскажу как бы я это делал я (а это не оптимально - просто мы все уж такие, что используем то, что у нас под руками).
Есть три пути:
1. Самый простой с точки зрения наличия знаний, но самый муторный с точки зрения реализации - макросы в Word на Visual Basic. Там можно сделать всё, что угодно в таком плане, но придётся день читать документацию и подгонять всё, чтобы работало. Мне бы хватило часа (если повезёт, и сразу полетит, то и 15 минут, но там могут быть нюансы).
2. Средний, и насколько я понимаю оптимальный для Вас. Notepad++ автозамены с Regex.
How-to:
a. Открываете Notepad++
b. Search >n Find in files
c. В меню заполняете подобно тому, как на картинке (см. аттачмент).
Find what: ([\s\S]*?)(>>>>>Begin Spectral Data<<<<<\r\n)([\s\S]*?)(\r\n>>>>>End Spectral Data<<<<<)
Replace with: $3
Не забудьте указать папку, в которой у Вас файлы.
d. Нажимаете на Replace in files.
3. Сложный (условно). Оптимальный в целом, если файлов десятки тысяч. На Python (или любом скриптовом языке). Тоже могу сделать, если хотите. Но вот в сию секунду знаю только как всё сделать на одном файле (там настолько сурово просто, что плакать можно). А вот для многих файлов надо 5 минут посмотреть, как там лучше оформить. В принципе всё это несколько строчек.
Но раз я уже открыл тему, то выскажу как бы я это делал я (а это не оптимально - просто мы все уж такие, что используем то, что у нас под руками).
Есть три пути:
1. Самый простой с точки зрения наличия знаний, но самый муторный с точки зрения реализации - макросы в Word на Visual Basic. Там можно сделать всё, что угодно в таком плане, но придётся день читать документацию и подгонять всё, чтобы работало. Мне бы хватило часа (если повезёт, и сразу полетит, то и 15 минут, но там могут быть нюансы).
2. Средний, и насколько я понимаю оптимальный для Вас. Notepad++ автозамены с Regex.
How-to:
a. Открываете Notepad++
b. Search >n Find in files
c. В меню заполняете подобно тому, как на картинке (см. аттачмент).
Find what: ([\s\S]*?)(>>>>>Begin Spectral Data<<<<<\r\n)([\s\S]*?)(\r\n>>>>>End Spectral Data<<<<<)
Replace with: $3
Не забудьте указать папку, в которой у Вас файлы.
d. Нажимаете на Replace in files.
3. Сложный (условно). Оптимальный в целом, если файлов десятки тысяч. На Python (или любом скриптовом языке). Тоже могу сделать, если хотите. Но вот в сию секунду знаю только как всё сделать на одном файле (там настолько сурово просто, что плакать можно). А вот для многих файлов надо 5 минут посмотреть, как там лучше оформить. В принципе всё это несколько строчек.
- Attachments
-
- Notepad_Find_in_files_sm.jpg (56.94 KiB) Viewed 4714 times
Last edited by IB on Sat Jun 16, 2018 1:04 pm, edited 3 times in total.
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by dr_Strangelove » Sat Jun 16, 2018 12:27 pm
Спасибо, 2 вариант выглядит привлекательно
Вот пример файла
Вот пример файла
Last edited by Blackguard on Sat Jun 16, 2018 2:09 pm, edited 1 time in total.
Reason: Сложил простынь
Reason: Сложил простынь
Дух свободы… К перестройке // Вся страна стремится, // Полицейский в грязной Мойке // Хочет утопиться.
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
-
dr_Strangelove - Posts: 665
- Joined: Mon Oct 18, 2004 9:17 pm
- Location: Химфак-ФНМ-Химфак+ФИАН
Re: Пакетная обработка файлов
by IB » Sat Jun 16, 2018 12:36 pm
См. вверху, я ввёл, всё что нужно. Я прошу прощения, что затребовал лишнюю информацию - Вы уже всё дали вначале (если можно, уберите пожалуйста этот длинный файл под-cut). Я протестировал на одном файле, но всё должно работать. Сейчас быстренько (уж насколько могу), попробую как будет выглядеть на нескольких.
UPD. Всё работает, только первая и последняя строка пустые. Сейчас посмотрю, отчего это вдруг.
UPD2. Моя помарка в Regex - поправил, там же, в первом сообщении. Теперь всё работает как надо (хотя в Regex код топорен, ака инструмент у австралопитека. Ну и фиг с ним. Вам же ехать, а не шашечки).
P.S. Собственно даже открывать файлы не нужно, в принципе это работает тоже на практически неограниченном количестве файлов.
UPD. Всё работает, только первая и последняя строка пустые. Сейчас посмотрю, отчего это вдруг.
UPD2. Моя помарка в Regex - поправил, там же, в первом сообщении. Теперь всё работает как надо (хотя в Regex код топорен, ака инструмент у австралопитека. Ну и фиг с ним. Вам же ехать, а не шашечки).
P.S. Собственно даже открывать файлы не нужно, в принципе это работает тоже на практически неограниченном количестве файлов.
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by dr_Strangelove » Sat Jun 16, 2018 1:38 pm
Огромное спасибо, я разобрался, очень классно!
Дух свободы… К перестройке // Вся страна стремится, // Полицейский в грязной Мойке // Хочет утопиться.
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
-
dr_Strangelove - Posts: 665
- Joined: Mon Oct 18, 2004 9:17 pm
- Location: Химфак-ФНМ-Химфак+ФИАН
Re: Пакетная обработка файлов
by IB » Sat Jun 16, 2018 1:44 pm
/Сратько mode on
Ну тогда приводите на форум людей
))
/Сратько mode off
Ну тогда приводите на форум людей
))/Сратько mode off
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by IB » Sat Jun 16, 2018 4:30 pm
Мне тут стало интересно, как это сделать на Питоне с пакетной обработкой. По сути нужно было подчитать glob.glob.
Короче наваял для Доктора на Python 2.7, чтобы он не говорил, что здесь недружелюбные звери бродят (скрипт от человека, который не умеет программировать - т.е. один лысый дарит другому лысому расчёску. Зато работает. С другой стороны кто-то, скажем ИСН, будет крутить носом и восклицать "O tempora, o mores" ).
How to: нужно запустить скрипт - python script_name.py, ввести название папки по просьбе, и все найденные file.txt с интерпретируемой структурой, содержащей ">>>>Begin..." и ">>>>>End..." после обрезания ненужных фрагментов будут записаны в виде file_.txt в ту же папку (если структура не найдена, то, соответственно, ничего не происходит; если хочется других расширений, то нужно подправить fileExtension и newFileExtension):
Что ли мне на github-е профиль завести ? LOL. Нет, ну если Dr. Smol-у можно обсуждать природу Христа, то почему мне нельзя на github ? 2xLOL. А впрочем, всё это падение профессиональных нравов.
P.S. Скрипт компилировать, я так понимаю, не имеет смысла. Кто ж будет в здравом уме запускать .exe файл от человека, который не умеет нормально программировать ? Это как просить передать обезьяну боевую гранату.
Короче наваял для Доктора на Python 2.7, чтобы он не говорил, что здесь недружелюбные звери бродят (скрипт от человека, который не умеет программировать - т.е. один лысый дарит другому лысому расчёску. Зато работает. С другой стороны кто-то, скажем ИСН, будет крутить носом и восклицать "O tempora, o mores"
). How to: нужно запустить скрипт - python script_name.py, ввести название папки по просьбе, и все найденные file.txt с интерпретируемой структурой, содержащей ">>>>Begin..." и ">>>>>End..." после обрезания ненужных фрагментов будут записаны в виде file_.txt в ту же папку (если структура не найдена, то, соответственно, ничего не происходит; если хочется других расширений, то нужно подправить fileExtension и newFileExtension):
Что ли мне на github-е профиль завести ? LOL. Нет, ну если Dr. Smol-у можно обсуждать природу Христа, то почему мне нельзя на github ? 2xLOL. А впрочем, всё это падение профессиональных нравов.
P.S. Скрипт компилировать, я так понимаю, не имеет смысла. Кто ж будет в здравом уме запускать .exe файл от человека, который не умеет нормально программировать ? Это как просить передать обезьяну боевую гранату.
Last edited by IB on Sun Jun 17, 2018 10:07 am, edited 1 time in total.
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by IB » Sat Jun 16, 2018 8:56 pm
Да, и ещё кое-что, чтобы совсем закрыть тему. Я проигнорировал часть задачи, которая касается переименований из-за её тривиальности. В принципе существует огромное количество софта, которое делает это автоматически - чуть ли не каждый файлменеджер. Вот как случай доктора выглядит в TotalCommander (Search for" (.*?)([0-9_]*[.]), Replace with: $2; нужно обратить внимание, чтобы опции E и RegEx были выделены. Файлы "до" и "после" выведены на панели):
- Attachments
-
- Multirename_sm.jpg (57.36 KiB) Viewed 4692 times
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by dr_Strangelove » Sat Jun 16, 2018 9:44 pm
А переименовывать я научился с помощью гугола. Рассказываю
Сначала выделяешь все файлы и нажимаешь переименовать первый, предположим в Очень_Важный_Спектр. Просто в винде, без файл-менеджеров.
Тот час все файлы приобретают имена Очень_Важный_Спектр(0), Очень_Важный_Спектр(1), Очень_Важный_Спектр(2) и т.д.
Потом приходится воспользоваться ДОСОМ (это, конечно, чудовищно - пользоваться командной строкой в 2018 году, но в гуе такого не вшито, по видимому)
cd Путь_к_папке
rename *.Расширение1 *.Расширение2
Достаточно удобно
Сначала выделяешь все файлы и нажимаешь переименовать первый, предположим в Очень_Важный_Спектр. Просто в винде, без файл-менеджеров.
Тот час все файлы приобретают имена Очень_Важный_Спектр(0), Очень_Важный_Спектр(1), Очень_Важный_Спектр(2) и т.д.
Потом приходится воспользоваться ДОСОМ (это, конечно, чудовищно - пользоваться командной строкой в 2018 году, но в гуе такого не вшито, по видимому)
cd Путь_к_папке
rename *.Расширение1 *.Расширение2
Достаточно удобно
Дух свободы… К перестройке // Вся страна стремится, // Полицейский в грязной Мойке // Хочет утопиться.
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
-
dr_Strangelove - Posts: 665
- Joined: Mon Oct 18, 2004 9:17 pm
- Location: Химфак-ФНМ-Химфак+ФИАН
Re: Пакетная обработка файлов
by dr_Strangelove » Sat Jun 16, 2018 9:47 pm
IB wrote:Мне тут стало интересно, как это сделать на Питоне с пакетной обработкой. По сути нужно было подчитать glob.glob.
Короче наваял для Доктора на Python 2.7, чтобы он не говорил, что здесь недружелюбные звери бродят (скрипт от человека, который не умеет программировать - т.е. один лысый дарит другому лысому расчёску. Зато работает. С другой стороны кто-то, скажем ИСН, будет крутить носом и восклицать "O tempora, o mores"
Спасибо! Измерения показали, что требуются новые измерения, так что я с вынужден буду получить еще такую же кучу бессмысленных файлов и вытаскивать данные из них - заодно протестирую Ваш скрипт
С приветом!
Дух свободы… К перестройке // Вся страна стремится, // Полицейский в грязной Мойке // Хочет утопиться.
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
Не топись, охранный воин,— // Воля улыбнётся! // Полицейский! будь покоен — // Старый гнёт вернется
-
dr_Strangelove - Posts: 665
- Joined: Mon Oct 18, 2004 9:17 pm
- Location: Химфак-ФНМ-Химфак+ФИАН
Re: Пакетная обработка файлов
by IB » Sun Jun 17, 2018 10:10 am
Ну вот и отлично. Я там вверху вставил скрипт в теги [code][/code], теперь можно копи-пастить. Неприятная особенность местного движка в том, что если этого не сделать, то игнорируются начальные пробелы и табуляции. Дублирую файл здесь. Он запакован, потому как добрый администратор не разрешает делиться нам python скриптами как они есть. Пользуйтесь на здоровье.
- Attachments
-
Extractor.zip- (1000 Bytes) Downloaded 168 times
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by IB » Sun Jun 17, 2018 10:26 am
LOL. Вызовите ИСН-а на баттл по этому поводуdr_Strangelove wrote:Потом приходится воспользоваться ДОСОМ (это, конечно, чудовищно - пользоваться командной строкой в 2018 году, но в гуе такого не вшито, по видимому)
. А я покушаю попкорна. Если бы он снизошёл, то железной палицей вбивал бы мысль о том, что только командная строка, только хардкор. Вы будете защищать мысль, что только GUI. Истина, как обычно, посередине - лучше всего комбинация двоих с user-friendly поддержкой скриптинга и возможностью записи макросов. Но в конечном счёте, если уж нужно выбирать что-то одно, то конечно альтернативы командной строке нет. Вообще.dr_Strangelove wrote:cd Путь_к_папке
rename *.Расширение1 *.Расширение2
Достаточно удобно
Вот если бы сделали бы такую таблицу из строчек:
- Code: Select all
rename name_old1.ext_old1 name_new1.ext_new1
rename name_old2.ext_old2 name_new2.ext_new2
...
и назвали бы это *.bat файлом, потом запустив его, то всё бы переименовалось автоматически. Это и есть тот путь, который Вы запрашивали вначале (точнее та часть, которая касается переименования). Несмотря на простоту, я этот метод Вам не рекомендовал, потому, что для него нужно в общем случае генерировать список файлов и править его, для чего желателен файл-менеджер. В свою очередь нормальные файл-менеджеры предлагают так же и функцию переименования.
То, что Вы сделали - это практически обрезанный вариант, или частный случай использования функций встроенного файл менеджера для переименования. Но этот вариант слабенький - в общем случае глубинного преобразования имени с манипуляциями над номером таким образом не достигнуть. Так что лучше просто использовать для этого файл менеджер, как показано выше.
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by ИСН » Mon Jun 18, 2018 11:05 am
Э...
Тут, вижу, уже всё, так что я пойду позагораю.
Тут, вижу, уже всё, так что я пойду позагораю.
-
ИСН - Posts: 2383
- Joined: Fri Oct 10, 2003 5:32 pm
- Location: с Территории
Re: Пакетная обработка файлов
by IB » Wed Jun 20, 2018 2:05 pm
Заметьте, Доктор, ИСН демонстрирует Вам магию мощь Perl, который и создан для таких задач. С одной стороны эффективно, а с другой уродливо донельзя (мнение со стороны, от человека, далёкого от высоких компетенций). Запускать скрипт Perl из неизвестного источника не намного меньший риск, чем запускать .exe файл, ибо замаскировать непотребство в первом достаточно просто .
Кстати, ИСН, какой язык программирования на Ваш взгляд более уродлив чем Perl (ожидаю услышать что-то из функциональных, типа Lisp, Haskell, Erlang - но мне кажется, что с одной стороны это дело привычки, и в определённых случаях они даже могут претендовать на статус наиболее элегантных, а с другой Perl особо уродлив именно в сравнении языков не радикально далёких от него, но с меньшим акцентом на скриптинг) ?
.Кстати, ИСН, какой язык программирования на Ваш взгляд более уродлив чем Perl (ожидаю услышать что-то из функциональных, типа Lisp, Haskell, Erlang - но мне кажется, что с одной стороны это дело привычки, и в определённых случаях они даже могут претендовать на статус наиболее элегантных, а с другой Perl особо уродлив именно в сравнении языков не радикально далёких от него, но с меньшим акцентом на скриптинг) ?
-
IB - Posts: 8030
- Joined: Wed Jul 25, 2007 9:12 pm
Re: Пакетная обработка файлов
by ИСН » Wed Jun 20, 2018 11:22 pm
Ну, я не так-то много языков знаю. И из тех, что знаю, никакой другой (кроме откровенно шуточных) не создавался с мыслью использовать в синтаксисе все символы, которые можно ввести с клавиатуры.
Своя красота в нём есть, но это инопланетная красота.
Своя красота в нём есть, но это инопланетная красота.
-
ИСН - Posts: 2383
- Joined: Fri Oct 10, 2003 5:32 pm
- Location: с Территории
Re: Пакетная обработка файлов
by Сратель » Sun Jun 24, 2018 2:31 pm
Не знаю как у Обивана и Стрэйнджлава, а у меня выражение "папка с файлами" всегда ассоциировалось с фразой "мошонка с яйцами".
Война - кусок говна
-
Сратель - Genius loci
- Posts: 12378
- Joined: Thu Sep 19, 2013 7:06 pm
17 posts
• Page 1 of 1
Who is online
Users browsing this forum: No registered users and 2 guests