linux найти файлы старше 30 дней
Как найти и отсортировать файлы по дате и времени модификации в Linux
Обычно у нас есть привычка сохранять много информации в виде файлов в нашей системе. Некоторые, скрытые файлы, некоторые хранятся в отдельной папке, созданной для простоты понимания, а некоторые как есть. Но все это заполняет наши каталоги; обычно настольный, что делает его похожим на беспорядок. Но проблема возникает, когда нам нужно найти конкретный файл, измененный в определенную дату и время в этой огромной коллекции.
Люди, знакомые с графическим интерфейсом пользователя, могут найти его с помощью диспетчера файлов, который перечисляет файлы в формате длинного списка, что позволяет легко понять, что мы хотели, но те пользователи, у которых есть привычка к черным экранам, или даже любой, кто работает на серверах, которые лишены графического интерфейса, будут нужна простая команда или набор команд, которые могли бы облегчить их поиск.
Настоящая красота Linux проявляется здесь, поскольку в Linux есть набор команд, которые при использовании по отдельности или вместе могут помочь в поиске файла или сортировке коллекции файлов по их имени, дате модификации, времени создания или даже любому другому. фильтр, который вы могли бы подумать о применении, чтобы получить свой результат.
Здесь мы раскроем реальную силу Linux, изучив набор команд, которые могут помочь отсортировать файл или даже список файлов по дате и времени.
Утилиты Linux для сортировки файлов в Linux
Вот некоторые базовые утилиты командной строки Linux, которых достаточно для сортировки каталога по дате и времени:
Мы уже рассмотрели множество статей о команде Linux ls и команде sort, вы можете найти их ниже:
Мы уже рассмотрели две статьи о команде сортировки Linux, вы можете найти их ниже:
Эти команды сами по себе являются очень мощными командами, которые нужно освоить, если вы работаете на черных экранах и имеете дело с большим количеством файлов, просто чтобы получить тот, который вам нужен.
Некоторые способы сортировки файлов по дате и времени
Ниже приведен список команд для сортировки по дате и времени.
Список файлов в каталоге на основе времени последнего доступа, т.е. на основе времени последнего доступа к файлу, а не изменения.
Команды ниже показывают использование sort с командой find для сортировки списка файлов по дате и времени.
Чтобы узнать больше о команде find, перейдите по этой ссылке: 35 практических примеров команды find в Linux
Приведенная ниже команда сортировки сначала выполняет сортировку на основе последней цифры года, затем сортировку на основе последней цифры месяца в обратном порядке и, наконец, сортировку на основе первого поля. Здесь «1.8» означает 8-й столбец первого поля, а «n» перед ним означает числовую сортировку, а «r» указывает сортировку в обратном порядке.
Приведенная ниже команда сортирует вывод на основе первого столбца первого поля вывода, который является первой цифрой часа.
Заключение
Точно так же, обладая некоторыми знаниями о команде сортировки, вы можете отсортировать практически любой список на основе любого поля и даже любого столбца, который вам нужен. Это были некоторые приемы, которые помогут вам сортировать файлы по дате или времени. На их основе вы можете создавать свои собственные трюки. Однако, если у вас есть другой интересный трюк, вы всегда можете упомянуть об этом в своих комментариях.
Поиск больших файлов в Linux
Со временем на вашем диске может появиться множество ненужных файлов, занимающих много места на диске. Обычно в системах Linux не хватает места на диске из-за больших файлов журналов или резервных копий.
Найдите большие файлы с помощью команды find
Команда find — один из самых мощных инструментов в арсенале системных администраторов Linux. Он позволяет искать файлы и каталоги по различным критериям, включая размер файла.
В результате будет отображен список файлов без дополнительной информации.
Команда find также может использоваться в сочетании с другими инструментами, такими как ls или sort для выполнения операций с этими файлами.
В приведенном ниже примере мы передаем вывод команды find в ls который распечатывает размер каждого найденного файла, а затем передает этот вывод команде sort для сортировки на основе 5-го столбца, который является размером файла.
Результат будет выглядеть примерно так:
Если вывод содержит много строк информации, вы можете использовать команду head для печати только первых 10 строк:
Команда find имеет множество мощных опций. Например, вы можете искать большие файлы старше x дней, большие файлы с определенным расширением или большие файлы, принадлежащие определенному пользователю.
Найдите большие файлы и каталоги с помощью команды du
Команда du используется для оценки использования файлового пространства и особенно полезна для поиска каталогов и файлов, занимающих большие объемы дискового пространства.
Следующая команда распечатает самые большие файлы и каталоги:
В первом столбце указан размер файла, а во втором — имя файла:
У команды du есть много других опций, которые можно использовать для уточнения вывода об использовании дискового пространства.
Выводы
Если у вас есть вопросы или замечания, пожалуйста, оставьте комментарий ниже.
linux найти файлы по дате создания
Часто у меня спрашивают: «как по SSH получить в перечень файлов созданных на определенную дату?» или «у меня есть папка с большим количеством файлов. нужно найти в этой папке файлы с определенной датой и поместить их в архив. Как это можно сделать?» Все очень просто, и сейчас мы разберем несколько часто встречающихся запросов.
В оболочках, основанных на Linux операционных системах, таких как Debian, Ubuntu, Redhat или Centos мы можем в консоле задать следующие команды и посмотреть их выполнение:
показать текущую директорию
перейти в директорию ‘/home1’
перейти в директорию уровнем выше
перейти в директорию двумя уровнями выше
перейти в домашнюю директорию
перейти в домашнюю директорию пользователя user1
перейти в директорию, в которой находились до перехода в текущую директорию
отобразить содержимое текущей директории
отобразить содержимое текущей директории с добавлением к именам символов, характеризующих тип
показать детализированное представление файлов и директорий в текущей директории
показать скрытые файлы и директории в текущей директории
показать файлы и директории содержащие в имени цифры
отображает размер и имена файлов и директорий, с сортировкой по размеру
найти файлы и директории с именем file1. Поиск начать с корня (/)
найти файл и директорию принадлежащие пользователю user1. Поиск начать с корня (/)
Найти все файлы и директории, имена которых оканчиваются на ‘. php’. Поиск начать с ‘/home/user1’
найти все файлы в ‘/usr/cgi’, созданные или изменённые в течении последних 11 дней
найти все файлы в ‘/usr/bin’, время последнего обращения к которым более 300 дней
удалить файл с именем ‘file1’ и ‘file2’
удалить директорию с именем ‘dir1’
удалить директорию с именем ‘dir1’ и рекурсивно всё её содержимое
удалить две директории и рекурсивно их содержимое
Ну, и немного примеров:
подсчитать количество файлов в директории
находим все файлы в текущем каталоге и вывод отфильтровать по php и за дату Nov 2 2011 :
Внимательно смотрите на формат написания даты и количество пробелов
тоже самое, только с find:
и такое имеет место (найти файлы с 26 по 28 октября 2016) (не у всякого хостера работает newermt ):
тогда найти все файлы созданные после создания файла config.php (определите у себя подходящий по дате)
найти все файлы и вывод отфильтровать по ‘цифра.php’:
найденное можно удалить вот так:
или можете положить отобранные файлы в архив:
Иногда может потребоваться найти самые большие файлы в директории:
или в директории /home
Или самые большие папки (директории):
Команда find и её опции в примерах
Эта статья – выдержка из книги “Linux&Unix – программирование в Shell”, Девида Тенсли.
Правки вносил немного в спешке, если замечены опечатки – пишите в комментарии.
Часто в процессе работы возникает необходимость осуществить поиск файлов с определенными характеристиками, такими как права доступа, размер, тип и т.д. Команда find представляет собой универсальный инструмент поиска: она позволяет искать файлы и каталоги, просматривать все каталоги в системе или только текущий каталог.
В этой главе рассматриваются следующие темы, связанные с применением команды find :
• параметры команды find ;
• примеры использования различных опций команды find ;
Возможности команды find обширны, велик и список предлагаемых опций. В настоящей главе описаны наиболее важные из них. Команда find может проводить поиск даже на дисках NFS (Network File System — сетевая файловая система), конечно, при наличии соответствующих разрешений. В подобных случаях команда обычно выполняется в фоновом режиме, поскольку просмотр дерева каталога требует значительных затрат времени. Общий формат команды find таков:
где путевое_имя — это каталог, с которого необходимо начинать поиск. Символ ‘.’ служит для обозначения текущего каталога, символ / — корневого каталога, а символ “
” — записанного в переменной $HOME начального каталога текущего пользователя.
2.1. Опции команды find
-name Поиск файлов, имена которых соответствуют заданному шаблону
-print Запись полных имен найденных файлов в стандартный поток вывода
-perm Поиск файлов, для которых установлен указанный режим доступа
-user Поиск файлов, принадлежащих указанному пользователю
-group Поиск файлов, которые принадлежат данной группе
-nogroup Поиск файлов, принадлежащих несуществующей группе, для которой, иначе говоря, отсутствует запись в файле /etc/groups
-nouser Поиск файлов, принадлежащих несуществующему пользователю, для которого, другими словами, отсутствует запись в файле /etc/passwd
-newer файл Поиск файлов, которые созданы позднее, чем указанный файл
-type Поиск файлов определенного типа, а именно: b — специальный блочный файл; d — каталог; с — специальный символьный файл; p — именованный канал; l — символическая ссылка; s — сокет; f — обычный файл
-size n Поиск файлов, размер которых составляет n единиц; возможны следующие единицы измерения: b— блок размером 512 байт (установка по умолчанию); с — байт; k — килобайт (1024 байта); w — двухбайтовое слово
-depth При поиске файлов сначала просматривается содержимое текущего каталога и лишь затем проверяется запись, соответствующая самому каталогу
-f stype Поиск файлов, которые находятся в файловой системе определенного типа; обычно соответствующие сведения хранятся в файле /etc/fstab, который содержит данные о файловых системах, используемых на локальном компьютере
(обратите внимание на наличие пробела между символами <> и 😉
Чтобы найти все файлы с расширением .txt, находящиеся в текущем каталоге, следует воспользоваться такой командой:
Для нахождения в текущем каталоге всех файлов, в именах которых встречается хотя бы один символ в верхнем регистре, введите следующую команду:
Найти в каталоге /etc файлы, имена которых начинаются с символов “host“, позволяет команда
Поиск в начальном каталоге всех файлов с расширением .txt, а также файлов, имена которых начинаются с точки, производит команда
Опция -о является обозначением операции логического ИЛИ. В случае ее применения помимо файлов с обычными именами будут найдены файлы, имена которых начинаются с точки.
Если вы хотите получить список всех файлов в системе, не имеющих расширения, выполните представленную ниже команду, но будьте осторожны, так как она может существенно замедлить работу системы:
Ниже показано, как найти все файлы, в именах которых сначала следуют символы нижнего регистра, а за ними — две цифры и расширение .txt (например, ах37.xt):
Если перед значением режима вставить дефис, будет произведен поиск файлов, для которых установлены все указанные биты разрешений, остальные биты при этом игнорируются. Например, следующая команда ищет файлы, к которым другие пользователи имеют полный доступ:
Если же перед значением режима введен знак “плюс”, осуществляется поиск файлов, для которых установлен хотя бы один из указанных битов разрешений, при этом остальные биты игнорируются.
Следующая команда проводит поиск в текущем каталоге, не заходя в подкаталог /bin:
Поиск в каталоге /etc файлов, принадлежащих пользователю uucp, выполняет следующая команда:
Следующая команда ищет во всей системе файлы, принадлежащие несуществующим группам:
Найти все файлы, которые не обновлялись в течение последних пяти дней, позволяет следующая команда:
Ниже приведена команда, выполняющая поиск в каталоге /var/adm файлов, которые обновлялись в течение последних трех дней:
Знак ‘!‘ является оператором логического отрицания. Он означает: найти файлы, которые новее, чем старый_файл, но старее, чем новый_файл.
Предположим, у нас есть два файла, которые обновлялись с интервалом немногим более двух дней:
-rwxr-xr-x 1 root root 92 Apr 18 11:18 age.awk
-rwxrwxr-x 1 root root 1054 Apr 20 19:37 belts.awk
Чтобы получить список всех файлов, но не каталогов, выполните следующую команду:
Ниже приведена команда, которая предназначена для поиска всех символических ссылок в каталоге /etc.
Следующая команда выполняет поиск в каталоге /home/apache файлов, размер которых в точности равен 100 байтам:
Произвести поиск файлов, размер которых превышает 10 блоков (5120 байтов), позволяет приведенная ниже команда:
Вот как могут выглядеть результаты ее работы:
2.1.12. Поиск файлов с последующей архивацией командой cpio
Вот как выполняется запись на магнитную ленту содержимого каталогов /etc, /home и /apps:
Опция -о команды cpio задает режим записи файлов на ленту. Опция -v (verbose — словесный режим) является указанием команде cpio сообщать о каждом обрабатываемом файле.
Обратите внимание на то, что в именах каталогов отсутствует начальный символ ‘/’. Таким образом задаются относительные путевые имена архивируемых каталогов, что при последующем чтении файлов из архива позволит воссоздавать их в любой части операционной системы, а не только в корневом каталоге.
Чтобы найти файлы, которые не обновлялись в каталоге /logs в течение последних пяти дней, и удалить их, выполните следующую команду:
Для удаления файла введите у, а для предотвращения этого действия — n.
2.1.14. Дополнительные примеры использования команды find
Найти все файлы, для которых установлен бит SUID, позволяет следующая команда:
Чтобы получить список пустых файлов, воспользуйтесь такой командой:
2.2. Команда xargs
Ниже приведен пример, демонстрирующий поиск файлов дампа, имена которых команда echo помещает в файл /tmp/core.log.
В следующем примере в каталоге /apps/audit выполняется поиск всех файлов, к которым другие пользователи имеют полный доступ. Команда chmod удаляет для них разрешение на запись:
Завершает наш перечень пример, в котором команда grep ищет файлы, содержащие слово “device“:
2.3. Заключение
Справочная информация
про свой опыт решения некоторых проблем и использования ряда возможностей ОС и приложений
вторник, 12 февраля 2019 г.
Про удаление файлов/папок через N дней через скрипт bash в Linux
Описанный ниже вариант используется в целях «найти и удалить контент старше N дней» в папках общего доступа таких ресурсов как Диск Яндекс, Dropbox, MEGA, pCloud. При этом каждая папка имеет свои настройки времени хранения контента, при превышении которого он подлежит удалению.
Примечание 1. Указанные в тексте команды могут быть не оптимальными с точки зрения правильного кодинга. Полагаю, что мне это может быть простительным, так как, не имея в данном вопросе профильного образования, информацию пришлось собирать по кусочкам с разных сайтов. Поэтому, по большому счёту, все приводимые ниже листинги являются своего рода компиляцией уже готовых решений.
Итак, обмен с использованием 5 ресурсов облачного хранения: 4 Яндекс Диска и 1 Dropbox. В каждом их них создана папка общего доступа.
Удалить файлы/папки старше N дней
Указанные выше операции осуществляются в ходе запуска и работы соответствующих клиентов синхронизации. Но их можно оформить и отдельно. В таком случае изменения в папках общего доступа будут переданы на облачные ресурсы в процессе очередного запуска сеансов синхронизации. Выбор варианта зависит от предпочтений пользователя.
Примечание 2. В силу особенностей запуска по расписанию клиентов pCloud и MEGA удаление в них файлов/папок старше N дней необходимо производить перед выполнением остановки клиента. Про остановку клиента читать здесь и здесь.
Объясняется это тем, что после запуска pcloud и megasync выполнение последующих за ними команд невозможно до тех пор, пока pcloud или megasync активны. А после выключения процессов pcloud или megasync нет синхронизации и, соответственно, передачи изменений в облако.
При создании скриптов было принято решение использовать так называемый модульный принцип, при котором в ходе работы скриптов, осуществляющих запуск и остановку клиентов, выполняются скрипты «очистки». Другими словами. были использованы скрипты в скриптах.
Скрипт очистки использует инструкции «если A, то B и если не А, то С».
Самым первым действием является определения наличия какого-либо контента в папке обмена. Потому что если в ней ничего нет, то и дальнейшие действия не имеют смысла. Поэтому ищем файлы (а соответственно, будут найдены и папки, в которых они содержатся).
Перед выполнением указываются расположение папки для поиска (DIR1) и расположение папки отчётов (DIR2). DIR1 и DIR2 используются для того, чтобы в скрипте не писать каждый раз пути к папкам, заменяя их указанными переменными. Имена DIR1 и DIR2 указаны для примера. Для лучшего восприятия своих скриптов примените понятные Вам имена.
Формулировка условия описывается переменной filecount.
Если же какие-то файлы присутствуют, то выполняется ряд последовательных операций:
– определить текущую дату;
– сформировать файл протокола с датой создания;
– удалить контент старше N дней.
Результатом выполнения date является установка даты. В указанном выше случае файл будет иметь наименование, например, 18.Beatrice.txt, то есть за 18-число месяца.
Если в имя файла есть необходимость включать и месяц, то переменная date должна быть указана в виде `date ‘+%m.%d’` Пример результирующего файла – 04.18.Beartice.txt
%m соответствует текущему месяцу, а %d – дню месяца.
Для использования других параметров ниже приводится краткая справка.
atime означает время доступа. Эта временная метка сообщает, когда последний раз обращались к файлу. Изменяется, если использовались cat, vim, less или какой-либо другой инструмент для чтения или отображения содержимого файла.
mtime означает время изменения (модификации). Означает, что содержимое файла было изменено путем редактирования файла. При копировании или переносе в другое место хранения это значение не изменяется.
ctime означает время изменения статуса. Эта временная метка сообщает, когда был последний раз были изменены свойства и метаданные файла. Метаданные включают права доступа, права собственности, имя и местоположение файла.
Как узнать, когда был изначально создан файл?
Вы заметили последнюю строку вывода команды stat? В нём указывается «Создан». Можно предположить, что это представляет собой timestmap, когда файл был «рождён» (или создан, если быть более точным).
Хотя ext4 поддерживает временную метку создания, команда stat в настоящее время не может её показать. Возможно, будущие версии команды stat покажут временную метку создания в строке «Создан».
В некоторых случаях нужно выяснить, был ли файл удален и пересоздан заново или это тот самый оригинальный файл. По параметру ctime достоверно сказать об этом нельзя, так как он может меняться при любых изменениях атрибутов. Поэтому нужен другой параметр для проверки. В тот момент, когда файл удаляют и создают заново с тем же именем, большая часть его атрибутов остается неизменной. Меняются в основном два – ctime и inode. ctime покажет, когда последний раз изменились атрибуты файла (совсем не обязательно, что из-за удаления и создания), а inode изменится, так как для операционной системы это будет уже совсем другой файл с новым индексным дескриптором.
Смотреть inode можно двумя способами:
На практике выяснилось, что могут иметь место случаи, когда «хорошая мысля пришла апасля» и файлы могут быть перемещены в другую созданную позднее папку. Получится ситуация, при которой mtime созданной папки более «молодой», чем mtime содержащихся в ней файлов. В итоге – после удаления в ней файлов эта папка не будет удалена (другое значение mtime) и будет представлять из себя пустой объект.
Также в ходе тестирования имели место случаи, когда после удаления файлов из папок с составными именами сами папки не были удалены:
В этом случае можно использовать условие «посчитаем пустые папки». Если ничего не будет найдено, то ничего и не делаем. Если что-то найдём, то удалим. При этом исключим из удаления саму папку общего доступа (в рассматриваемом случае Beatrice), так как было несколько случаев удаления подобной папки, не содержащей уже никаких данных.
Аналогичные описанным выше действия применяются и для файлов отчётов. То есть используется алгоритм:
– найти в папке отчетов файлы в имени которых присутствует Beatrice.txt. В самом начале процедуры удаления удаления такой файл был сформирован. Его полное имя будет, например, 18.Beatrice.txt (см. выше);
– если таких файлов не найдено, то ничего не делать;
– при нахождении удалить такие файлы старше X дней.
Следует отметить, что файл отчёта будет создаваться всегда. Если никаких объектов для удаления не назначено, то такой файл будет пустым. Следовательно, во избежание «замусоривания» папки отчётов такие файлы необходимо найти и удалить.
Завершить выполнение скрипта командой exit
Итого, полный текст скрипта будет иметь вид:
Оформите как исполняемый файл. Например, clean или clean.sh. Принципиального значения наличие/отсутствие расширения не имеет. Важно лишь то, чтобы такой файл был исполняемым.
Примечание 7. На практике в Linux Mint 19 xfce через свойства файла в менеджере файлов Thunmar файлам без расширения (скриптам) не удавалось установить «исполняемый». В таком случае его можно переименовать из, например, clenan в clean.sh, назначить его исполняемым, а затем переименовать его обратно в clean. «Исполняемость» файла сохранится.
В случае отсутствия необходимости создания файлов отчётов и их последующего удаления через X дней приведенный выше текст скрипта упрощается до вида:
Запустить клиент и удалить папки/файлы старше N дней
Запуск клиента Диска Яндекс
Поясняющие подробности можно прочитать здесь. Приводится только пример скрипта.
После старта клиента Диска Яндекс (yandex-disk start) даётся время на запуск клиента и его соединение с облаком (sleep 60). Затем осуществляется очистка. После этого даётся 4 минуты на приём/передачу данных (sleep 240), после чего следует команда остановки клиента и завершения работы скрипта. 60 секунд и 240 секунд указаны условно. Пользователь сам определяет сколько времени должно пройти и следует ли ему использовать первое ожидание (sleep 60).
Если на Диске Яндекс больше чем 1 папка обмена, то тогда на каждую папку создаётся свой скрипт. Они, соответственно, должны быть запущены один за другим, например:
/home/user/scripts/clean-1
/home/user/scripts/clean-2
/home/user/scripts/clean-3
Ожидание 5 секунд после команды остановки Диска Яндекс введено «на всякий случай», чтобы гарантировать остановку клиента с используемой конфигураций. Это обусловлено тем, что у меня последовательно другом за другом запускаются 4 Диска Яндекс, каждый со своими настройками.
Если у Вас только 1 учётная запись Диска Яндекса, то нет необходимости переписывать конфигурацию клиента. Скрипт упрощается до вида:
#!/bin/bash
yandex-disk start
sleep 60
/home/user/scripts/clean-1
sleep 240
yandex-disk stop
exit
Запуск клиента Dropbox
#!/bin/bash
dropbox start
sleep 40
/home/user/scripts/clean-4.sh
sleep 260
dropbox stop
exit
Скрипт запуска клиентов с очисткой
Например, у меня оформлен запуск 5-ти клиентов последовательно друг за другом. Перед запуском очереди заданий клиентов Диска Яндекс проверяется наличие уже запущенного экземпляра Диска Яндекс. Если такой экземпляр будет найден, то выдаётся команда на его остановку.
При включении мной такого задания по расписанию имелось в виду, что каждое задание выполняется не менее 5-ти минут. Следовательно, общее время выполнения указанных заданий составит не менее 25-ти минут. В реальности оно больше за счёт различного рода пауз между отдельными операциями, поэтому его продолжительность была оценена в 30 минут.