Адрес для входа в РФ: exler.world
Как найти и удалить дубликаты фотографий
06.01.2015 11:51
26730
Комментарии (35)
Разгребал фотографии со смартфонов, сделанных за все время (с 2004 года). Раскладывал их по папкам по годам. Чтобы избежать потери фотографий, так как там было немало файлов с совпадающими именами, копировал с переименованием. В результате получил кучу дублей. Разгребать их вручную, конечно, было бы глупо, поэтому стал искать программку, которая бы сделал это за меня.
Пара бесплатных вариантов с задачей не справились: одна программа была с дичайшим интерфейсом и пользоваться ею было невозможно, другая была поприличнее, но поиск среди почти 8000 файлов ее в прямом смысле слова убивал - вываливалась.
Пошел по платным. Первый вариант (триальная версия) тоже был очень и очень кривой. А вот второй вариант погонял в триале - и в результате купил. Это Duplicate Photo Finder. Она у меня нашла порядка 3000 дублей из 8000. Причем там обработка удобная - можно проверить каждый дубль, скопировать дубли в отдельную папку, переместить дубли в отдельную папку, удалить дубли. Ну и, в общем, на поиск и удаление 3000 дублей я затратил своего времени где-то пару минут. Красота.
Если кто-то знает хорошие бесплатные варианты - поделитесь в комментариях, плиз, наверняка кому-то пригодится.
Войдите, чтобы оставить комментарий.
А кто знает такую же, но для музыки? Чтоб искало в разных форматах, позволяло оставлять самый высокий битрейт, копировать содержимое мп3 тегов из кандидатов на удаление, в кандидаты на оставление, если вдруг там больше информации?
В качестве бонуса поделюсь программкой WinDirStat windirstat.info которая позволяет быстро увидеть куда делось место на дисках
В качестве бонуса поделюсь программкой WinDirStat windirstat.info которая позволяет быстро увидеть куда делось место на дисках
Вот теперь я точно знаю, что Алексов, если не 5, то как минимум 2, т.к. один не знает, что пишет другой 😄 Алекс, именно у тебя я в каком-то софтверном обзоре прочел о программе DupDetector, которой до сих пор пользуюсь. Спроси у 2-го Алекса - он должен подсказать, в каком обзоре это было 😄
Лет 11 назад искал программы распознающие содержимое изображений. Тогда пользовался DupDetector от Prismatic Software (кажется была бесплатной, но были проблемы с интерфейсом) и ImageDupeless - помню, очень понравилась, ещё photools.com что-то такое тогда предлагал.
Вроде когда-то пользовался Google Picasa, которая десктопное приложение, так в ней, вроде, была рабочая функция поиска дубликатов.
Но тут уже столько рабочих вариантов накидали, что Пикаса, наверное, нафиг не нужна 😄
Но тут уже столько рабочих вариантов накидали, что Пикаса, наверное, нафиг не нужна 😄
Для случая на сриншоте подходит Total Commander: Alt+F7 - Advanced - Find duplicate files (same size).
DENis_S:
Для случая на сриншоте подходит Total Commander: Alt+F7 - Advanced - Find duplicate files (same size).
Для случая на сриншоте подходит Total Commander: Alt+F7 - Advanced - Find duplicate files (same size).
Не подходит. Может удалить разные файлы, одинаковые по размеру.
Как найти и удалить дубликаты фотографий
Alex Exler: Если кто-то знает хорошие бесплатные варианты - поделитесь в комментариях
Alex Exler: Если кто-то знает хорошие бесплатные варианты - поделитесь в комментариях
Вроде в посте предельно ясно все сказано, но что только не предлагают. И платные, и программы для поиска любых дубликатов (хотя это можно даже в тотал командере делать).
Как писали выше бесплатный CloneSpy. Он может автоматом удалять дубли по времени. Т.е. автоматически грохать те, которые появились позже или раньше "оригинала". Очень удобно. И еще есть какие-то несложные настроки - но я активно пользуюсь этой только пока.
Да, без проблем ищет в 27 Гб фотографий.
Да, без проблем ищет в 27 Гб фотографий.
Может быть, я ошибаюсь, но разве речь в посте о сравнении атрибутов файлов? Мне показалось, что проблема в нахождении дубликатов изображений (независимо от того, как они называются и какой у них размер).
Под Mac OS есть утилита Automator. С помощью ее можно за минуту сделать правило обработки любых папок с удалением/перемещением/копированием всего, что необходимо. Даже можно правило для автоматической пакетной обработки фоток из папки с последующей их печатью/вставкой в блог/рассылкой по почте.
Dup Detector от Prismatic Software;
ImageDupeless
ImageDupeless
Пользуюсь Clone Remover 2014 . Правда, она платная, но по цене гораздо меньше, чем аналоги, хотя по некоторым возможностям получше будет.
В свое время пользовался DupKiller для поиска всевозможных дублей, не только фото. Там множество настроек, встроенное превью найденных дубликатов, мне было удобно им пользоваться. Сейчас, правда глянул на оф. сайте, прога уже лет 7 не обновлялась))
Я пользуюсь Image dupless.
Много лет пользуюсь d'peg! - The Duplicate Media Manager.
Он давно не развивается и обладает весьма убогим интерфейсом, но дубликаты ищет хорошо, имеет кучу настроек для разных вариантов отбора. Когда-то перебрал множество вариантов и остановился именно на этом. А из бесплатных не понравился ни один.
Он давно не развивается и обладает весьма убогим интерфейсом, но дубликаты ищет хорошо, имеет кучу настроек для разных вариантов отбора. Когда-то перебрал множество вариантов и остановился именно на этом. А из бесплатных не понравился ни один.
Это какого размера должен быть жесткий диск, что бы разбить его на столько разделов? ну С,Д, ну Е, но Р?
Mad:
Это какого размера должен быть жесткий диск, что бы разбить его на столько разделов? ну С,Д, ну Е, но Р?
Это какого размера должен быть жесткий диск, что бы разбить его на столько разделов? ну С,Д, ну Е, но Р?
Это не показатель количества разделов. У меня и Z есть. Букву-то руками можно задать.
М - movies T - torrents и т.п.
(а P - наверное photos)
Duplicate Photo Finder опасная прога. Ради интереса поставил. Такое впечатление что по быстрячку на первый взгляд сравнивает. Оказались в дубликатах скрины с осциллографа с разными показаниями, сканы с альбомов Битлов в черных тонах тоже оказались "дублями" , причем слева фотка на черном фоне, а справа текст песен на черном фоне. Это просто какой то позор.
Мож там где то глубина мутного глаза регулируется , я не нашел 😄
Мож там где то глубина мутного глаза регулируется , я не нашел 😄
Для поисва разных дубликатов (в том числе и фото) пользуюсь простенькой программой FDFinder.
Awesome Duplicate Photo Finder
DupDetector от Prizmatic Software юзал когда-то. Он находил дубли по содержимому - даже после преобразования картинок находил. Плюс отличная возможность записать базу изображений своих архивных носителей и потом искать копии, сравнивая наличные изображения с уже лежащими в архиве.
Жаль программа сто лет не обновлялась, да и фирма похоже уже загнулась.
Жаль программа сто лет не обновлялась, да и фирма похоже уже загнулась.
AntiDupl
сто лет пользуюсь. все супер. гибкий настраиваемый алгоритм посика дублей. бесплатная!
сто лет пользуюсь. все супер. гибкий настраиваемый алгоритм посика дублей. бесплатная!
Про бесплатные неподскажу - обычно они до ушей набиты рекламами и всякими свистелками-перделками а про платные...
Пока что не нашёл ничего лучшего чем :
www.al-soft.com
Но платная...
Прекрасно справляется с 200-300 тисячами файлов. Устанавливаеш проверять hash (самый малый обём - 10кб) и поехали - ну очень шустро делает дело.
А про всякие "similar" ищейки вобще помолчу - алгоритмы у них настолько удивительние что иногда непоймёш почему она видит попугая и носорога как близнецов 😄
Пока что не нашёл ничего лучшего чем :
www.al-soft.com
Но платная...
Прекрасно справляется с 200-300 тисячами файлов. Устанавливаеш проверять hash (самый малый обём - 10кб) и поехали - ну очень шустро делает дело.
А про всякие "similar" ищейки вобще помолчу - алгоритмы у них настолько удивительние что иногда непоймёш почему она видит попугая и носорога как близнецов 😄
Когда-то пользовался этой - analinx.com/products/duplicatch/duplicatch_setup.exe
Умеет делать нечеткое сравнение 😄
+1 за clonespy. Она не для графики, а в принципе для дублей
Есть еще Image Comparer за 500 рублей, но мы давненько его не обновляли. Больше 100 тыс картинок за раз сравнивать им не рекомендую 😄 Приведенная программа выглядит попроще. К слову, у нас есть еще искалки дубликатов (по содержимому, а не внешним файловым признакам) для аудио и видео .
В Линуксе можно искать дубликаты любых файлов встроенными средствами из командной строки:
find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
Сначала находятся файлы одинакового размера, потом из них отбираются те, которые имеют одинаковый MD5-хэш. Итоговый список выводится в консоль.
Отсюда
Правда, находятся только полностью, байт-в-байт, идентичные файлы.
А вообще вот есть список искалок .
find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
Сначала находятся файлы одинакового размера, потом из них отбираются те, которые имеют одинаковый MD5-хэш. Итоговый список выводится в консоль.
Отсюда
Правда, находятся только полностью, байт-в-байт, идентичные файлы.
А вообще вот есть список искалок .
А разве ACDSee не умеет этого делать?
Deryni: А разве ACDSee не умеет этого делать?
У нее есть такая функция, но на подобных количествах она дико тупила.
Мне в свое время очень понравилась AntiDupl.NET . Есть версия не требующая установки, что меня всегда подкупало. С тех пор ей и пользуюсь.
PS Опоздал 😄
PS Опоздал 😄
Пользуюсь antidupl.sourceforge.net AntiDupl.NET. Бесплатная, опенсорсная, удобная.
