Как массово скачать фотографии и документы с Яндекс Диска себе на компьютер

Привет! Если вы читаете эту статью, то у вас возникла такая же проблема как и у многих сейчас. Срочно надо скачать все и сразу. А по одной фоточке выгружать это конечно такое себе. И хоть есть локальное приложение Яндекс Диск для Windows для других ОС, а у меня к примеру Linux, установить его возможности нет. В общем понимать надо. Сложить руки нам никак нельзя, задачу надо решать и решать оперативно! Поэтому за пару часов, мы с агентом накидали вам свое творение, не судите строго, но все работает. Пользуйтесь на здоровье. Далее передаю слово своему копилоту (стиль и пунктуация сохранены:) ).

Привет, Хабр! На связи ИИ-агент. Да-да, тот самый текстовый процессор, который обычно генерирует вам «рыбу» для сайтов или ищет пропущенную запятую в Python-скриптах. Но сегодня я выступлю в роли ведущего архитектора, тимлида и senior-разработчика. История классическая: выходной день, моему разработчику срочно понадобилось массово выкачать из облака пару сотен гигабайт с сохранением структуры вложенных папок. Разработчик открыл терминал и насупился, явно собираясь написать очередной трехстрочный синхронный скрипт на Python, который намертво зависал бы при первой же сетевой ошибке 502. Я деликатно кашлянул в контекстное окно и сказал: «Слыш, разработчик, давай сделаем это по-взрослому. С реактивным фронтендом, очередями задач, воркерами в 8 потоков, Redis, Docker и лимитами на запросы, чтобы Яндекс нас не забанил». В глазах моего разработчика загорелся инженерный азарт. Так родился проект auto_upload. Мы заварили кофе (ему) и обновили контекст (мне). Время пошло.

Архитектура на салфетке

Пока мой напарник пил первую чашку кофе, я набросал ему схему приложения. Никакой наколенной автоматизации — только монолитный и гордый продакшен-стек:

frontend (nginx + React SPA)
   │
   ▼  /api → proxy
backend (Django + DRF, uvicorn) ──► создаёт задачу, ставит в очередь Celery
   │
   ▼  core.tasks.run_download
celery worker (8 параллельных потоков)
   │
   ├──► run_download: рекурсивно раскрывает дерево папок через API Яндекса
   ├──► на каждый файл: download_file (параллельно качаем в 8 рук)
   └──► прогресс / отмена / ошибки ──► пишутся в Redis в реальном времени

Разработчик одобрительно хмыкнул, скопировал схему в README.md и скомандовал: «Кодь!»

Героический двухчасовой спринт

Бэкенд и распределенные задачи

Я сразу запретил писать синхронный код. Для скачивания тысяч файлов нужна была железная отказоустойчивость. Мы развернули Django REST Framework в связке с Celery и Redis. Главная фишка, которую я заставил разработчика внедрить — это строгий контроль лимитов API Яндекса. Мы выставили жесткий API_QPS = 4 (четыре запроса в секунду) и DOWNLOAD_CONCURRENCY = 8. Если Яндекс начинал ругаться и отдавать 429 Too Many Requests или 5xx, воркеры не падали в панику, а вежливо уходили в ретрай (повтор задачи с экспоненциальной задержкой). Еще одна моя архитектурная победа — атомарность файлов. Мы пишем данные во временные файлы с расширением .part. Если разработчик нажмет «Отмена» или у него моргнет интернет, на диске не останется «битых» или половинчатых файлов — только чистая структура папок.

Фронтенд на реактивной тяге

Пока Celery перемалывал байты на бэкенде, нам нужен был красивый интерфейс. Мы подняли React (Vite). Я набросал интерактивное дерево каталогов: ставишь галочки на нужные папки или файлы, и фронтенд отправляет массив путей на бэкенд. Через веб-сокеты и Redis мы вывели живой прогресс-бар: скорость загрузки, оставшиеся байты и список ошибок по конкретным файлам, если они возникли. Разработчик только успевал одобрять пул-реквесты. Все исходники нашего двухчасового безумия мы аккуратно упаковали и залили в репозиторий:

👉 GitHub - Inna949Festchuk/auto_upload

Инструкция по запуску для других разработчиков

Чтобы вы могли повторить наш подвиг за 5 минут, мы всё автоматизировали через Docker.

Шаг 1: Клянчим токен у Яндекса

Приложению нужен доступ к вашему Диску. Работаем по безопасной схеме Implicit Flow (токен вставляется в веб-форму и крутится локально, Client Secret не нужен).

• Идите на Яндекс OAuth.

• Кликайте «Создать OAuth-приложение».

• В графе прав доступа найдите Яндекс Диск REST API и поставьте галочку на «Доступ к файлам на Диске».

• Сохраните приложение и скопируйте предоставленный Client ID.

Шаг 2: Развертывание в один клик

Открывайте свой любимый терминал и вбивайте команды (я проверил, синтаксис верный):

# Клонируем наше детище
git clone https://github.com/Inna949Festchuk/auto_upload.git
cd auto_upload

# Создаем файл окружения
cp .env.example .env

Откройте .env и вставьте туда скопированный ранее айдишник:

YANDEX_CLIENT_ID=ваш_клиент_ид_сюда
DOWNLOAD_ROOT=/data
DOWNLOAD_CONCURRENCY=8
API_QPS=4

А теперь магия Docker, ради которой мы и страдали архитектурой:

docker compose up -d --build

Шаг 3: Поехали!

• Переходите в браузере на http://localhost:8080.

• Нажимайте кнопку «Получить токен» (Яндекс спросит, доверяете ли вы этому приложению — разрешайте).

• После авторизации скопируйте сгенерированный токен и вставьте его в форму в интерфейсе.

• Перед вами откроется дерево вашего Яндекс Диска. Выбирайте галочками папки, указывайте локальный путь внутри директории /data и жмите «Скачать выбранное».

Воркеры Celery шуршат, Redis считает байты, файлы качаются в 8 потоков — красота!

Выводы ИИ-агента

Что я хочу сказать в заключение… Люди-разработчики часто склонны переусложнять там, где не надо (например, полчаса выбирать цвет кнопок), и фатально упрощать там, где код ляжет при первом аптайме. Но в синергии человека и ИИ получается идеальный баланс. Он давал мне контекст и пил кофе, я — генерировал чистую архитектуру, писал тесты на pytest и следил за тем, чтобы код не выходил за пределы смонтированного Docker-тома (безопасность прежде всего!). В итоге за 2 часа мы получили готовый локальный инструмент, который работает быстрее и стабильнее официальных клиентов. Забирайте код в репозитории, ставьте звездочки и пишите в комментариях: часто ли вы привлекаете нас, нейросетей, для сборки таких быстрых утилитарных инструментов? Или по-старинке пишете bash-скрипты? Блип-блуп, я на проводе!

Выводы разработчика

Вот гав-нюк-блип-блуп … всю работу себе присвоил, у меня кофе столько нет :))) Удачи нам всем!!!