Топ-10 бесплатных (в основном) ресурсов для перехода QA → AI/ML

Большинство подобных обзоров пишут маркетологи курсов, но в данном случае я, как Senior ML Engineer, лично изучила и проработала каждый из этих ресурсов, когда сама переходила из QA в ML.

Меня зовут Лилия Урмазова, и вот как на текущий момент выглядит моя 20+ летняя карьера в IT:

Manual QA → Automation QA → QA Lead → QA Manager → AI QA Engineer → ML Evaluation Engineer → ML Engineer

Несколько лет назад, когда я перешла в ML, многие мои навыки из QA оказались актуальны. В результате моя зарплата заметно выросла, а уверенность в трудоустройстве на текущем рынке стала выше.

Конечно, при такой смене карьеры учиться приходится много, и тут начинаются трудности. Найти качественные материалы по тестированию AI-приложений нелегко. Пока я училась, мне постоянно встречались поверхностные книги, явно сгенерированные ИИ, с рейтингом 4,5+ на Amazon. LLM тоже мало помогают: их знания ограничены датой полугодовой давности. Основы они позволяют понять, но пропускают нововведения в этой стремительно развивающейся отрасли. Поэтому лучше не искать один «лучший» курс, а собирать самую свежую информацию по частям.

Свежесть информации накладывает и еще одно ограничение:

Успевать следить за изменениями в AI/ML возможно только при изучении первоисточников на английском языке – поэтому большинство упоминаемых ресурсов англоязычные. К счастью, современные технологии дают нам живой перевод как текстовых, так и видеоматериалов.

Вводный уровень: традиционный QA, использующий AI-инструменты

Для начала чётко разделите специальности “традиционный QA Engineer, использующий ИИ”, “AI QA Engineer” и “ML Evaluation Engineer”:

Первый использует AI-инструменты для тестирования классического, детерминированного функционала.
Второй тестирует AI-функции, встроенные в обычные приложения.
Третий тестирует приложения, в которых ИИ является ключевой функциональностью.

0. Генеративный AI в тестировании ПО (курс, ENG): для традиционного QA с AI-инструментами этого курса предостаточно. Coursera даёт 7-дневный пробный период, и этого хватит, чтобы его пройти.

Уровень I: AI QA Engineer

AI QA Engineer тестирует AI-функциональность, встроенную в традиционные приложения: это львиная доля сегодняшнего рынка. В основном это тестирование методом чёрного ящика.

Работать с ИИ, не умея программировать – это утопия. Java подойдёт, но lingua franca ML/AI является Python: его экосистеме для моделей, статистики и трансформеров нет конкурентов. Так что если вы, например, работаете с Java, переучивайтесь на Python. При этом курсы по Python можно пропустить. Для обучения питону я использовала сложный пет-проект в паре с Claude Code (совет: в настройках выберите Output style → Learning mode). Не скатывайтесь в ленивый «вайб-кодинг»: пишите код сами и разбирайте логику ИИ. Да, для этого нужна платная подписка, но сегодня это так же неизбежно, как иметь ПК в 2000-х, если вы хотели работать в IT.

1. Оценка LLM для начинающих (бесплатное руководство, ENG): краткое руководство для старта в тестировании AI-приложений.

2. Как тестировать AI-приложения (бесплатный курс, RUS): возможно, как когда-то и мне, вам впервые предложат начать тестирование AI-приложения “уже завтра”. Тогда я нашла очень мало материалов, поэтому позже сама разработала этот бесплатный вводный курс по основам.

3. Claude 101, Claude Code в действии, Введение в подагенты, Возможности и ограничения AI (бесплатные курсы, ENG): кто объяснит ИИ лучше его создателей? Claude Code сейчас необходим любому IT-специалисту. Именно поэтому имеет смысл пройти эти вводные курсы в Anthropic Academy.

4. Разработка с использованием Claude API (бесплатный курс, ENG): чтобы тестировать AI-приложения, вам придётся постоянно использовать ИИ через API, то есть по сути писать собственные небольшие AI-приложения для тестирования. Этот курс от Anthropic длиннее предыдущих, но он даст все необходимые навыки (их можно применять и при работе с моделями OpenAI).

Не просто читайте эти материалы: проходите их все одновременно с написанием кода.

Уровень II: ML Evaluation Engineer

Кто такой ML Evaluation Engineer? Проще говоря, это QA-специалист, который следит за качеством AI методом серого ящика.

5. Чип Хьюен – AI-инженерия. Построение приложений с использованием базовых моделей (книга, RUS): всячески советую, это библия тестирования AI-приложений. Пусть название вас не смущает: больше половины книги посвящено оценке, а не разработке. В оригинале стоит $50, но окупается многократно. Тем более что официальное переводное издание в pdf+epub стоит дешевле $3.

6. Оценка AI-агентов (бесплатный курс, ENG): как тестировать AI-агентов и прослеживать их рассуждения и вызовы инструментов? Этот сжатый практический курс даёт готовую схему на примере Phoenix (инструмента наблюдаемости для ИИ). В продакшене чаще используют Langfuse, но основы те же.

7. Building and Evaluating Advanced RAG (бесплатный курс, ENG): чуть более сложный практический курс, знакомящий с процессом тестирования RAG, с которым ML Eval Engineer имеет дело ежедневно. Основы вы освоите на TruEra (фреймворк для оценки LLM, похожий на Ragas или DeepEval).

Уровень III: ML Engineer

Мой последний карьерный шаг был именно таким: ML Eval Engineer → ML Engineer.

ML Evaluation Engineer создаёт метрики, бенчмарки и инфраструктуру для оценки, а ML Engineer проектирует, обучает и развёртывает модели.

Сегодня путь ML Engineer делится на два отдельных трека: Classic ML Engineer (табличные данные, бустинги, классический NLP и рекомендательные системы) и AI/GenAI Engineer (LLM, RAG и дообучение базовых моделей).

Поскольку ML Eval Engineer уже пишет код, работает со стеком LLM и оценивает поведение моделей, переход на роль AI/GenAI ML Engineer с ростом оклада примерно на 25% куда легче, чем традиционный переход из QA в разработку.

8. Ускоренный курс машинного обучения (бесплатный курс, RUS): курс от Google о концепциях и алгоритмах машинного обучения. Материал очень хорошо выстроен, поэтому его стоит повторить при подготовке к собеседованиям.

9. Building LLMs From Scratch (бесплатный курс, ENG): нельзя оценить то, чего не понимаешь. Мне пришлось с чистого листа разобраться, как устроены модели, чтобы понять, как их измерять. Отдельное спасибо доктору Раджу Абхиджиту Дандекару за прекрасный курс, который охватывает основы LLM с самого начала и попутно подробно разбирает архитектуру трансформеров.

10. Чип Хьюен – Проектирование систем машинного обучения (книга; RUS есть, но даю ссылку на издателя, а не маркетплейсы): да, это тот же автор, что и у книги выше. Чип совмещает редкую глубину академической экспертизы уровня Стэнфорда и практический опыт работы в Nvidia, Netflix и других компаниях. Эту книгу я настоятельно рекомендую прочитать на данном шаге. Чтобы взять от неё всё, не просто читайте её, а прорабатывайте примеры кода в каждой главе (см. на GitHub).

Я постоянно изучаю новые материалы по тестированию ИИ, ML Eval и ML, поэтому буду расширять этот список по его основному адресу и уведомлять об этом в телеграм-канале. В нем же появится ссылка за статью про необычный опыт (металлодектор и спецкомната под видеонаблюдением) сдачи экзамена Anthropic, который был частью моего перехода в ML Eval Engineer → ML Engineer.