AI-восстановление лиц

На большинстве дорогих сердцу старых фото лица, это самое маленькое из важного в кадре. Групповой портрет с плёночной камеры может отдать каждому лицу лишь несколько сотен пикселей, и каждое поколение копирования, сканирования и сжатия отгрызает именно от этого участка. Печать смягчает его, время выцвечивает, а ранние цифровые камеры добавляли сверху шум.

Обычная резкость это не починит, потому что резкость лишь усиливает края, которые ещё есть. У лица, схлопнувшегося в пятно, не осталось краёв, чтобы их усиливать. Нужна реконструкция: система, которая знает, как выглядят человеческие лица, и может восстановить правдоподобные глаза, кожу и волосы, оставаясь верной человеку.

Именно это делает сеть восстановления лиц, и поэтому результат выглядит впечатляюще на фоне любого фильтра. Модель приносит знание о лицах вообще и применяет его к конкретному лицу на вашем фото.

Конвейер идёт в три этапа, целиком внутри вашего браузера. Сначала лёгкий детектор просматривает фото и находит каждое лицо вместе с пятью опорными точками: глаза, кончик носа и уголки рта. За одно фото обрабатывается до 4 лиц.

Во-вторых, каждое лицо поворачивается и масштабируется в стандартное положение по этим точкам, и выровненный фрагмент проходит через GFPGAN, сеть с генеративным лицевым приором. Проще говоря, она несёт глубокую память о том, как выглядят резкие лица, и использует ваше размытое лицо, чтобы решить, какое резкое лицо восстановить. Личность, поза и выражение приходят с вашего фото, чёткость приходит от модели.

В-третьих, восстановленное лицо возвращается точно на своё место и вставляется с мягким краем, поэтому границы заплатки не видно. Остальная часть фото остаётся нетронутой, меняются только лица. Поскольку реконструкция создаёт мелкие детали, воспринимайте микрочерты вроде текстуры кожи как правдоподобные, а не документальные, человек остаётся узнаваемо собой.

Фото лиц, это самые личные изображения у большинства людей, что делает привычную схему реставрации с загрузкой на сервер неуютной сделкой. Этот инструмент убирает её. Обе модели, маленький детектор и сеть восстановления на 163 МБ, один раз скачиваются в браузер, а затем каждое фото обрабатывается локально. Ничто из восстановленного вами никогда не передаётся.

Восстановление тяжелее других инструментов для изображений здесь, ожидайте примерно десять секунд на лицо на компьютере, дольше на телефонах. Индикатор шагов показывает скачивание модели при первом запуске, а затем прогресс по каждому лицу. Принимаются фото до 2 048 пикселей по длинной стороне, более крупные сканы стоит сначала уменьшить.

Осознанное решение в дизайне, о котором стоит знать: восстановление идёт на процессоре, а не на графическом чипе, потому что именно этой сети нужна дополнительная числовая точность для правильных цветов. Медленнее, зато верно.

Фронтальные и почти фронтальные лица восстанавливаются превосходно, они совпадают с тем, что сеть видела в обучении чаще всего. Сильные профили, сильно наклонённые головы и лица, частично закрытые руками или предметами, восстанавливаются менее надёжно. Маленькие лица подходят, пока их находит детектор, если одно пропущено, обрежьте фото так, чтобы лицо занимало больше кадра, и запустите снова.

Сильно повреждённые фото выигрывают от подготовки. Сначала уберите шум с зернистого скана в Подавление шума AI, чтобы детектор видел структуру, а не рябь. После восстановления чёрно-белые портреты естественно сочетаются с AI-колоризация фото, а если всё фото нужно сделать больше, завершите с помощью AI Апскейлер.

Держите оригинальный файл рядом с восстановленным. Реконструкция честна по части личности, но генеративна по части мелких деталей, и для семейных архивов пара до и после рассказывает историю полнее.