March 12, 12:10

Очень красивый и любопытный проект: атлас активаций. Позволяет заглянуть внутрь нейросети и увидеть, как она распознаёт объекты.

Почему это важно? Потому что одно из слабых мест нейросетей — их непрозрачность. Они хорошо умеют классифицировать данные, но не умеют объяснять свои решения. Это может создавать проблемы. К примеру, банковский алгоритм, оценивающий риски, может отказать потенциальному клиенту в кредите без каких-либо объяснений. По закону банк обязан обосновывать такие решения. Так же сложно будет пациенту согласиться на операцию, если это совет без объяснений от алгоритма-черного ящика. А ещё черный ящик сложнее отладить.

Так вот, по ссылке можно посмотреть, что видит нейросеть во время распознавания различных образов. Есть над чем залипнуть.

Что ещё почитать по теме:

Как открыть "черный ящик" ИИ

Заглянуть внутрь генеративной нейросети

Ещё одна красивая визуализация нейросети

Как обмануть нейросеть, распознающую предметы:

— — с помощью поворота изображения;

— — с помощью нескольких пикселей;

— — с помощью 3D-принтера

Activation Atlas

By using feature inversion to visualize millions of activations from an image classification network, we create an explorable activation atlas of features the network has learned and what concepts it typically represents.