Эволюция архитектур нейросетей: от перцептрона до трансформеров

IT-индустрия стоит на пороге величайшего открытия в истории человечества — создания рукотворного разума, который сравнится с интеллектом реального человека, а в скором времени даже превзойдет его. Нейросети уже могут вести нативный диалог, создавать фотореалистичные изображения и предсказывать структуры белков, а что будет дальше — знает только Сэм Альтман. Все смотрят в будущее, но когда кто-нибудь задумывается о том, как развивались нейросети, у большинства людей хронологическая цепочка доходит лишь до RNN-моделей, а далее информация теряется. Но нейросети появились не на пустом месте, и каждая современная LLM стоит на плечах атлантов — архитектур и принципов, которые зародились еще в середине прошлого века и совершенствовались на протяжении десятков лет. В понимании этой эволюции лежит ключ к тому, чтобы не просто использовать ИИ, но и видеть пути его будущего развития. В этой статье мы расскажем вам, как шла эволюция архитектур искусственного интеллекта: от первых искусственных нейронов до передового механизма внимания.

Не зря Ломоносов сказал: не знающий своего прошлого, не имеет будущего. И это касается не только знания истории государственности, как подразумевал великий ученый, но и знания развития ИИ-индустрии. Изучение истории ИИ-архитектур — это не столько путешествие в прошлое, а способ понять исходную логику прогресса в ИИ. Каждая эпоха подарила моделям новую фундаментальную способность: сначала — описание самой концепции ИИ, затем — первые попытки создания “искусственного нейрона” и их объединение в первую сеть, после — распознавание паттернов и умение “видеть” изображение, позднее — помнить последовательности, и, наконец — возможность понимать глобальный контекст и творить. Без этого пути не было бы ни GPT, ни Stable Diffusion, и именно эволюция архитектур нейросетей позволяет предсказать, куда движется индустрия искусственного интеллекта сегодня. 

Так с чего же все началось? Корни эволюции ИИ уходят вы не поверите, аж в 1957-1958 годы, когда была предложена простейшая математическая модель и схема устройства, способного воспроизводить процесс восприятия информации человеческим мозгом — устройство назвали перцептрон. И смоделировал персептрон не какой-нибудь ученый-компьютерщик, стоящий за созданием первой вычислительной машины или шифра Энигма, а американский нейрофизиолог Фрэнк Розенблатт. Перцептрон представлял принимал на вход числа, умножал их на веса, суммировал и пропускал через функцию активации, выдавая линейно-разделимый ответ — да/нет, черное/белое, +/- и т.д.. А еще перцептрон буквально умел обучаться на примерах верных и неверных ответов, хоть и на примитивном уровне.

Само собой, у одиночного перцептрона были очевидные ограничения: линейная разделимость данных, неспособность обобщать свойства понятий, невозможность анализа сложных запросов и склонность к переобучению. Технология долго не могла продолжить развитие (в то время деньги уходили на холодную войну), поэтому лишь в 1986 году американский ученый Дэвид Румельхарт разработал первую полноценную ИИ-архитектуру — многослойный персептрон (Multilayer Perceptron, MLP). MLP состоял из входных, скрытых и выходных слоев перцептронов. Информация в них движется строго вперед (Feedforward), от входа к выходу. Но прорывом архитектуры MLP стал переход от обучения по примерам к обучению с помощью алгоритма обратного распространения ошибки, который позволял автоматически настраивать веса модели. Но MLP тоже имели свои минусы, главным из которых стала неспособность работать со структурированными данными, такими как изображения или длинные последовательности текста. Для каждого входа у MLP фиксированное количество параметров, и он не учитывает пространственные или временные связи между частями данных.

Проблему работы с изображениями блестяще решило появление сверточных нейронных сетей (Convolutional Neural Network, CNN) в 1989 году. Их ключевая идея — свертка (convolution), то есть применение специальных фильтров (ядер), которые скользят по изображению и выделяют характерные черты: края, углы, текстуры. Последующие слои пулинга (pooling) уменьшают размерность карт-признаков, оставляя только самую важную информацию. CNN стали одной из первых успешных реализаций ИИ-технологий — благодаря ней появились такие флагманы, как LeNet-5 (1998 год), которая умела распознавать даже рукописные цифры, AlexNet (2012 год), которая доказала мощь глубокого обучения в компьютерном зрении, и ResNet (2015 год), которая решила проблему затухания градиентов в очень глубоких сетях. Именно архитектура CNN-моделей лежит в основе современных систем распознавания лиц, медицинской диагностики по снимкам и алгоритмов автономного вождения — CNN буквально научила искусственный интеллект “видеть”.

Несмотря на свою революционность, CNN-архитектура не имела памяти, поэтому путь обработки последовательностей, вроде текста и речи, был закрыт — для этого ИИ-модели должны были иметь что-то вроде “памяти”, чтобы запоминать “контекст” слов. Такую интересную концепцию Джон Хопфилд предложил еще в 1982 году, назвав свою модель рекуррентной нейросетью, однако она сталкивалась с проблемой затухания градиентов. Нейросеть “забывала” информацию из своих прошлых ответов и запросов пользователей, что делало ее беспомощной при обработке длинных текстов.

Довести RNN до реальной реализации удалось лишь к 1995 году, когда вышла первая успешная RNN-модель Long short-term memory (LSTM). Эта модель умела делать рекуррентные связи, которые позволяют передавать информацию от одного шага обработки к другому. Такая система дала модели возможность запоминать предыдущие элементы последовательности. Долгое время LSTM оставалась в тени, но в 2007 году модель приобрела популярность и смогла вывести на новый уровень распознавание речи и текста, показав всему миру существенное улучшение по сравнению с традиционными MLP-нейросетями. Также позднее появилась и более упрощенная и быстрая версия LSTM — GRU (Gated Recurrent Unit), которая тоже нашла своего конечного пользователя. Эти архитектуры позволили нейросетям эффективно работать с переводами, анализом тональности текста и прогнозированием временных рядов, что дало толчок вперед для дальнейшего развития ИИ-индустрии.

Следующим шагом стала доработка техники обучения без явных указаний — обучение без учителя. Эта концепция тоже была не нова и ее основные принципы изложил Теуво Кохонен еще в 1982 году. В обучении без учителя ключевую роль сыграли модели-автоэнкодеры (Autoencoder). Их архитектура состоит из двух частей: 

• Энкодера, который сжимает входные данные в компактное представление в так называемом узком месте (bottleneck)
• Декодера, который пытается восстановить исходные данные из этого сжатого кода.

Вариационный автоэнкодер (Variational Autoencoder, VAE) появился в 2013 году, и он пошел дальше, научившись работать не с фиксированными кодами, а с распределениями вероятностей. Это позволило не только сжимать данные, но и генерировать совершенно новые, например, лица несуществующих людей. Отдельным особняком стоит архитектура Denoising Autoencoder, которая научилась восстанавливать данные из их зашумленной версии. Этот принцип прямого и обратного прохода, работа с латентным пространством и зашумлением данных стал основой для создания современных диффузионных моделей.

Настоящий прорыв в генеративном ИИ произошел в 2014 году, когда появились генеративно-состязательные нейросети (Generative Adversarial Network, GAN). Их архитектура основана на идее игры двух нейросетей: ИИ-генератор создает поддельные данные (например, изображения), а ИИ-дискриминатор учится отличать их от настоящих. В процессе этого состязания модель-генератор вынуждена становиться все лучше и лучше, пока его творения не станут неотличимы от реальных. Такие модели, как StyleGAN и CycleGAN, продемонстрировали невероятное качество генерации контента, породив такой феномен, как дипфейки, а также новое множество инструментов для цифрового искусства. Вы наверное удивитесь (нет), но у GAN были свои минусы — нестабильность обучения и “коллапс мод”, когда генератор начинал выдавать однообразные результаты, пытаясь “убедить” дискриминатора в качестве контента. Эти проблемы стали новым вызовом для поиска альтернативных, более эффективных архитектур искусственного интеллекта.

Кульминацией эволюции искусственного интеллекта, впоследствии породившей всем известных ИИ-трансформеров, стала архитектура Sequence-to-Sequence (Seq2Seq) 2014 года выпуска. Она использовала две RNN (обычно LSTM): одна выступала в роли энкодера, которая превращала входную последовательность (фразу на русском) в контекстный вектор, а вторая модель, которая выступала в роли декодера, на его основе генерировала выходную последовательность (перевод на немецком).

Но проблема была в ограниченности контекстного вектора, который с трудом вмещал информацию о длинных предложениях — нейросетям нужна была технология, которая позволит запоминать еще больше токенов, делая акцент на ключевых элементах последовательности, как бы концентрируя на них…внимание? Да, решением стал тот самый механизм внимания (Attention), прочно вошедший в архитектуру моделей-трансформеров. Вместо того чтобы полагаться на один финальный вектор, Attention позволил декодеру на каждом шаге генерации “заглядывать” в разные части исходной последовательности, фокусируясь на самых релевантных словах. Это было подобно тому, как человек при переводе мысленно соотносит слова между разными языками. Именно эта технология доказала, что прямое глобальное взаимодействие между элементами последовательности важнее строгой очередности их обработки, и стало краеугольным камнем ИИ-индустрии, положив конец эпохе доминирования RNN.

Путь от одинокого искусственного нейрона до архитектуры, понимающей контекст запросов — это история наделения ИИ новыми навыками, свойственными человеческому мозгу. Перцептрон дал базовое умение классифицировать данные и обучаться, CNN научили нейросети “видеть” мир в его пространственных связях, RNN и LSTM подарили им “память” для работы с последовательностями, Autoencoder и GAN открыли эру генеративного интеллекта, способного к творчеству, а Attention стал мостом к пониманию глобального контекста. Без каждого из этих открытий не было бы сегодняшних GPT, Gemini или Qwen. Эволюция архитектур нейросетей — это живой процесс, и сегодня мы стоим на пороге новых революций, где гибридные модели и новые парадигмы обещают сделать ИИ еще более мощным и эффективным.