Пока корпорации тратят сотни миллиардов долларов на закупку видеокарт и скармливание нейросетям всех данных интернета, ученые из Университета Джонса Хопкинса предполагают, что индустрия свернула не туда.
В статье для *Nature Machine Intelligence* они доказывают: архитектура нейросети важнее объема данных.
Эксперимент
Исследователи создали несколько вариантов нейросетей и протестировали их *до* начала обучения. Оказалось, что сети, спроектированные с оглядкой на биологический мозг (сверточные нейросети определенной структуры), уже «из коробки» реагируют на визуальные образы так же, как мозг приматов.
> «Эволюция пришла к этому дизайну не просто так. Если начать с правильного чертежа, можно сократить время обучения и энергозатраты в разы», — говорит ведущий автор Мик Боннер.
Это открытие может положить конец эпохе «грубой силы», когда интеллект модели зависит только от размеров дата-центра.