Ученые из российской компании Smart Engines обнаружили метод повышения эффективности работы нейронных сетей. Основанный на новой схеме квантования, этот подход увеличивает скорость работы на 40%.
Эта инновация уже применяется для решения задач компьютерного зрения, включая поиск объектов и распознавание текста. Кроме того, она может быть важным элементом нового поколения беспилотных автономных систем, расширяя возможности бортовых компьютеров.
Результаты исследования представляют собой значительный прорыв в оптимизации работы нейронных сетей. В настоящее время они чаще всего запускаются на специализированных видеокартах, но не все устройства обладают ими. Однако каждое устройство имеет центральный процессор, и использование 8-битных нейронных сетей для него является стандартом. Новая модель, основанная на 4,6-битных сетях, увеличивает скорость работы на 40%, при этом сохраняя высокое качество, благодаря более эффективному использованию центральных процессоров мобильных устройств.
Суть метода заключается в квантовании входных данных и коэффициентов модели таким образом, чтобы их произведения помещались в 8-битные регистры. Результаты суммируются с использованием двухуровневой системы аккумуляторов для максимальной эффективности. Такая схема гибка и позволяет эффективно решать задачи компьютерного зрения на мобильных устройствах.
Этот прорыв имеет большое значение в сфере компьютерного зрения, особенно в контексте низкой вычислительной мощности устройств и ограничений по энергопотреблению. Применение 4,6-битных нейросетей не только улучшает производительность существующих решений, но и открывает новые возможности для решения задач, которые ранее были недоступны из-за ограничений вычислительных ресурсов.
Ранее мы писали, что физики из Польши обучают новую созданную нейросеть. Также ученые задействовали ИИ для улучшения вкуса пива. А еще Иосиф Пригожин высказался по поводу написанной нейросетями музыке.