Закупил GPU ≠ проиграл: как спроектировать ИИ-инфраструктуру и не переделывать ее после пилота
ИТ-команда начинает подбирать GPU-серверы, бизнес рассматривает облачные модели, а разработчики собирают первый прототип. Через полгода выясняется, что выбранная модель не помещается в доступную видеопамять, облачная инфраструктура выходит за рамки бюджета, а закупленные ускорители не обеспечивают необходимую производительность под реальной нагрузкой. Проблема не всегда связана с оборудованием или самой моделью, а чаще всего с последовательностью принятия решений: инфраструктуру начинают проектировать до того, как определены требования к будущему ИИ-сервису. За последний год мы в Orion soft наблюдали разные сценарии внедрения ИИ в российских компаниях: от первых экспериментов до проектов, которые готовятся к промышленной эксплуатации у крупнейших заказчиков. Как разработчик инфраструктурного ПО, мы нередко подключаемся на этапе, когда бизнес-задача уже сформулирована, модель выбрана, а оборудование закуплено. Именно тогда становятся заметны архитектурные ограничения, заложенные на еще старте. Читать далее