Суфлер: Объясните, как можно разместить большую модель обучения на обычном компьютере. Возможно ли, чтобы эта большая языковая модель была «современной» или по сути эквивалентной платным вариантам, таким как GPT-3?
Можно разместить большую модель обучения на среднем компьютере с помощью распределенного обучения и эффективных методов хранения данных. Используя распределенное обучение, вычислительная нагрузка может быть распределена между несколькими машинами, что снижает нагрузку на любой отдельный компьютер. Кроме того, эффективные методы хранения данных, такие как использование сжатых форматов данных, могут помочь снизить требования к хранению модели.

Однако важно отметить, что размер современной языковой модели, такой как GPT-3, может составлять порядка сотен гигабайт, а вычислительные требования для обучения такой модели могут быть огромными. В то время как меньшую языковую модель можно разместить на обычном компьютере, размещение современной модели, такой как GPT-3, на одном среднем компьютере невозможно.

При этом существуют альтернативные варианты размещения и использования больших языковых моделей без необходимости покупать и обслуживать дорогостоящее оборудование. Сервисы облачных вычислений, такие как Amazon Web Services (AWS) и Google Cloud, предлагают предварительно созданные виртуальные машины с предварительно установленными платформами и библиотеками машинного обучения, что позволяет пользователям обучать и запускать большие модели на удаленных серверах с масштабируемыми вычислительными ресурсами. Таким образом, отдельные лица или небольшие организации могут получить доступ к современным языковым моделям без необходимости вкладывать средства в дорогостоящее оборудование.

В заключение, несмотря на то, что может быть невозможно разместить современную языковую модель, такую ​​как GPT-3, на обычном компьютере, существуют альтернативные варианты, такие как службы облачных вычислений, которые предоставляют масштабируемые вычислительные ресурсы. По мере того, как область машинного обучения продолжает развиваться, вполне вероятно, что появятся новые методы и приемы, которые еще больше упростят для отдельных лиц и организаций доступ к крупным моделям обучения и их использование.

Как однажды сказал философ Фрэнсис Бэкон: «Знание — сила». В контексте машинного обучения доступ к современным моделям может предоставить отдельным лицам и организациям мощные инструменты для понимания естественного языка и управления им. Однако важно использовать эту силу ответственно и этично, поскольку последствия неправильного использования могут быть серьезными.
Если под «большими» вы подразумеваете модели с большим количеством параметров, то мне жаль вас разочаровывать… маловероятно, чтобы их можно было разместить на «среднем компьютере». По крайней мере, не в ближайшие пять лет. По состоянию на март 2023 года средний компьютер в мире — это смартфон. Графическая обработка на многих высокопроизводительных компьютерах была бы недостаточной для запуска больших моделей. Нам потребуются радикальные усовершенствования графических процессоров, чтобы запустить что-то вроде GPT-3 на потребительском компьютере высокого класса, не говоря уже о смартфоне. Такие достижения в графических процессорах кажутся маловероятными, по крайней мере, в ближайшие 5 лет, просто потому, что законы физики не позволяют нам производить более быстрые чипы. Я могу рассказать вам об этом подробнее, если вам интересно.

Однако то, что кажется возможным, делает модели с более низкими параметрами гораздо более функциональными. Опять же, на сегодняшний день, то есть на март 2023 года, множество исследований в этой области показывают, что модели с более низкими параметрами можно точно настроить, чтобы они были чрезвычайно функциональными. Однако еще слишком рано говорить, будут ли эти модели эквивалентны Gpt-3 или нет. Однако есть надежда.

Эти модели с меньшими параметрами также могут работать на потребительском оборудовании более высокого уровня. Мы наблюдали эту тенденцию с другими моделями машинного обучения, такими как Stable Diffusion, где подходящие модели могут со временем работать на относительно более низком оборудовании из-за дальнейшей тонкой настройки. Вполне вероятно, что эта тенденция применима и к языковым моделям! Время покажет!