一般庶民でもfine-tuningしたい！ ～ローカルLLMのGPU節約の手法を解説～

講座概要

2022年にOpenAIがChatGPTを公開して以降、大規模言語モデル (LLM) 界隈は大きく盛り上がっています。 最近ではオープンソースのLLMが続々と公開されるようになり、そうしたモデルたちはローカル環境で動かしたり学習したりすることができます。

しかし、一般にLLMは数十億以上のパラメータを持ち、全パラメータをロードするだけでも大量のメモリが必要になります。 一般的なスペックのGPUでは、LLMをメモリに乗せることすらできないのが現状です。fine-tuningは言わずもがなです。

では、一般庶民はLLMを動かすことはできないのでしょうか？ そんなことはありません。

LLMの学習や推論に必要なGPUメモリを削減するための技術は多く研究されています。 今回はその中でも量子化 (quantization) とLoRA (Low-Rank Adaption) を紹介し、これらの技術を使って実際にOpenCALM (サイバーエージェント社のオープンソースLLM) をfine-tuningしてみた結果を共有します。

主な対象者

• LLMに興味がある方
• オープンソースLLMのfine-tuningを試してみたい方

前提とする知識

• 深層学習の基本的な知識がある方

アジェンダ

• LLMとは
• LLMのパラメータ数とメモリ消費
• 量子化とは
• LoRAとは
• オープンソースLLMのfine-tuning

※ 発表内容は多少変更が入る可能性があります

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoom URLが表示されます。

タイムテーブル

※質疑の内容や数などにより、終了時刻が前後する可能性があります。