tag:peatix.com,2011:1 2024-04-29T21:01:12+09:00 Peatix 丸山不二夫 tag:peatix.com,2024:event-3893384 2024-03-30T19:00:00JST 2024-03-30T19:00:00JST

【 AI技術の最近の二つの動向について 】12月、1月、2月と大規模言語モデルの数学的モデルの話が続いたので、今月は、現在AIの分野で関心を集めている話題を二つ取り上げようと思います。一つは、現代のAI技術のソフトウェアの心臓部分とみなすことができる、「embedding技術」の新しい展開についてです。もう一つは、同じく現代のAI技術のシステム的土台となっている、「大規模言語モデルのアーキテクチャー」の見直しの動きです。【 embedding技術の新しい展開 】今回のセミナーのテーマの一番目の「embedding技術の新しい展開」についてですが、この分野では、大きな技術革新が進行中です。今回のセミナーで、その一端を紹介したいと思います。今年の一月にローンチされたOpenAIの ”text-embedding-3” に注目されている方も少なくないと思います。embedding技術を利用した新しいプログラミング・スタイルの習得は、「AI時代」のIT技術者の必須スキルになると思います。この分野の動向には目が離せません。【 大規模言語モデルのアーキテクチャーの見直し 】今回のセミナーの二番目のテーマの「大規模言語モデルのアーキテクチャーの見直し」では、AIシステムの非常にドラスティックな変化を予告するような研究が進んでいます。基本的には、大量の高価なハードウェアと膨大な電力消費の上に、現在のAIシステムは構築されているのですが、その大胆な見直しが提案されています。今回のセミナーでは、そうした研究動向を紹介したいと思います。【 セミナーのタイトル「マトリョーシカとトロピカル」について 】セミナーのタイトル「マトリョーシカとトロピカル」に奇妙な印象を持たれる方が多いかもしれません。実は、それは、今回のセミナーの二つのテーマと関連があります。それについては、以下の二つのショートムービーをご覧ください。「マトリョーシカ編」https://youtu.be/7S9DwO_xBpM?list=PLQIrJ0f9gMcNgPyZdLjxMZ18wWLGwLpupup「トロピカル編」 https://youtu.be/PbPDjUBI1BU?list=PLQIrJ0f9gMcNgPyZdLjxMZ18wWLGwLpup【 セミナーの構成について 】セミナーは、次のような二部構成を予定しています。第一部　「embedding技術の新しい展開」 Matryoshka Representation Learning論文を読む AbstractとIntroduction Adaptive Classification Vector Search Adaptive Retrieval OpenAI embedding-3 を利用する 第二部　「大規模言語モデルのアーキテクチャーの見直し」 「1-bit LLMs」論文を読む なぜ、1.58bits なのか？ BitNet b1.58−− 驚くべきパフォーマンス BitNet -- 1-bit LLM 「初号機」 lBitNetは、1-bit Transformerを使う Deep Learningでの「量子化」とは何か？ 現代の「対数」計算だと思えばいい - Tropical Algebra 【 セミナーのまとめページはこちらです 】https://www.marulabo.net/docs/matryoshka/