Mozilla Hacksの「Sponsoring sqlite-vec to enable more powerful Local AI applications」は、Mozilla Buildersがsqlite-vecを支援することを紹介した記事です。公開日は2024年6月25日。テーマは、ローカルAIアプリケーションに必要なベクトル検索を、広く使われているSQLiteへ持ち込むことです。
Mozilla Buildersの初回テーマはLocal AIです。記事では、AIモデルやアプリケーションをデスクトップ、ノートPC、スマートフォンなどの端末上で動かすことにより、プライバシーとユーザーの制御を高められると説明されています。sqlite-vecは、そのLocal AIに「手元のデータを意味で検索する」能力を足す部品として位置づけられています。
sqlite-vecとは何か
sqlite-vecは、SQLiteにベクトル検索機能を追加する拡張です。GitHubリポジトリでは、float、int8、binary vectorを仮想テーブルに保存し、SQLで近傍検索できる小さな拡張として説明されています。Cで書かれており、依存が少なく、SQLiteが動く場所で動くことを重視しています。
記事が強調しているのは、SQLiteの普及性です。SQLiteは組み込みデータベースとして非常に広く使われており、Firefoxにも組み込まれています。そこにベクトル検索が加わると、ローカルで動くAIアプリが、ユーザーの手元にある文書や履歴、メモなどを外部に送らずに検索しやすくなります。
Local AIとRAGの接点
ベクトルデータベースは、RAGやセマンティック検索の基盤として使われます。大きなモデルを毎回クラウドに呼び出すのではなく、手元のデータから関連情報を検索し、その文脈を使って小さなモデルを補助する。これはLocal AIを実用に近づけるうえで重要な構成です。
Mozilla Buildersの発表記事でも、Local AIの文脈でRAGは重要な領域として挙げられていました。小さめのモデルでも、必要な情報を手元のデータから取り出せれば、クラウド前提ではないAIアプリケーションを作りやすくなります。
参照リンクから見えた背景
sqlite-vecのGitHubリポジトリを見ると、sqlite-vssの後継として作られていることが分かります。旧プロジェクトであるsqlite-vssはFaissベースのベクトル検索拡張でしたが、現在は開発の重点がsqlite-vecへ移っています。
開発者Alex Garcia氏のブログ記事では、sqlite-vecを純Cで、依存なしに、WASMやモバイル、Raspberry Piでも動くようにしたいという方向性が説明されています。これは「高性能な専用DBを用意する」よりも、「既にアプリの中にあるSQLiteへ意味検索を足す」発想に近いです。
また、llamafileもMozilla Buildersのプロジェクトとして紹介されています。llamafileがローカルでLLMを動かしやすくする側の取り組みだとすると、sqlite-vecはローカルにあるデータをLLMから使いやすくする側の取り組みだと見ることができます。
気づき
この記事で面白いのは、Local AIを「モデルを端末で動かす」だけの話にしていない点です。実際のアプリケーションでは、モデルそのものだけでなく、ユーザーのデータをどう保存し、どう検索し、どう文脈として渡すかが重要になります。
sqlite-vecは、その地味だが重要な部分を担います。すでに多くのアプリに入っているSQLiteにベクトル検索が加われば、AI機能のために新しいサーバーや専用DBを立てなくても、ローカルファーストなRAGやセマンティック検索を試しやすくなります。Local AIの実用化は、モデルの軽量化だけでなく、こうした足元のデータ基盤で決まるのだと感じました。
読んでおきたい人
- ローカルAIやオンデバイスAIのアプリを作りたい人
- SQLiteを使ったアプリにセマンティック検索を入れたい人
- RAGをクラウド依存にせず実装したい人
- AI機能とプライバシーを両立したい開発者
コメントを残す