ブラウザーの作業をAIに手伝わせるとき、「次に何をするか」と同じくらい大切なのが、「画面のどのボタンを押すか」です。Folateは、この後者に絞った小さなモデルです。ページのHTMLから候補を取り出し、指示に合う順番へ並べます。今回はMacのCPUで動かし、日本語のボタンを選べるか、候補が多いとどうなるかを試しました。
確認したFolate 0.1.1は標準で最大48候補を評価します。日本語だけの指示で候補が49個ある教材では、49個目の正解が前処理で除外されました。max_candidatesを49にすると、この例では正解を選べましたが、日本語対応全般を保証する試験ではありません。公式モデルカードの言語は英語です。導入前に、自分のページの候補数と日本語での選択結果を確かめてください。
何が新しい?約110MBのモデルで、操作対象の候補を並べる
公式リポジトリは、ELECTRAをMind2WebというWeb操作データで調整した、DOM要素のランキングモデルとしてFolateを紹介しています。DOMとは、ボタン・入力欄・リンクなど、Webページの要素を木構造で扱う仕組みです。Folateが読むのはスクリーンショットではなく、渡されたHTMLから抽出した要素の情報です。
PyPIの公開履歴では、0.1.0の配布は2026年11月15日07:11:28 UTC、日本時間16:11:28に始まり、0.1.1はその約4分後です。本記事で試したのは0.1.1。調査時点では配布から約9時間でした。GitHubとHugging Faceには前日作成の記録もありますが、作成日時を一般公開の開始日時とは扱いません。別途の発表時刻は未確認です。
モデルは、指示と候補要素を一組にして関連度を計算するクロスエンコーダーです。文章を生成するチャット用LLMのように長い回答を書くのではなく、候補の順位とセレクターを返します。セレクターは「idがb1の要素」といった、操作対象を指定する式です。実際にクリックする機能は、別のブラウザー操作プログラムが受け持ちます。
| 役割 | 受け取るもの | 返すもの/担当範囲 |
|---|---|---|
| 作業を計画するLLM等 | 利用者の目的、途中の結果 | 次に検索する、一覧を開く、などの指示 |
| Folate | 1回分の指示+HTMLの候補 | 候補順位、score、CSSまたはXPathの指定式 |
| 実行側のプログラム | 選択候補、許可された操作 | 対象の再確認、クリックや入力、結果確認 |
たとえば社内の申請一覧で「過去の申請を検索する」という処理を作るなら、Folateを検索欄や検索ボタンの候補選びに使う構成が考えられます。これは活用案で、社内システムで実証した結果ではありません。目的・状態・権限を管理する役割までFolateが代行するわけではありません。
ローカルLLMとの関係:全部を大きなモデルに任せない構成
ローカルAIの利点は、モデル全体を大きくすることだけではありません。計画は別のモデル、要素の選択は小さなモデル、と仕事を分ける方法もあります。Folateの推論は、今回の配布版ではONNX RuntimeのCPU実行です。PyTorchやtransformersを推論時に導入する必要はありません。モデルカードはx86_64/ARM64 CPU、GPU不要としています。
今回取得したINT8のmodel_quantized.onnxは110,227,805バイト、約110.23MB/105.12MiBでした。tokenizer.jsonとの合計は110,939,201バイト、約110.94MBです。MBは100万バイト、MiBは2の20乗バイト。公式紹介の「約107MB」と、実ファイルのバイト数は分けて扱います。Pythonの環境や依存ライブラリ、ブラウザー本体はこの合計に含みません。INT8はモデルの数値表現を小さくする量子化の一種です。
コードとモデルカードのライセンス表記はApache-2.0です。今回の取得・ローカル推論に有料APIやAPIキーは使いませんでした。配布元への初回接続、保存容量、電力は必要です。取得後はファイルをローカルから読めますが、ブラウザーでアクセスするサイトや、組み合わせる外部LLMへの通信は別に考えます。「Folateがローカル」という理由だけで、連携システム全体が外部送信しないとはいえません。
Macで試した結果:小さな成功と、49個目を見落とす失敗
実測環境はApple M2 Ultra、メモリ192GiB、macOS 27.2.1、Python 3.12.10。Folate 0.1.1、ONNX Runtime 1.32.0、tokenizers 0.23.3を使用し、CPUExecutionProvider・4スレッドで実行しました。モデルはHugging Faceのd1ffc1d47fc8a69a1b072b83de05b2fbb1477196に固定しています。ブラウザーは起動せず、教材内の架空HTMLだけを渡しました。WindowsとLinuxでの実行は未確認です。
| 教材の条件 | 1位/結果 | この例から確認できること |
|---|---|---|
| 英語の指示+英語ボタン3個 | #b1:Search Flights | この1例では正解を選択 |
| 日本語の指示+日本語ボタン3個 | #b1:航空券を検索 | この1例では正解を選択 |
| 日本語・49候補、標準上限48 | #b10:項目10 | 49個目の正解が前処理で除外 |
| 同じ49候補、上限を49へ変更 | #target:航空券を検索 | 候補に戻すと、この1例では正解を選択 |
| 操作要素のないHTML | 空のリスト | ボタン候補は返らない |
最初の4条件について、rankと候補の確認を含む処理は、順に約22ms、26ms、341ms、349msでした。各条件1回の観測で、モデル読み込み、初回取得、ブラウザー操作、ネットワーク待ちは含みません。3候補の測定を、そのまま実サイトや50候補の速度と比較することはできません。日本語の正答率を測るには、別の語彙・画面・失敗例を含む多数の課題が必要です。
最初の試験プロセスの最大常駐メモリはmacOSのresource.getrusageで473,726,976バイト、約452MiBでした。Python・モデル読み込み等を含むプロセスのピークで、モデル単体の定常値ではありません。公式カードの「推論時180〜250MB」を同じ条件で再現したとは扱いません。192GiBは試験機の搭載量であって、動作に必要な最低容量ではありません。
なぜ正解が消えた?日本語と候補上限の関係
配布版0.1.1の前処理は、候補が上限を超えると、指示文から英小文字と数字の語を抜き出し、要素の情報に含まれる語の数で候補を絞ります。指示が「航空券を検索するボタンを押す」のように日本語だけなら、その抽出語がありません。この場合は先頭から最大48個を残します。今回の正解は49個目だったため、モデルが関連度を判断する前に失われました。
matches = finder.rank( "航空券を検索するボタンを押す", html, top_k=3, max_candidates=49)上限の調整は、候補から落ちる問題への対処です。日本語の意味理解や、同じ名前のボタンの区別まで解決するわけではありません。実際には必要な画面領域にHTMLを絞り、候補数を記録し、正解が候補内に残っているかを確認します。候補を増やせば計算量も増えるので、待ち時間と合わせて評価してください。
英語の指示へ翻訳する方法も考えられますが、日本語のボタンや属性との単語一致が改善するとは限りません。英語に変えるだけで直る手順としては案内できません。なお、GitHubで確認した実装はPyPI版0.1.1から更新されており、実行プロバイダーの選択やscoreの計算にも差があります。この記事の実測と教材はPyPI版0.1.1に固定しました。
「候補から選ぶ」と「安全に押せる」は別の確認
HTMLに実在する要素から選ぶ方式は、存在しない要素名を文章生成で作る問題を減らせます。ただし、選んだ指定式が一つの要素だけを指すか、現在も画面上にあるか、操作が許されているかは別です。今回、name="action"が共通の「閲覧」「削除」ボタンを作ると、両方に同じbutton[name="action"]という指定式が返ることを確認しました。実在する指定式でも、一意とは限りません。
Folateは渡したHTMLの時点の情報を扱います。その後ページが更新される、非表示の要素が混ざる、iframeやShadow DOMの中身が渡したHTMLに含まれない、といった条件にも注意が必要です。実行側で対象件数が1、表示中、有効、許可された操作であることを確かめ、実行後に結果を照合する設計が必要です。申請の送信・削除・購入のような取り消しにくい操作は、候補順位だけで実行しないでください。
0.1.1のscoreはモデル出力にシグモイド関数を適用した0〜1の数値です。今回の日本語3候補の正解は約0.540、49候補から誤って選んだ項目は約0.518でした。この値を「54%の確率で作業が成功する」とは読めません。scoreだけの一律しきい値より、対象の一意性と実行結果、業務用の評価データを組み合わせて判断します。
読者も試せる:実サイトを触らない再現教材
再現用Pythonファイルをダウンロードできます。英語・日本語の3ボタン、49候補の上限比較、操作要素なし、指定式の重複を確かめる教材です。ブラウザーのクリックや入力、ログインは行いません。初回は公開モデルの2ファイルを取得します。以下はmacOS/Linux用の仮想環境の手順です。Windowsでは環境の有効化を.venv\Scripts\Activate.ps1に読み替えますが、今回のWindows動作確認は行っていません。Folate自体の要件はPython 3.10以上ですが、ここで固定したONNX Runtime 1.32.0にはPython 3.11以上が必要です。教材はPython 3.12.10で確認しました。
python3 -m venv .venvsource .venv/bin/activatepython -m pip install "folate==0.1.1" "onnxruntime==1.32.0" "tokenizers==0.23.3"python toolbox-130-folate-local-dom-selector-demo.py各行にexpected(教材の正解)とtop(1位)が出ます。標準上限の49候補ではmatchedがfalseになるのが今回確認した結果で、教材が壊れたという意味ではありません。最後のStructural checks passedは、正解候補が落ちる/戻ること、空の候補、指定式の重複の確認が通った表示です。あらゆるページでの操作精度を保証するものではありません。
HF_HUB_OFFLINE=1 python toolbox-130-folate-local-dom-selector-demo.py教材はONNX Runtimeのテレメトリーを無効にして実行します。HF_HUB_OFFLINEはHugging Faceクライアントのオフライン指定であり、PC全体をネットから切り離す設定ではありません。未取得のファイルがある場合は取得できず失敗します。また、内部の候補絞り込み関数を検査しているため、将来のFolateでそのまま動くとは限りません。
公式ベンチマークは、ブラウザー業務の完了率ではない
固定版のモデルカードには、Mind2Webのtest_taskでTop-1 93.31%、未知Webサイトで88.90%、未知ドメインで92.08%という開発元の測定が掲載されています。これは1ステップについて最大50候補から正解の要素を1位に選んだ割合です。複数画面を進み、申請を最後まで正しく完了した割合ではありません。編集部はこのベンチマークを再実行していません。
画像を見る大きなモデルと、候補を与えられたDOMランキングでは、入力も評価する仕事も違います。「小さいモデルが大きいモデルに勝った」と一括りにするより、自分の業務でどの部分を任せられるかを見るほうが実用的です。今回の教材でも、モデルの精度以前に前処理の候補漏れが失敗を生むことが分かりました。
導入の順番:まずは選ばせるだけで評価する
- 1自社の試験用ページや架空のHTMLで、正解の要素と候補数を記録する。
- 2英語・日本語、同名ボタン、候補が48を超える画面、操作要素がない画面を分けて試す。
- 31位の正答率、正解候補の脱落、指定式の重複、待ち時間を別々に集計する。
- 4許可された閲覧操作から、実行側の一意性・表示状態・結果確認と接続する。
- 5送信・削除などを追加する前に、確認手順と止める条件を決める。
Folateはブラウザー業務を完成品として自動化するサービスではありません。少ない容量で候補選択を試せる開発部品であり、今回のように前処理まで観察しながら組み込めることが価値です。大きなローカルモデルを動かすための機材選びとは別の切り口になります。大規模モデルのメモリ・保存容量の見方最終更新日: も合わせて読むと、役割に応じた構成を考えやすくなります。
確認日:2026年11月16日。実測はPyPI Folate 0.1.1と固定版の公開モデルを使用。配布日時はPyPIの0.1.1メタデータ、コードはインストールしたwheelのranker.pyとGitHubのefe04e38eae7を照合しました。モデルカードの数値と編集部の教材実測を区別しています。