問い合わせを読むたびに、AIに長い返信文を書かせる必要はありません。「請求・返金」「配送」「技術サポート」のどこへ回すかだけ決めたいなら、選択肢ごとの確率を返すモデルが候補になります。Herbert v0.8は、その役割に特化するための追加学習を施した、重みを取得できるAIです。
2026年10月19日、公開デモのAPIに架空の日本語問い合わせを送り、3件では事前に決めた窓口と一致しました。4件目はZeroGPUの利用枠超過で結果を取得できませんでした。「無料で無制限に使える」「日本語の業務精度を検証済み」とは言えません。今回はクラウド上のデモを試しており、このMacでモデルを動かした実測ではありません。
この記事はHerbert_v0.8のモデルカード、公開デモの実装、取得した応答を確認した解説です。日本語の問い合わせを小さく試す手順と、導入前に確かめる条件に絞ります。
Herbert v0.8は何が新しい？
Herbert v0.8は、Qwen3.8-27BにLoRAという追加学習用の重みを組み合わせたモデルです。単体の小型アプリではなく、ベースモデルも必要になります。v0.5から、テキストの判断問題、ベースモデルが考えた結果を学ぶ自己蒸留、画像の判断問題による学習を追加したと開発者は説明しています。公式モデルカード
公開履歴では、モデル重みを含むv0.8のコミットを2026年10月18日13:13:38 JSTに確認できます。10月19日16時時点では約27時間前です。翌19日02:02:13 JSTの更新は評価結果の追記で、モデルの新規公開時刻とは分けて扱います。
| 項目 | 確認した内容 |
|---|---|
| 基盤 | Qwen3.8-27B＋Herbert v0.8のLoRA |
| 入力 | 状況を説明するテキスト、質問、許可する選択肢。画像入力にも対応 |
| 選択肢を指定したときの出力 | 各選択肢の確率と、最上位の選択肢 |
| 試しやすい入口 | Hugging Faceの公開Webデモ。本稿は同じデモの公開APIを使用 |
| ライセンス | HerbertのモデルカードとQwen3.8-27BのモデルカードはApache-2.0を表示 |
| 今回の実測範囲 | 日本語テキスト3件。画像、日本語の長文、曖昧な依頼、選択肢順序の影響は未検証 |
文章を生成するAIとは、どこが違う？
選択肢を指定した公開デモでは、入力を一度モデルに通し、回答位置での選択肢ラベルの値を取り出して、選択肢内で合計1になるように変換しています。長い回答を生成してから「配送」と書かれた箇所を抜き出す方式ではありません。実装ではモデルの出力からラベルのlogitを選び、softmaxを適用しています。実装のreadout関数
実務では、返信文の表現揺れを後から解析する処理を減らせるのが利点です。ただし、返せる形が決まっていても、意味の判断を間違える可能性は残ります。「確率0.95」は、その案件の正解を95％保証する数字ではありません。提示した選択肢の中で、モデルがどこへ重みを置いたかを示します。
デモのOptionsを空欄にしたOpen modeでは、まずアダプターを外したベースモデルが候補の文章を生成し、その候補と「none of these」をHerbertで評価します。空欄でも常に「文章生成なし・1回だけ」で終わるわけではありません。今回の3件はすべて選択肢を指定しました。
日本語の問い合わせ3件で、何を確認できたか
2026年10月19日16時台に、ログイン用トークンを渡さず公開デモの /decide を呼び出しました。画像は使わず、質問は「この問い合わせを最初に担当すべき窓口はどれですか？」で固定。選択肢も「請求・返金／配送／技術サポート／営業／情報不足・担当者確認」の5つで固定しています。架空の短文を用意し、期待する窓口は呼び出し前に決めました。
| 架空の問い合わせ（要約） | 事前に期待した窓口 | 実際の最上位 | 最上位の確率 |
|---|---|---|---|
| 二重請求 | 請求・返金 | 請求・返金 | 0.9539 |
| 配送遅延 | 配送 | 配送 | 0.9421 |
| アプリ不具合 | 技術サポート | 技術サポート | 0.9114 |
二重請求、荷物が届かない、保存ボタンでアプリが落ちる、という分かりやすい3件では期待と一致しました。これは接続と日本語入力の小さな動作確認です。3件から実運用の正解率を見積もったり、Jevより優れていると判定したりはできません。
画面用の応答に含まれた処理時間は順に1,898 ms、170 ms、1,794 msでした。これはデモが表示する計測値で、こちらからの通信・待ち行列を含む総所要時間ではありません。専有環境の速度測定もしていないため、速度比較には使いません。
4件目の「社員30人で利用する年間契約の見積り」では、ZeroGPUの利用枠超過というエラーが返り、分類結果は得られませんでした。認証で枠が増えるという案内はありましたが、今回は追加認証や課金をせず終了しています。誰でも必ず3回で制限されるという意味ではなく、このアクセスでの観測結果です。
当初予定していた「情報不足」「正解の窓口がない2択」「確認先の追加」「選択肢の順序逆転」は未実行です。結果がない欄を成功例で埋めないよう、全8条件と実行状況のCSVに区別して残しました。成功3件の生の確率と応答も確認できます。
最初の1件をブラウザーで試す手順
- 1Herbertの公開デモを開く。起動待ちや利用枠エラーがあれば、その時点では試用できません。
- 2Imageは空欄のまま、Contextに下の架空の問い合わせを貼る。
- 3Questionに「この問い合わせを最初に担当すべき窓口はどれですか？」を入れる。
- 4Optionsは下の5行を貼る。空欄にすると別の処理になるので、初回は選択肢を明示する。
- 5Decideを押し、最上位だけでなくほかの選択肢の確率も見る。表示された値を記録する。
注文番号TEST-001の商品代金が、カード明細に同じ金額で二重に載っています。1回分を返金してください。請求・返金
配送
技術サポート
営業
情報不足・担当者確認公開デモの実装では選択肢は2〜26個、画像欄は1枚です。モデルカードや自前サーバーの上限と、Webデモの上限を混同しないでください。また、Webデモに入れた内容はMacの外へ送られます。最初はこのような架空の文章で試せます。デモの入力処理
仕事で価値を出すなら、まず「担当候補」に使う
最初の用途は、受信した問い合わせに担当候補のラベルを付け、人が直す運用です。返金するかどうかを自動承認するのとは別の仕事です。最終判断が人の画面に残る形なら、「読む→担当を選ぶ」のどこが短くなったか、修正の手間が増えていないかを比べられます。
| 用途の例 | AIに渡す選択肢 | 先に確認すること |
|---|---|---|
| 問い合わせの一次仕分け | 請求・配送・技術・営業・確認待ち | 複数の相談を含む文、窓口不明の文をどう扱うか |
| 商品写真の確認候補 | 破損の疑い・外箱のみ・判別不能 | この用途は本稿で未実測。実際の照明や画角で人の判定と照合 |
| 社内依頼の回付 | IT・総務・人事・確認待ち | 社内用語や略語を含む例で誤送付が増えないか |
選択肢には「情報不足・担当者確認」を用意し、低い確率や上位2つの差が小さい場合の確認先も決めておきます。ただし、確認先を追加しただけで確実に棄権してくれるとは限りません。本稿ではその挙動まで試せていないため、自分の検証項目として残してください。
次の試験では、明確な例だけでなく、返金と配送が混じる文、否定表現、情報不足、該当部署のない問い合わせを集めます。同じ文章で選択肢の順序も変え、結果がどの程度動くか記録します。「0.9以上なら自動処理」と先に決めるより、人が付けた正解と照合して、業務ごとに扱いを決める方が確かです。
ローカルLLMとして使える？ Macですぐ動く？
重みを取得できるため、自分で管理する環境で動かす道はあります。ただし、配布されているLoRAは約870 MBでも、別途27Bのベースモデルが必要です。「ダウンロードが1 GB未満だから小さなMacでも軽い」とは読めません。配布ファイル・Qwen3.8-27B
公式の自前サーバー手順は、アダプターをベースモデルへ統合し、vLLMとFastAPIで起動するものです。公開された別の推論エンジンはCUDAを指定しています。確認した資料にはMacのMetal向けの導入手順や、HerbertをそのままOllamaに読み込む手順はありません。本稿ではMac実行も量子化も試していません。サーバー実装
27Bを1パラメーター2バイトとして単純計算すると、重みだけで約54 GBです。これはBF16での概算で、実際には作業用のメモリーや入力分も必要になります。対応GPUの最低容量を実測した値ではありません。GPUを新たに買う前に、公開デモで目的の入力を試し、次に利用する推論基盤で動作条件を確認する順序がよさそうです。
モデルカード上のライセンス表示はApache-2.0です。今回の公開デモでは課金やAPIキーの登録なしで3件の結果を取得できましたが、継続利用の保証や無制限の無料枠は確認できません。自前運用にはGPU・電力・運用の費用がかかります。利用条件は導入時にモデルとベースモデルの両方で確認してください。
「Jevより上」という数字を、そのまま採用理由にしない
開発者はDecision Index 0.3の公開画像評価12,210件で、Herbert v0.8の指数76.38、比較対象jev-vision-27bの73.06を報告しています。ただし、公式評価キットを使った開発者自身の実行結果です。非公開問題を含むFull評価ではありません。個別項目にはHerbertが下回るものもあります。モデルカードの評価表・実行結果ファイル
この画像評価の差を、日本語問い合わせの精度や、現在のJev API全体との優劣へ広げることはできません。テキスト評価もv0.8では全件実施済みではなく、公開テキスト評価の一部を使った確認です。今回の3件も同じ入力をJevに送った比較試験ではありません。
Jev系モデルの選択肢が増えるほど、名前や順位よりも「自分の入力で判断が合うか」「必要な入力形式が使えるか」「どこで動かして、誰が運用するか」が重要になります。APIで始める考え方はJev 1.14の解説、複数の判断AIの役割は判断AIと実行ツールの比較も参考にしてください。
導入判断を残すための記録
今回は、Herbertが日本語の短い問い合わせ3件を扱えることと、公開デモの無料枠で検証が途中停止することを確認しました。担当候補を提案する小さな試用から始める価値はありますが、画像判断や曖昧な依頼、連続運用の可否は次の確認事項です。
資料確認日：2026年10月19日。Herbert v0.8のモデル資料はコミット56ffbc7、公開デモの実装は4ec613cで確認。実測はその時点で稼働していた公開Spaceへのリクエストです。デモはモデルをmainから読む実装のため、実際にメモリー上に載った重みのハッシュを応答から照合するところまではできていません。モデル名と取得資料の版を分けて記録しています。