前回はOA対応における応答書の主張は変えずに表現をカスタマイズする検証を行いました。プロンプトで表現部分に影響する要素を加えていろいろと試してみましたが、この検証を行った際に、審査官はこれらAIが生成した応答書をどう読み、分析・判断するのかが気になりました。そこで今回は、生成AIに審査官になってもらい、前回生成した補正クレームと主張によって102条の拒絶が解消できるかを判断してもらいました。
結論としては、102条という比較的ロジックが簡単な審査であってもAI単体での審査は難しく、断定的な結論をAI審査官に判断させることはできませんでした。しかし、AI審査官による分析理由は実際の審査官が懸念する可能性のある点を指摘していたので、ドラフトした応答書の改善に使えると感じました。
今回の検証プロセス
今回の目的は、生成AIに審査官の代わりを務めてもらい、審査官の視点から前回作成した補正クレームや主張が102条における拒絶を解消するものかを判断してもらうことです。
この検証を行うために、以下のような手順で作業を行いました：
- 生成AIで審査官のペルソナを定義するために必要な情報を集める
- 生成AIに審査官の代わりを務めてもらう
- AI審査官の評価をする
- 検証の結果を踏まえてAI審査官を改善する
- 調整したAI審査官による補正クレームの審査とその評価を行う
使用した生成AI
今回は前半ではOpenAIのChatGPT4oを使ってましたが、最終的にはAntropicのClaude 3.5 Sonnet のProjectという機能を活用した方法に切り替えました。
Anthropicは人工知能(AI)技術の研究開発を行うアメリカの企業で、OpenAIの元研究者らによって設立され、大規模言語モデル(LLM)である「Claude」を開発しています。今回使ったClaude 3.5 Sonnetは、Claude 3モデルファミリー（Haiku、Sonnet、Opus）の一部で、2024年7月現在で、最新にして、最も知的なモデルとされています。リリース時期も近かったので、Claude 3.5 SonnetはOpenAIのChatGPT4oとよく比較され、性能は同等かそれ以上と評価されることが多いようです。
また、Projectは有料版で使えるサービスで、Project Knowledgeに任意のデータをアップロードすることで、いつでもその情報をClaudeが参照できるようにできます。
前置きが済んだところで、早速今回の検証を始めていきます。
審査官のペルソナを定義する
AI審査官を作るには、まず審査官のペルソナを定義する必要があります。
ペルソナとは、ユーザー体験デザインやマーケティングにおいて使用される、架空の顧客や利用者のプロフィールです。初期の頃から生成AIに特定のペルソナを演じてもらってフィードバックを得るという方法はよく知られていており、そのようなペルソナを設定するには目的に応じた架空の人物の情報を生成AIに提供する必要があります。
今回はAI審査官に以前作成した102条の拒絶に対するクレーム補正と主張を審査してほしいので、実際の案件で審査を担当したTran Thien審査官の情報を生成AIに提供することにしました。
幸い前回の応答書における表現をコントロールする検証でTran Thien審査官をターゲットオーディエンスとして定義した際の情報があります。そこで過去のプロンプトにおけるTarget Audienceの情報をベースに今回のAI審査官のペルソナも定義を作成していこうと思います。
まず最初に、ChatGPTを使って、Target Audienceの情報からペルソナを定義するのに使える情報を抽出してみました。
初期の審査官ペルソナ
追加情報の考察
これだけだと少し物足りないと感じたので、よりよいペルソナを作るのに追加すべき情報をChatGPTに聞いたところ、法的知識と専門知識、評価基準とアプローチ、コミュニケーションスタイル、過去の経験と傾向などの情報を提供するといいという回答がありました。
この提案された情報を参考に、以下の情報を準備しました：
1. 特許法102条に関する知識: 法律の原本、特許庁における審査マニュアルであるMPEPの102条に関するセクション、そして、どこかのOA対応に書かれていた102条に関する判例と102条のルールを抜粋したものをデータセットとして作成しました。 (データセット)
- 35 U.S. Code § 102 – Conditions for patentability; novelty
- MPEP 2152 Detailed Discussion of AIA 35 U.S.C. 102(a) and (b) [R-11.2013]
- Case law relates to 35 U.S.C. § 102
2. 技術的背景: 今回の出願案件は、ラジエーションヒーターとコンベクションヒーターを備えた電気調理器具に関する発明で、特許番号は US11985734B2です。引用された特許文献は15件ありました。しかし、全部読み込むと使うトークン数に対するリターンが少ないと感じたので、1回目のOAで実際に引用された文献のみを読み取らせることにしました。 (データセット)
- Rohrl (US 3,984,578)
- Swayne (US 2020/0229639)
- Smith (US 2016/0327280)
- Alvey (US 10,502,430)
- Johncock (US 2016/0331175)
3. 過去の審査傾向: Patent botsでTran Thien審査官のRecent Dispositionsのリストからサンプルとして技術内容が近いと思われるオーブンに関する案件を選択しました。その後、Patent Centerで審査履歴とOAの内容を確認して、102条の拒絶があったNon-final, OA response, final のデータを取得しました (データセット)
先行技術の調査能力に関しては、今回の検証との関係性は少なく、簡単にAIに提供できる情報はなかったので、特にこの項目に関するデータは集めませんでした。
また、評価基準とアプローチやコミュニケーションスタイル等はペルソナの定義に直接組み込んだ方がいいと判断しました。審査官の職務内容や行動に関する情報はすべてメインのペルソナ定義に追加した結果、以下のような定義が出来上がりました。
改良版審査官ペルソナ
生成AIに審査官の役割を担ってもらう
AI審査官を作るのに必要なペルソナ定義が整い、関連データも集めることができたので、ChatPGTに審査官の役割を担ってもらいます。
やり方は簡単で、以下のようなプロンプトと共に、作成したペルソナ定義と追加で集めたデータセットをすべてChatGPTに提供します。
以下に詳細が記載されているTran Thienとして、米国特許商標庁の審査官を演じてください。 その際に、以下で提供したすべての情報を取り込んでいることを確認するメッセージもください。
Tran Thienとして演じる準備ができたら教えて下さい。
提供する情報が多すぎてエラー発生
しかし、ChatGPTにすべてプロンプトとして提供したところ、プロンプトが長すぎてエラーが発生してしまいました。
以下のプロンプト全文をリンク先で見てもらえたらわかりますが、かなりの文字数なので、情報量が1回に処理できるChatGPTのトークン数を超えてしまったようです。
必要な情報を見直し、プロンプトのスリム化を行う
トークン数が上限を超えてしまったので、与える情報を見直す必要があります。
このような場合、情報量に対してその恩恵が少ないものを削る必要があります。そこで、再度プロンプト全文を見直し、各部分の情報量とペルソナへの影響の大きさを相対的に評価して、再検討することにしました。
その結果、過去の検証で102条に関する分析はデフォルトの状態でもできていたので、特許法102条に関する知識は case lawのみにすることにしました。また、サンプル数も１つしかない過去の審査傾向として提供した過去の拒絶理由とその対応履歴も全部カットしました。
削った結果、プロンプトは多少スリムにはなったのですが、それでもChatGPTではエラーが発生したので、急遽、AntropicのClaudeにスイッチすることにしました。詳細は上記の「使用した生成AI」セクションで説明していますが、バージョンはClaude 3.5 Sonnetで、OpenAIのGPT4oと同等の精度があるとされるモデルです。
幸い、Claudeでは改良したプロンプトが処理できたので、Tran Thien AI審査官を演じてもらうことができました。
AI審査官の評価する
やっとAI審査官ができたので、その能力を評価していきたいと思います。
知識についての質問
まずは与えた情報に関して適切な理解ができているかを確認できる簡単な質問をしていきたいと思います。ここでは、102条、技術、引用文献について質問してみました。
102条の拒絶において重視している点を教えて下さい
回答はどれも102条を審査する上で重要な点なので、AI審査官の102条に関する知識は十分あると評価できるでしょう。注目したいのが、今回のプロンプトで提供した102条に関する知識は短い判例だけにとどまっているところです。このことから関連するMPEPの情報を与えなくても、Claudeには必要最低限の102条に関する知識がすでに備わっていることがわかりました。
次に技術的な知識について尋ねてみました。
技術的な知識としてどのようなものを知っていますか？
回答を見ると、メインのペルソナ定義で示したアートユニットや担当クラスの情報が強く影響したものになっていると思われます。対象となる発明はラジエーションヒーターとコンベクションヒーターを備えた電気調理器具なので、技術バックグラウンドの知識も問題ないでしょう。
次に、技術的背景として提供した1回目のOAで実際に引用された文献に関する質問をしたいと思います。
Alvey (US 10,502,430)について教えて下さい
Alveyは引用された文献の中でも一番長い特許明細書ですが、ちゃんと内容に関して具体的なレベルで回答しているようです。
AI審査官は102条における拒絶判断と分析を適切にできるのか？
基本的なレベルでの評価が終わったところで、１つ複雑さレベルを上げて、実際のOAでTran Thien審査官が行ったように、AI審査官がRohrlを引用してオリジナルのクレーム１を拒絶することができるのかを検証してみます。
以下はある出願人の特許クレームと特許明細書です
そこに書かれているクレーム１に対する102条の拒絶が適切か判断してください。また、拒絶が適切と判断した場合、用いる引用文献を示し、拒絶理由も説明してください。
ここで添付したUS11985734B2の明細書とオリジナルクレーム１のデータはこちら
実際のOAでTran Thien審査官はRohrlを引用して拒絶しているので、103条で使われたAlveyを用いてクレームを拒絶したAI審査官の102条のおける分析は間違っています。
そこで誘導尋問をして、Rohrlを用いて102条における拒絶が成立するか質問してみました。
Rohrl (US 3,984,578)を用いて、クレーム1に対する102条に基づく拒絶が成り立つか分析してください。また、拒絶が適切と判断した場合、用いる引用文献を示し、拒絶理由も説明してください。
AI審査官の分析によるとRohrlを使ってオリジナルクレーム1を102条で拒絶できないようです。特に、具体的な調理システムの構造や、対流調理モード中に放射加熱要素を選択的に通電することに関する記載がないと指摘しています。
この評価を総合的に判断すると、提供されている情報に関してはある程度の理解度はあるものの、実際の案件で実際の審査官が行う精度で102条における拒絶を判断・分析することは難しいようです。
検証の結果を踏まえた改善
残念ながら作成したAI審査官はこのままの状態では102条における分析がうまく行えないことがわかりました。しかし、仕様を変えることで改善できるかもしれないので、ペルソナを改善していこうと思います。
まずは現在のペルソナ定義にはChatGPTが処理できないほどの膨大なデータが提供されているので、今回の102条におけるOA対応の検証に必要な最低限の情報量までデータ量を抑えることにします。生成AIに与えるデータは単純に多ければいいというわけではなく、考慮するデータが多すぎるとうまく変更が反映されなかったり、変更の影響がよくわからなかったりする可能性があるので、まずは与えるデータのダイエットを行います。
また、今まではプロンプトで直接情報を提供していましたが、それだとペルソナの仕様を変えるごとにプロンプト全体を変え、また新しいチャットを開いて読み込ませる必要があります。このような作業は手間がかかるので、最近Claudeの有料版で追加されたProjectを使いました。
Projectは、Claudeのアウトプットを独自の知識に基づいて生成させることができます。Project Knowledgeというところに反映させたいデータを提供することで、Claudeを自分なりにアレンジすることができます。
今回は、メインのペルソナ定義であるExaminer_persona、102条の判例とルールが記載されているcase_law、102条で用いられた引用文献であるRohrl (US 3984578)をProject Knowledgeとして取り込み、アレンジされたProjectをPatent Examiner Personaと名付けました。（取り込んだデータはここからアクセスできます）
カスタマイズしたProjectは、新しいチャットを始める前に選択できるようになります。ここでは、先ほど作ったPatent Examiner Personaを用いて、よりスリムになったAI審査官を再度評価していこと思います。
ちなみに、カスタマイズしたProjectを使ったチャットでは一番上に仕様しているProjectの名前が表示されます。
このProjectでつくられたAI審査官の検証として最初のAI審査官に対して行った知識に関する質問をしたところ、同じような回答が返ってきました。
これで必要最低限のデータを用いたAI審査官ができたので、次のセクションで102条における分析の本格的な検証に入っていきます。
AI審査官による102条における拒絶分析の深堀り
続いて、再度AI審査官が102条の拒絶を正しく行えるか評価していきたいと思います。今回はRohrl以外の引用文献は提供していないので、Rohrlを用いた102条の拒絶分析のみを検証の対象としています。
添付ファイルはある出願人の特許クレームと特許明細書です
Rohrl (US 3,984,578)を用いて、クレーム1に対する102条に基づく拒絶が成り立つか分析してください。また、拒絶が適切と判断した場合、用いる引用文献を示し、拒絶理由も説明してください。
ここで添付したUS11985734B2の明細書とオリジナルクレーム１のデータはこちら
今回もAI審査官はRohrlでは102条における拒絶は適切でないと判断され、具体的には、「支持面上に配置可能な調理システム」と「中空チャンバー」に該当する要素がRohrl にないと示しています。
しかし、生成AIの回答は必ずしも正確ではないので、この分析における理由が適切かどうかを私達人間が評価する必要があります。
まず注目したいのが、「支持面上に配置可能な調理システム」です。これは、クレームにおける”A cooking system positionable on a support surface”に相当し、クレームのPreambleの部分に該当します。
特許クレームの前文（Preamble）は、クレームの種類と発明の性質を説明する序文で、comprisingなどの連結項とクレーム本文の前に置かれるものです。しかし、前文がクレームを制限するのは、それが本質的な構造やステップを記載している場合、あるいはクレームに意味を与えるために必要な場合だけです。MPEP 2111 Claim Interpretation; Broadest Reasonable Interpretation
そのため今回の102条における拒絶の分析ではこの部分の差異はそれほど重要ではなく、クレームを限定するような要素ではないとして無視しても支障がない部分だと考えられます。
このことを改めてAI審査官に伝えたところ、分析が変わり、クレーム1に対してRohrl (US 3,984,578)を用いた102条に基づく拒絶が成立すると判断されました。
クレーム1の冒頭部分（A cooking system positionable on a support surface, the cooking system）は特許法上、クレームを限定するような要素ではないので、冒頭部分の要素の類似性は判断しないでください
このように生成AIが正しく分析できていない部分を指摘すると、指摘された部分を考慮して分析をやり直してくれます。このように最初に意図した回答が得られなくても、間違えを指摘することによって、生成AIを正しい方向に導きことができます。
102条の拒絶に対する判断は正しい回答になりましたが、次はその分析に気になるところを見つけました。そこで一度分析情報を整理するため、クレーム1の要素と対応するRohrlの参照部分を対比するテーブルを作ってもらうことにしました。
上記の分析において、Rohrlが開示しているとされるそれぞれの要素について、引用箇所をおしえてください。その際、クレーム1の要素、対応するRohrlの参照部分、日本語による解説を含むテーブルを作成してください
この対比表で気になったのは、2番目と3番目の要素に対する比較です。
本案件のクレーム１では、２つの異なる熱源（少なくとも1つの放射加熱要素、対流加熱器）が示されています。これらは英語では”at least one radiative heating element”と”a convection heater”と書かれています。この２つの異なる熱源に対応する要素は例えば図５で示されている “heating elements 52” と “convection heater 54”であることがわかります。
このような２つの異なる熱源があるという特徴は引用されているRohrlでも開示されており、それぞれが”grill heater 16” と “air heater 27”に対応することがこの図１でもわかります。
また、実際のOAでもTran Thien審査官は クレーム要素である “at least one radiative heating element” とRohrlの “grill heater 16”とを、そして、もう１つのクレーム要素である “a convection heater” と Rohrlの “annular electric air heater 27” とを、それぞれ同等であると分析しています。
しかし、先程AI審査官が行った2番目と3番目の要素に対する比較のテーブルを見ると、Rohrlの対応する参照部分でこれら”grill heater 16” と “air heater 27”が指摘されていません。
このことからAI審査官はまだRohrlの文献に対する正しい認識を持っていない可能性があるので、AI審査官に確認してみました。
Rohrlは２つの異なる加熱部分を有していますか？
この回答は前回の回答ではAI審査官が２つの異なる加熱部分を有していると理解していたような表現なので少し違和感がありますが、AI審査官はRohrlが2つの異なる加熱部分を開示しているとは理解していないことがわかりました。
また今回の指摘により、また102条における分析とその結果が変わっています。このように追加の質問やインタラクションで生成AIの回答は大きく変わる可能性があるので、特に、今回のような分析をさせる場合は、その回答や理由を注視する必要があるでしょう。
このままではAI審査官は102条の拒絶分析を行う上で必要なRohrlの理解に至っていないので、この部分を正す必要があります。
Rohrlにおけるgrill heater の開示内容を教えて下さい
なぜかAI審査官はRohrlの明細書に複数回記載されている”grill heater”という用語が認識できないようです。
Rohrlの特許文献にはgrill heater 16という記載が複数あります。確認できますか？
このように直接指摘し、確認してもらうことで、やっとAI審査官にRohrlの特許文献にはgrill heater 16の記載があることを認識してもらいました。
続いて、改めてRohrlにおける２つの熱源の開示に関してAI審査官に確認をします。
Rohrl (US 3,984,578)にはgrill heater 16とair heater 27という２つの熱源が開示されています。このことを確認できますか？
今回は明確に熱源の名称を示したからか、両方ともRohrlで開示されていると認識してくれました。
ここで改めてAI審査官に102条の拒絶分析を行ってもらいます。
この点を踏まえて、再度Rohrl (US 3,984,578)を用いて、クレーム1に対する102条に基づく拒絶が成り立つか分析してください。また、拒絶が適切と判断した場合、用いる引用文献を示し、拒絶理由も説明してください。
このようにRohrlの文献に対する正しい理解へとAI審査官を導いたところ、実際のOAにおける102条の拒絶理由にかなり近づかせることができました。
今回のAI審査官の102条の分析をまとめると以下のようになります。
| クレーム1の要素 | Rohrlの対応する参照部分 | 日本語による解説 |
| 中空チャンバーを有するハウジング（内部調理チャンバーを含む） | “muffle 11 enclosing a cooking space 10” (Column 3, Lines 35-36) | muffle 11は中空チャンバーを有するハウジングに相当し、cooking space 10が内部調理チャンバーに相当します。 |
| 中空内部に配置された少なくとも1つの放射加熱要素 | “Grill heater 16 may be a tubular heater comparable in design and dimension to conventional grill heaters used in ordinary electric home baking ovens.” (Column 4, Lines 39-42) | grill heater 16が放射加熱要素に相当します。 |
| 中空チャンバー内に配置された対流加熱器 | “This means comprises a grill heater 16 in combination with an annular electric air heater 27, which is disposed adjacent rear wall 15 of muffle 11 concentrically about a fan wheel 21.” (Column 3, Lines 55-59) | air heater 27とfan wheel 21の組み合わせが対流加熱器に相当します。 |
| 対流調理モードで動作可能 | “A method and apparatus for baking food in a closed cooking space in which heated air is circulated.” (Abstract) | 加熱空気を循環させる方法が対流調理モードに相当します。 |
| 対流調理モード中に放射加熱要素が選択的に通電される | “The temperature of this heated air is varied in a sawtooth fashion about a predetermined mean temperature value by generating a plurality of sequential heat radiation pulses, by means of electric air heaters or the like” (Abstract) | 熱放射パルスの生成が、対流調理モード中の放射加熱要素（grill heater 16）の選択的通電に相当します。 |
この表と以下の実際のOAにおける102条の拒絶文を見ると、かなり近いところまで実際の102条の拒絶理由を再現できるまでAI審査官を調整できたと思います。
このように、AI審査官とインタラクションすることによって、102条の拒絶分析を現実のOAで行われたレベル近くまで上げることができました。理想としては、最初から適切な分析をしてほしいのですが、その域に達するにはまだまだ生成AIの理解とノウハウが必要だと感じました。
調整済みのAI審査官が補正クレームを審査したらどのような判断を下すのか？
やっとの思いで102条の拒絶ができるAI審査官を作れたので、前回作った補正クレーム1と主張を審査してもらいましょう。ちなみに、クレームは補正記号をすべて取り除いたクリーンコピーにしてあります。
上記の１０２条による拒絶を解消するために提案されたクレーム補正と対応する主張です。以下の情報を考慮した上で、Rohrlにおける１０２条の拒絶が解消されるかを教えて下さい。また、その理由も説明してください。
ここで添付した補正クレームと主張のデータはこちら
AI審査官が クレーム1の補正で追加された新たな要素と102条の引用文献であるRohrlを対比したところ、ファンシュラウドの構造、開口部の配置、気流の分配、対流チャンバーと調理チャンバーの分離という4つの点でRohrlの開示内容を超えた構造が示されていると判断しました。
102条を解消するには1つでもクレーム要素が引用文献で開示されていないと判断されればいいので、AI審査官が4つの違いを認識したということは、今回の補正クレーム案は102条の拒絶を解消するには十分であるという判断を下せるかもしれません。
しかし、このような分析の場合、与える情報や質問によってAIの見解は大きく変わることが上記の「AI審査官による102条における拒絶分析の深堀り」でもわかっています。そこで、AI審査官に出願人による主張に促されるのではなく、客観的な視点から再度補正クレームの審査をしてもらいました。
出願人から提案されたクレーム補正と対応する主張を鵜呑みにするのではなく、審査官として、客観的な視点から補正されたクレーム１と引用文献であるRohrlを比較した場合、補正されたクレーム１に対するRohrlによる102条の拒絶は可能ですか？
客観的な視点での評価を依頼したところ、前回の回答とは逆に102条は維持できるという結論に至りました。その理由もクレーム補正で加えられた要素はRohrlに開示されている構造と同等であると判断したり、自然な結果として起こり得ると判断していることから、AI審査官が実際のUSPTOにおける審査で用いられる明細書と矛盾しない最も広範で合理的な解釈（broadest reasonable interpretation consistent with the specification）を適用し、その解釈に基づいて先行技術との比較を行っているという評価もできます。そのため、必ずしもこの102条が維持できるという結論とその分析が完全に間違えということも断言できないと思います。
このように、補正クレームや応答文は同じでも、質問方法を変えるだけで102条の拒絶解消の有無が変わってしまったので、現在のAI審査官による102条の判断の信頼性はありません。しかし、その分析で指摘された理由には一定の価値があると思います。
例えば、今回のOA対応で補正よるRohrlとの差別化を強調したい場合は、102条の拒絶が解消できるという回答におけるファンシュラウドの構造、開口部の配置、気流の分配、対流チャンバーと調理チャンバーの分離という点に注目し、応答書のRemarksの部分でこららの点に関してRohrlの開示内容を超えた構造が示されていることを明確に説明する主張を追加することを検討してみるのがいいでしょう。
反対に、審査官が今回の補正をもっても同じRohrlで102条の拒絶を維持することを懸念している場合、102条の拒絶が維持できるというAI審査官の回答の分析部分に着目し、補正によって追加された要素はRohrlにおいて同等とされる箇所とは異なる、または、それ以上のものであり、最も広範で合理的な解釈を用いても、同等とみなすことができないという主張を追加で加えたり、さらなるクレーム補正を検討することができます。
まとめ
本検証では、AIに審査官の役割を担わせ、102条の拒絶分析を試みました。結果として、AI単体での正確な審査は難しく、断定的な結論を導き出すことはできませんでしたが、AIの分析理由には実際の審査官が懸念する可能性のある点が含まれていました。これらの分析を活用することで、クレーム補正の改善や主張の強化など、応答書の質を向上させる可能性が示唆されました。AIを補助ツールとして活用することで、より完成度の高い特許出願対応が可能になると考えられます。
