AIのブラウザ操作とは？画面の作業をAIに任せる仕組み

ブラウザ操作とは、AIが画面を見て手を動かすこと

ブラウザとは、ChromeやEdge、Safariなど、ホームページや管理画面を見るためのソフトのことです。ふだん、私たちはブラウザで予約サイトの管理画面を開いたり、ネットショップの注文を確認したり、広告の数字を見たりしています。

AIのブラウザ操作は、この作業をAIが代わりに行う仕組みです。AIは画面に何が表示されているかを読み取り、「このボタンを押す」「この欄に文字を入れる」と判断して、実際に操作します。人がマウスとキーボードでやっていることを、AIが同じようにやる、と考えると分かりやすいでしょう。

具体例を挙げます。毎朝、予約サイトの管理画面を開いて、今日の予約の一覧を見て、人数を表に書き写している人がいるとします。ブラウザ操作ができるAIなら、管理画面を開き、予約の一覧を読み取り、表に書き写すところまでを任せられます。人は、できあがった表を確認するだけで済みます。

これまでも、決まった手順を自動で繰り返すツールはありました。ただ、そうしたツールは、画面のボタンの位置が少し変わるだけで止まってしまうことがよくありました。AIは画面の意味を読み取って動くので、多少の変化があっても、人のように判断して作業を続けやすいのが違いです。もちろん万能ではなく、大きく画面が変われば止まることもあります。

API連携との違い

システム同士をつなぐ方法としてよく聞くのが「API連携」です。APIとは、システムが外からデータを受け渡しするために用意している窓口のことです。APIがあれば、システム同士が直接データをやりとりできます。

ただ、中小企業が使っている管理画面やサービスの中には、APIが用意されていないもの、用意されていても使うのに別の契約や手続きが必要なものがあります。そうした場合、これまでは人が手で画面を操作するしかありませんでした。ブラウザ操作は、その隙間を埋める方法です。

どちらがよいというより、使い分けです。APIがあって、たくさんのデータを毎日やりとりするならAPI連携が向いています。APIがない、あるいは作業の量がそれほど多くないなら、ブラウザ操作で十分なことが多いです。

たとえば、ある予約サイトにAPIがなく、毎日数十件の予約を確認するだけ、という場面なら、わざわざ開発をするより、ブラウザ操作で済ませるほうが早くて手軽です。

任せやすい作業の例

ブラウザ操作が向いているのは、毎日や毎週、同じ手順で繰り返している画面の作業です。業種ごとに例を挙げます。

• 飲食店：レジの管理画面から毎朝の売上を取り込み、表にまとめる
• 飲食店：予約サイトの管理画面で、今日と明日の予約を確認して一覧にする
• ネットショップ：注文の管理画面から新しい注文を拾い、出荷用の表に写す
• 広告を出している会社：広告の管理画面から、昨日の表示回数や問い合わせ数を集めてレポートにする
• 工務店や設備業：問い合わせフォームの回答を確認し、案件の管理表に転記する
• どの業種でも：検索結果での自社の順位を毎朝確認して記録する

これらに共通するのは、判断はほとんど要らないが、手間と時間がかかる作業という点です。人がやると1日15分ほどでも、毎日続けば、ひと月で数時間になります。しかも、写し間違いが起きやすい作業でもあります。

反対に、「この問い合わせにどう返事をするか」といった判断が要る作業も、AIに下書きまで作らせて、最後に人が確認する形なら任せられます。たとえば、問い合わせの返信文をAIが下書きし、人が読んで承認したら送信し、管理表に記録する、という流れです。判断の部分を人に残しながら、手間のかかる部分だけをAIに任せる考え方です。

どうやって動くのか

ブラウザ操作の流れは、おおまかに次のとおりです。

1. 作業の手順を、言葉で決めておく。「この画面を開く」「この一覧を見る」「この表に写す」など
2. AIがブラウザを開き、画面に表示されている内容を読み取る
3. 手順に沿って、クリックや入力をする
4. 結果が正しいかを確かめる。思ったとおりの画面になっていなければ、やり直したり止まったりする
5. やったことを記録に残し、必要なら人に知らせる

手順1がいちばん大切です。人がふだん何気なくやっている作業も、言葉にしてみると「このときはこう判断している」という細かい決まりが隠れています。たとえば「キャンセルになった予約は数えない」「同じお客様の重複は1件にまとめる」といったことです。これを最初にはっきりさせておくと、AIの作業の質が安定します。

また、AIは1つの作業しかできないわけではありません。1台のパソコンで、複数のAIを同時に動かすこともできます。たとえば、1つのAIが売上の数字を集めている間に、別のAIが広告のレポートを作る、といった具合です。人なら順番にやるしかない作業を、並べて進められます。

動かす時間も決められます。毎朝決まった時間に動くようにしておけば、出社したときには表ができている、という形にできます。ただし、何かあったときに人が対応できるよう、最初のうちは人が見ている時間帯に動かすのがおすすめです。

向かない作業と注意点

便利な仕組みですが、何でも任せられるわけではありません。向かない作業や、気をつけたい点を整理します。

• 画面がよく大きく変わるサービス：見た目が大きく変わるたびに、手順の見直しが必要になる
• ログインのたびに携帯電話への確認が要るサービス：人の操作が途中で必要になる
• お金の支払いや送金：間違えたときの影響が大きいので、AIに任せきりにしない
• 利用規約で自動の操作を禁じているサービス：使う前に規約を確かめる
• 1回しかやらない作業：手順を決める手間のほうが大きくなる

特に気をつけたいのは、利用規約です。サービスによっては、自動のプログラムで操作することを規約で認めていない場合があります。使い始める前に確かめ、分からなければ運営会社に問い合わせるのが安全です。

ログインまわりも、事前に考えておきたい点です。管理画面によっては、一定の時間がたつと自動でログアウトしたり、新しい場所からのログインに確認を求めたりします。その場合、ログインは人が行い、ログインしたあとの作業だけをAIに任せる、といった分け方が現実的です。

また、AIは画面を読み間違えることもあります。たとえば、似た名前のボタンを押してしまう、表の行をひとつずらして読んでしまう、といったことです。最初のうちは、AIがやった結果を人が見比べて確かめる期間を設けるとよいでしょう。何日か続けて正しく動くことを確かめてから、確認の回数を減らしていくのが無理のない進め方です。

安全に任せるための決めごと

AIに画面の操作を任せるときは、人に仕事を任せるときと同じように、決めごとを作っておくと安心です。

具体例として、問い合わせへの返信を考えます。AIが新しい問い合わせを見つけて、返信の下書きを作ります。担当者がその下書きを読み、問題なければ承認します。承認されたら、AIが送信し、管理表に日時と内容を記録します。この形なら、AIは手間のかかる部分を引き受け、人は判断だけに集中できます。

情報の扱いにも気をつけましょう。ブラウザ操作をするAIは、管理画面に表示されているお客様の情報を読み取ることになります。どの情報をどこに記録するかを決め、必要以上の情報を写さないようにすることが大切です。

始め方：まず1つの作業から

ブラウザ操作を試すなら、最初は1つの作業に絞るのがおすすめです。次の順番で進めると、つまずきにくくなります。

1. 毎日か毎週、同じ手順で繰り返している画面の作業を書き出す
2. その中から、判断が少なく、間違えても影響が小さいものを1つ選ぶ
3. その作業の手順を、画面ごとに言葉で書き出す
4. 人が見ている前で、AIに何回か動かしてもらう
5. 結果を人の作業と見比べ、問題がなければ定期的に動かす

たとえば、最初の1つとして「毎朝、検索結果での自社の順位を確認して表に記録する」作業はよい候補です。見るだけの作業で、間違えてもお客様に迷惑がかかりません。うまくいったら、次は「売上の数字を表にまとめる」、その次は「問い合わせの返信を下書きする」と、少しずつ広げていきます。

うまく動き始めたら、その作業で浮いた時間を簡単に記録しておくとよいです。「毎朝15分かかっていた転記がなくなった」といった記録があると、次にどの作業を任せるかを決めるときの判断材料になります。社内で取り組みを広げるときにも、具体的な話として伝えやすくなります。

手順を書き出すときは、実際に作業している人に、画面を見ながら声に出して説明してもらうと、細かい決まりが漏れにくくなります。作業に詳しい人の頭の中にある決まりを、言葉にすることが、うまく任せるための近道です。

AIのことを、気軽に相談できる相手を

「この作業はブラウザ操作で任せられるのか」は、実際の画面と手順を見てみないと分からないことが多いものです。

株式会社ターコイズのAI相談顧問は、AIのことをチャットでいつでも気軽に相談できる月額の顧問です。AIがブラウザで管理画面を人と同じように操作する仕組みを、自社の売上の取り込みや問い合わせ対応で実際に動かしており、API連携がない画面でも任せられるかを一緒に考えます。既存のシステムとのつなぎこみなどの開発はご要望に応じてご相談で、これまでのシステム開発会社のような金額はいただきません。ご契約前のご相談は無料ですので、お問い合わせからどうぞ。