きっかけは、iPhoneでしていたこと

私はiPhoneで分からない画面やエラーが出たとき、スクリーンショットを撮ってChatGPTに送ることがよくあります。最近では、PLAUD NOTEやPLAUD NotePinのアプリでエラーが出たときも、画面を送って設定や次の操作を相談しました。

以前の私は、全盲なので「スクリーンショットを撮る」という発想そのものがほとんどありませんでした。しかし、iPhoneでこの使い方が日常になり、Windowsでも同じようにChatGPTへ画面を送りたいと思うようになりました。

Windowsで初めて試してみた

使ったのは、Windowsキー、Shiftキー、Sキーのショートカットです。押すとNVDAが「Snipping Tool オーバーレイ」と読み上げました。ところが、Tabキーを押しても「全画面表示の切り取り」が見つかりません。

そこでNVDAのスピーチ履歴をChatGPTに伝えました。読み上げの中に「切り取り領域、コンボボックス、四角形、Alt＋A」とあったため、Alt＋Aでコンボボックスを開き、下矢印キーで全画面表示を選ぶ方法を教えてもらえました。

画像1。NVDAのスピーチ履歴を手がかりに、ChatGPTから次の操作を教えてもらいました。

同じチャットの中で、相談を深められる

これまでもBe My Eyesを使って、Windowsの画面を見てもらうことはありました。その場で何が表示されているかを確認するには、とても便利です。ただし、Be My Eyesでのやり取りはBe My Eyesの中で完結し、ChatGPTで続けて相談する場合には、画面の内容や、それまで試した操作をあらためて説明する必要がありました。つまり、画面を見てもらうことはできても、その情報がそのままChatGPTとの会話につながらず、前後の経緯を踏まえて相談を深掘りしにくかったのです。

ChatGPTへスクリーンショットを直接送れば、それまで試した操作やNVDAの読み上げ履歴と、画像を同じ会話の中でつなげられます。例えば今回も、最初の画面をそのまま送れていれば、「Alt＋Aを押して、コンボボックスから全画面を選ぶ」と、より早く教えてもらえたかもしれません。

画像2。実際にChatGPTへ送ったWindows画面です。公開に不要な情報は黒塗りしています。

見えない画面へ近づくための手がかり

この感覚は、GoogleマップやVoiceVistaを使って外出するときと少し似ています。アプリだけですべてが解決するわけではありません。近くまで行ったあと、人に尋ねたり、周囲の音を確認したりする工夫は必要です。

それでも、行ったことのない場所までの道筋を思い描き、以前なら無理だと思っていた場所に近づけるようになります。スクリーンショットをChatGPTへ送ることも、見えない画面で止まらず、次へ進むための手がかりになると感じました。

やりたかったことが、できるようになった

今回、Windowsでもスクリーンショットを撮り、ChatGPTとの同じ会話の中で画面を確認してもらえるようになりました。できる人にとっては小さな操作かもしれません。しかし私にとっては、見えない画面に自分から一歩近づくための、新しい方法を手に入れたような感覚があります。

iPhoneで日常的に行っていたことを、Windowsでもできるようになりました。やりたかったことがChatGPTとのやり取りを通して実際にできるようになったことが、私はとても嬉しく、幸せに感じています。