視覚障がい者のiPhone（VoiceOver）教室 テキスト
5-3-a Be My AIで写真を説明する(暫定版）
姫路デジタルサポート
2024年1月10日
PDF版
目次
１ Be My AIについて
Be My AIは写真を詳細に説明する、Be My Eyesの一つの機能です。これまで、人の表情を説明したり、情景を簡単に説明するアプリはいくつかありましたが、どのような写真かを理解する上ではという点では実用には程遠いものでした。BeMy AIは、写真に写っている主な要素と背景を詳しく説明します。例えば、人が写っている写真ではその人が何をしているのか、また、隣にいる人との関係なども説明してくれます。
Be My AIの写真説明は画期的なもので、人が目で見ることに近づいたと言えます。これまで、見えない人にとって写真はかかわりが少ないものでしたが、Be My AIを利用することで写真に対する概念が変わるのではないかと思われます。しかし、文字に関する説明は間違っていることもあり、注意が必要です。
Be My AIは、直接カメラで撮ること以外に、メールの添付写真やWebページの写真からも利用できます。これから目が見えない方にも写真を身近なものとして感じてもらうため、このテキストでは、メール・LINEの添付写真やWebページの写真もBe My AIで解析する方法を解説します。
- ・（参考）ポッドキャスト Be My AI 特集 「写真に対す考え方が変わるなって」
- https://jbict.net/journal/podcast/012
２準備
(1)インストール
Be My Eyesアプリをインストールします。2024年１月時点の最新バージョンは、v.5.3です。
・アプリのリンク
インストールの方法については下記のURLを参考にしてください。
(2)アップデート
Be My Eyesアプリを最新バージョンにアップデートします。バージョン4.6以下ではBe My AIが利用できません。
アプリのバージョンの確認については、次のとおりです。
・画面最下部のタブバーをなぞり法で探し、「設定」タブをダブルタップします。
・画面中央部で1本指のタップをします。その後、右スワイプで「バージョン」と読み上げるまで進みます。
(3)参考
Be My AIの使い方について参考になる動画があります。
（ニポラチャンネル）
・第68回 iPhoneアプリ Be My AIの新機能がすごい
・第６９回 これは便利！【続編】iPhoneアプリBe My AIで写真を解析
３カメラで撮った写真を説明させる
(1)Be My AIのカメラで写真を撮る
Be My AIのカメラで撮った写真を説明させる方法を以下に説明します。大まかな流れは、「Be My AI」タブを押し、「写真を撮る」をダブルタップすることでデータがAIに送られ、解析が開始されます。
具体的な操作方法は次のとおりです。
- ①アプリ起動後、画面最下部のタブバーに移動します。
- ホームボタンからゆっくりと人差し指で上にスライドさせると「タブバー」と読み上げます。そこがタブバーで、右スワイプまたは左スワイプでタブを移動できます。一番左が「サポート」タブです。
- ②左から２つ目の「Be My AI」ボタンにし、１本指ダブルタップします。「カメラを起動」と読み上げます。
- ③説明をしてほしい風景など対象にカメラを向けます。
- ④左スワイプで「写真を撮る」ボタンまで移動し、一本指ダブルタップします。解析中との読み上げ、サウンドが鳴ります。
- ⑤その後、解析結果がテキストで表示され、VoiceOverが自動で読み上げます。
- この説明のコピーが必要な場合、下スワイプで「コピー」まで進み、ダブルタップをすることで、クリップボードにコピーされます。SNSなどの投稿写真に代替テキストを貼り付けることができます。また、iPhoneの写真のキャプションに貼り付けることもできます。
(2)追加の質問
この読み上げが不十分な場合、さらに、この写真についてAIに追加の質問をすることができます。
- ・右スワイプすると、メッセージテキストフィールドと読み上げます。このテキストフールドに質問を記入します。
- ・テキストフィールドを１本指ダブルタップします。テキストフィールド編集中と読み上げます。
- ・キーボードから入力を行います。または、音声入力を行います。音声入力する場合は次のとおりです。
- – ２本指ダブルタップすると、「ポン」というサウンドがなるので、そのタイミングで、発話を開始します。
- – 発話が終われば、２本指でダブルタップを行い、音声入力を終了します。
- ・右スワイプで、「メッセージ送信」ボタンまで進み、ダブルタップすることで、AIにデータが送られます。この場合は、サウンドがありませんがありませんので、注意が必要です。
- ・解析結果がテキストで表示され、自動で読み上げます。
- ・追加の質問は何度でもできます。また、この文脈に関して追加の写真を撮ることもできます。
- ・追加の説明でも不十分な場合は、ボランティアに診てもらうため、「ボランティアに通話する」ボタンをダブルタップします。
４メール・Lineに添付された写真やWebページの写真を説明させる
(1)メールに添付された写真
iPhoneに標準で搭載されている「メール」アプリを使って写真の説明をさせる方法について述べます。他のメールアプリでも同じことができますが、操作方法が少し異なります。
- ①本メールのメッセージ画面を開き、右スワイプで目的の写真に進みます。写真は本文の後にあり、読み上げの最後に画像と読み上げます。
- ②その写真をダブルタップします。写真のファイル名が読み上げられます。
- ③右スワイプを３回して、ツールバーの「共有」ボタンに進み、ダブルタップします。
- ④共有画面において右スワイプで「ビーマイアイズで解析する」ボタンまで進みます。通常、共有画面には多くのボタンが配置されており、「ビーマイアイズで解析する」ボタンは最後から２つ目に配置されています。そのため、３本指上スワイプを２、３回行い、ページをスクロールさせるとボタンに早く到達できます。
- ⑤「ビーマイアイズで解析する」ボタンをダブルタップします。「しばらくお待ちください。ビーマイアイに入力中です」との読み上げがあります。
- ⑥しばらくして「この写真は」と説明の読み上げがあります。これ以降は、前述の「３カメラで撮った写真を読み上げる」と同じです。
(2)Lineに添付された写真を説明させる
Lineに添付された写真もBE My AIで説明させることができます。メールの場合は「共有」機能を使いましたが、他のアプリでもこの機能を使うことができ、Lineアプリでは「転送」機能と呼ばれています。
- ①Lineのトークにおいて、右スワイプで目的の写真に進みます。
- ②さらに、右スワイプで「転送」ボタンまで進み、ダブルタップします。
- ③「送信先を選択」画面において、「他のアプリ」ボタンまで進み、ダブルタップします。なお、「他のアプリ」ボタンは、十数個のボタンの最後に配置されています。ダブルタップすると、数字が読み上げられ、「共有画面」が表示されます。
- ④共有画面において右スワイプで「ビーマイアイズで解析する」ボタンまで進みます。この後の操作ステップは、メールアプリの④のステップと全く同じです。
(3)Webページの写真を説明させる
Webページの閲覧アプリとして、ここではSafariアプリを使って説明します。
- ①画像のあるWebページをSafariで開きます。
- ②右スワイプで写真（画像と読み上げる）まで進みます。
- ③１本指でトリプルタップ、または、ダブルタップ＆ホールドを行います。
- ダブルタップ＆ホールドとは、ダブルタップの後、指を上げずに長押しをすることです。
- ④メニューウインドウが表示され、「共有」ボタンと読み上げますので、ダブルタップします。
- ⑤画像と読み上げます。ここからは、メールアプリの④のステップと全く同じなので、右スワイプで「ビーマイアイズで解析する」ボタンまで進みます。
４写真フォルダーの写真を説明させる
- ①説明させる写真を選択する
- ・写真アプリを起動します。
- ・なぞり法で画面最下部のタブバーに移動します。
- ・右または左スワイプで「ライブラリー」タブまで進み、ダブルタップします。
- ・左スワイプで進むと、「写真○日×時△分」と読み上げます。
- なお、「年別」「月別」「日別」と読み上げた場合は、上または下スワイプで「すべての写真」と読み上げさせます。その後、左スワイプすると「写真」に進むことができます。
- ・通常、「すべての写真」画面は、すべての写真がサムネイル（小さな写真）の形式で１行に４個のサムネイルが並んでいます。写真は撮影日時順に並んでいて、一番下が最新の写真となります。タブバーから左スワイプすると最新の写真に移動することができます。
- ②目的の写真を選択する
- 撮影日時をもとに写真に移動し、ダブルタップします。ダブルタップすることで選択した写真が大きく表示されます。
- ③右スワイプして「共有」ボタンに進み、ダブルタップします。画面の下半分に共有画面が表示されます。
- ④右スワイプしてもカーソルを共有画面に移動させることはできないので、画面下半分に１本指でタップして移動します。＊このステップはコツが必要です。
- ⑤共有画面において右スワイプで「ビーマイアイズで解析する」ボタンまで進みます。この後の操作ステップは、メールアプリの④のステップと全く同じです。
５応用
(1)追加の質問
次のような追加の質問をしたところ、適切な回答が返ってきました。文脈に応じた追加の質問で適切な回答が返ってくることがわかりました。Be My AIを活用する上で、この「追加の質問」をうまく利用することが大切です。
- ①駐車場の写真、駐車場の台数は何台くらい？
- 上記の写真では、８台と回答がありました。また、「最も右の車は何色？」との追加質問をすると、黒色の車と回答がありました。
- ②夕焼けの風景の写真に関して、「何時ころに取られた写真？」と追加質問をしたところ、「夕方に撮影されたものと推測される」との回答がありました。
(2)適用分野
①情景を撮った写真
例えば、上記の住宅の写真を説明させると、次のような説明がありました。
＜ある住宅の家の写真の説明＞
- 写真は家の前の駐車スペースを示しています。以下の特徴があります:
- – 2階建ての白い家で、木のアクセントがある外壁
- – 家の前には、青い透明な屋根が付いたカーポトがあります
- – カーポートの下には自転車が1台駐輪されています
- – 家の右側には電気メーターといくつかの配管が見えます
- – 家の左側には小さな庭があり、中には植物が植えられています
- – 駐車スペースはコンクリートで舗装されており、家の前には小さな段差があります
- – 写真の前景には道路があり、マンホールの蓋が2つ見えます。
- ＊電気メーターと配管との説明がありますが、正確にはガス給湯器と配管です。
別の写真の例では、実際にはない「階段がみえる」「標識がある」などの記述がありました。
②漫画
③名刺
名刺を解析させたとこる、説明文には名前が記載されていませんでした。また、住所や会社名などが間違っていました。名刺情報はほとんど文字情報のため、名刺をBe My AIの対象することは、不適切と考えられます。他のOCRアプリや名刺アプリの利用が適している対象と言えます。
④水道使用水量のお知らせ
お知らせを解析したところ、住所は間違っていたが、水道使用量、料金は正しく説明されていました。文字情報の部分は、例えば、使用者番号が顧客番号と、検針順路が検針員番号などと間違って記述されていました。
他のOCRアプリと比較することも必要と思われます。
④レシート
購入日、店舗名、商品名ごとに金額、合計金額を説明してくれ、それぞれの金額や合計金額は正確で間違えることはありませでした。しかし、店舗名や商品名も、はっきりと明示されますが、推定されたものであり、実際の店舗名や商品名と異なる場合が多いです。
⑤銀行の通帳
通帳を拡げた写真を解析させると、出入日、出入項目、出入金額、残高などの概要を説明してくれますが、詳細を知ることができません。
そこで、「日にちごとの、取引項目と金額、残高を教えください」と追加質問すると、日にちごと、それぞれについて説明してくれます。日にち、金額はほとんど間違いがありませんので、数字については推定を行っていないように思われます。なお、取引項目については、文字情報のため、正しく記載されないことが多いです。
銀行通帳にBe My AIを適用できる可能性がありますが、さらに、慎重な検討が必要と思われます。
⑥薬などは別物を表示する 正しい場合もある
市販薬「ロキソニンS」は、正しい商品名が返ってきましたが、実際の表示は「痛みに速く効く」に対して、Be My AIは「痛み止め」と説明しています。しかし、湿布薬の薬名は、別の名前になっていました。
⑦（Be My AIリリースノートに記載されている利用法）
駅・バス停の時刻表、服装のコーディネーション、食品包装・レシピ、家電製品の操作ボタン、ラップトップ・スマートフォン・タブレットのセットアップの指示書、床に落としたもの、SNSの写真、絵画・銅像・芸術作品、レストランのメニュー・レシート、化粧品とメークアップ
■提案
Be MyAIは、情景を撮った写真については、人が写真をみた時に近い説明をしてくれますが、①の例にみられるように、正確ではない部分があったり。実際にないものもがあるよう説明をすることがあります。写真全体の理解においてはこのような不正確な部分も大きな問題にならないでしょう。一方、交通標識等の確認など正確性が求められる場合には、Be My AIの利用は避けるべきと考えられます。
漫画や水道使用量の通知、レシート、銀行通帳などは、適用部分を一部制約する、また、追加質問を工夫するなど、利用方法について検討を行う必要があります。また、Be My AIのリリースノートに記載されている⑦の利用方法については、それぞれ詳細な検討を行う必要があります。
サイト運営者：姫路デジタルサポート（ボランティア団体）VoiceOver操作テキスト一覧 ICTサポート活動 ボランティア募集 お問い合せ サイトマップ