AIによる写真からのカロリー推定の仕組みと、それが外れる場面

この機能が実際に行うこと

皿にカメラを向けるか、ライブラリから写真を選ぶと、Nyamlyはその画像をGoogle Geminiに送信します。Geminiは料理を識別し、想定される材料に分解し、それぞれの分量を推定します。そこから、その食事のカロリー、たんぱく質、炭水化物、脂質を算出します。同じ基盤モデルはテキストのみのバージョンも支えています。写真の代わりに料理の説明を入力すると、同じ種類の推定が返され、アプリ内では写真より精度が低いと説明され、近似値として表示されます。

これが行われる前に、Nyamlyは一度きりの同意画面を表示し、その写真（または説明）が推定のためにGoogle Geminiへ送信されることを説明します。何が保持され、どれくらいの期間保持されるかはプライバシーポリシーに記載されています。この機能は完全に任意です。食事を手入力で記録する、あるいはバーコードをスキャンして記録する場合は、写真もAI呼び出しも同意も一切必要ありません。

確認するための推定であり、確定した数字ではない

結果は出発点であり、完成した日記の記録ではありません。Nyamlyは検出した料理、推測した分量、そしてその数字の根拠となる材料を表示し、そのすべてを編集できます。分量を修正したり、実際には存在しない材料を削除したり、誤っている材料を調整したりでき、そうして初めて何かがログに保存されます。写真推定からの結果は、この確認ステップを経ずに日記へ届くことはありません。

無料版とPro版の上限

写真推定が最も当てにならない場面

Nyamly自身のアプリ内テキストもこの点をはっきり述べています。「推定値であり、測定値ではありません。写真推定は概算であり、特に量が多い場合は少なめに出ることがよくあります。」カメラは一つの角度から皿を見るだけで、その料理に何が使われたかすべてを見ているわけではありません。他より一貫して難しい状況がいくつかあります。

• 隠れた油やバター。 上に見える形ではなく食材に吸収された調理油は、写真では単純に見えない実際のカロリーを加えます。
• 分量。 スケールの目安になるものが画面内にないと、近くから撮った皿と離れて撮った皿は、実際とは違って似たような大きさに見えてしまうことがあります。
• 混ざった料理。 シチュー、キャセロール、炒め物は材料が混ざり合うため、それぞれがどれだけ入っているかを判断しにくくなります。
• ソースやドレッシング。 薄く見えるソースの層が、その料理のカロリーの不釣り合いに大きな割合を占めることがあり、写真から実際に使われた量を過小評価しやすくなります。

これはすべての推定を疑うべき理由ではなく、まさに確認ステップが存在する理由です。ある料理に多めの油が使われていたと分かっている場合や、分量が表示より大きい・小さいと感じる場合は、保存する前に修正すべきなのはまさにそこです。

試して、そして修正する

自分の食事でどう機能するかを確かめる一番早い方法は、実際に試すことです。バーコードでスキャンした製品をNyamlyがどう評価するかについては、Nyamlyが製品を評価する方法をご覧ください。