iPhone の中で一日の会話を文字にする日記アプリ Liner Notes を作る中で、ぶつかった問題と、測った数字と、直したことを書いています。
- iOS のバックグラウンドで音声を処理するなら Neural Engine を使う
iOS のバックグラウンド(BGContinuedProcessingTask)では CPU の処理だけが12〜21倍遅くなり、Neural Engine は2倍以内だった。黙って消える原因3つと直し方を、実機の数字で。
- ベンチマークだけで音声認識を選ぶと危ない。自分の用途の音声で測ると結果が変わる
読み上げのベンチマークでは Apple の音声認識が最良に見えたが、会話の音声では誤りが Parakeet の約1.8倍。日本語の音声認識を選ぶときの測り方と落とし穴を、数字で。
- 文字起こしの精度が同じでも、要約の誤りは3倍違うことがある
文字誤り率が同じ2つの音声認識で、要約の誤りは3倍違った。要約の指示を厳しくすると誤りが増えた理由と、要約で比べる方法。
- Apple の PCC は、本番のリクエストの10.6%を「不適切」として拒否した
Foundation Models の Private Cloud Compute(PCC)は、本番614回のリクエストの10.6%を「不適切」として拒否し、9.6%をレート制限で止めた。起きた問題と作り直した設計。
- 先行研究の方法で自分のコピー AI を作ったが、何を学ばせても一致率は62〜67%で止まった
先行研究の方法で自分のコピー AI を作ったが、日記2万字でも自己紹介1行でも一致率は62〜67%。その人らしさは内容より話し方に出ることを、自分の録音と文献で。
- iPhone の中だけで会話を文字にする日記アプリを作って分かった 5 つのこと
5本の要点を1本にまとめた短い版。