機械学習でカスタムのデータセットを作ったらまずはチェックしよう
2020-06-04
機械学習でカスタムのデータセットを作った場合、まずは必ずデータセットが意図通りにできているかチェックしたほうが良い。
これはある意味当たり前の話だが、簡単な操作だと思って、チェックをすっ飛ばしてしまうと、後で思いがけない落とし穴にひかかってしまう。
カスタムのデータセットからバッチを構成して機械学習にまわしていたら、なんとバッチ間の正解ラベルが偏ってしまっていた。
おかげで学習が全然進まず。
シャッフルしたつもりが抜けていた、というオチ。
ずいぶんと時間を浪費したものだ。。。