Windowsでエラー音を設定していないときには、ビープがなるようです。
前のマシンではならなかった気がするのですが、今はピーピー言っています。

止める方法を検索すると、デバイスマネージャ等からシステムビープを止めてしまうようですが、
これだと権限が必要なので、会社のマシンは止められないです。

レジストリ検索したら、
HKEY_CURRENT_USER\Control Panel\Sound\Beep
の項目があったので、これをyesからnoに変更しました。
再起動したら有効になったようですので、メモ。