.NETのconfigファイルが変？

久々にVB.NETをやった。あるシステムの修正。
で、無事に終わって客先のプログラム入替の時に変なことが起こった。
DB接続先などをconfigファイルに書いてあるんだけど、修正したプログラムを起動すると・・・なぜか会社のサーバーに接続しようとする！
configファイルは客先にあるものを使っていてさわったことはないので？？？がいっぱい。
どうやら原因はexeファイルのファイル名を変更したからのようだ。
実はビルドしてできたexeファイル名(hogehoge.exe)からファイル名を変更していた(hogehoge-1.1.0.exe)のだ。
元のファイル名(hogehoge.exe)に戻したら無事にconfigファイルに書いてあるDBに接続に行きました。
でも、これってすごい不思議なこと・・・。
ってことはconfigファイルがない場合のデフォルト設定（？）もしくは前回の起動時設定みたいなのをexeが覚えているってことでしょ？
気持ち悪い・・・.NET
もともと言語仕様がかなり気に入らなかったんだけど、今回の件でますます嫌いになったよ・・・。