Да, надо создать. Ну или создавать ее при сохранении данных.
Например, сделать кнопку сохранения и/или при закрытии программы принудительно сохранять. Поможет ForceDirectories:
Код:
ForceDirectories(IncludeTrailingPathDelimiter(ExtractFilePath(Application.ExeName))+'Data');