Форум по Delphi программированию

Delphi Sources



Вернуться   Форум по Delphi программированию > Все о Delphi > [ "Начинающим" ]
Ник
Пароль
Регистрация <<         Правила форума         >> FAQ Пользователи Календарь Поиск Сообщения за сегодня Все разделы прочитаны

Ответ
 
Опции темы Поиск в этой теме Опции просмотра
  #1  
Старый 13.12.2017, 23:18
Pcrepair Pcrepair вне форума
Новичок
 
Регистрация: 20.01.2015
Сообщения: 52
Версия Delphi: Pascal
Репутация: 10
По умолчанию Ошибка Out of memory при загрузке файла в TStringList

Добрый день. Есть следующая ситуация
РС(i7 8Gb Win7 x64 + RAD XE3), приложения можно компилировать только в 32 разр. режиме
- список грузит файл с диска

Код:
Procedure RestorData;
begin
  try
    CS.Enter;
    try
      gStore.LoadFromFile(ExtractFilePath(Application.ExeName)+'Store.txt');
    finally
      CS.Leave;
    end;
  except
    on E:Exception do
    begin
      ShowMessage('RestorDataParams = '+'('+E.Message+')');
    end;
  end;
end;

- при определенных условиях(не всегда) выскакивает ошибка:
First chance exception at $7561C54F. Exception class EOutOfMemory with message 'Out of memory'. Process loader.exe (3736)
в основном ошибка выскакивает при попытке загрузить в список файл размером в 300 мб с числом строк около 3 млн. при запуске программы,
или выгрузить список обратно при выходе из программы.
- список со строками совершенно необходим(стек со списком УРЛ для загрузки), хотя...

Вопросы :
1. вообще эта проблема решаема для TStringList
2. если список не тянет, что еще можно использовать для загрузки-выгрузки милионов строк(до 500 символов в строке) из какого либо хранилища на ЖД
Ответить с цитированием
  #2  
Старый 14.12.2017, 08:06
Аватар для NumLock
NumLock NumLock вне форума
Let Me Show You
 
Регистрация: 30.04.2010
Адрес: Северодвинск
Сообщения: 5,426
Версия Delphi: 7, XE5
Репутация: 59586
По умолчанию

TStringList не справится в принципе, даже на x64. Переполнение Integer будет. Тут либо файл, либо БД проще будет.
__________________
Пишу программы за еду.
__________________
Ответить с цитированием
  #3  
Старый 14.12.2017, 10:51
Pcrepair Pcrepair вне форума
Новичок
 
Регистрация: 20.01.2015
Сообщения: 52
Версия Delphi: Pascal
Репутация: 10
По умолчанию

вообще там несколько списков точнее 5
до 300 мб все списки грузятся в ОЗУ (300+2+8+1)мб
объем памяти растет до 1600 мб, после загрузки падает до 770 мб
но на последнем списке(300 мб) начинается загрузка и тут сбой
Ответить с цитированием
  #4  
Старый 14.12.2017, 20:04
lmikle lmikle вне форума
Модератор
 
Регистрация: 17.04.2008
Сообщения: 8,015
Версия Delphi: 7, XE3, 10.2
Репутация: 49089
По умолчанию

А тебе точно надо все в память загрузить?
Помню, была задача анализа лог файла. По первомк, конечно, тоже все загрузил в память и потом уже анализировал. Через некоторое время от клиента пришел баг-репорт, что валится анализатор, т.к. у него лог-файлы были под 2 гига. Соответсвенно, пришлось переделать алгоритм - читать по строчкам и сразу вычислять суммированный результат набегающим итогом. Так и требования к памяти снизились, и работать быстрее стало.
Так что помотри на свою задачу, может тебе не надо грузиит все целиком или можно обраьотать по частям...
Ответить с цитированием
Ответ


Delphi Sources

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 19:33.


 

Сайт

Форум

FAQ

RSS лента

Прочее

 

Copyright © Форум "Delphi Sources" by BrokenByte Software, 2004-2023

ВКонтакте   Facebook   Twitter