[blsh]

Доброе время суток!
Есть MS база, надо в нее, в режиме реального времени заливать данные из файлов .тхт.
Структура:
Barcode |IndexTo|MailDirect
RA145681496RU |0 |804
Файлы появляются еже минутно и в день заливается 300-500 тысяч записей. Через сутки(бывает и меньше) SQL сервер сходит с ума и зависает. Приходится перезагружать службы и приложение. Как решить проблему????
Для работы с базой использую АДО компоненты.

[friz]

а если попробывать грузить файлы не на прямую в базу а через буфер (вспомогательную таблицу), а из нее грузить в основную например 1 раз в час. Или может грузить не каждый файл по отдельности а например сразу по 100 штук.

[TOJluK]

Сообщение от friz

а если попробывать грузить файлы не на прямую в базу а через буфер (вспомогательную таблицу), а из нее грузить в основную например 1 раз в час. Или может грузить не каждый файл по отдельности а например сразу по 100 штук.

Вроде ж автор написал, что надо в "реальном времени".
blsh, ну покаж как эти файлы обрабатываются.

[Kapitoshka438]

Может будет лучше, если файлы будут в формате xml. В MSSQL очень удобная и быстрая работа с ними. У нас в день на сервера принимаются десятки тысяч записей в разные таблицы. Загрузка идет каждые 20 минут. Все отлично работает, ничего не падает. {поплевал и постучал по дереву}

[Страдалецъ]

Возможно вы на каждую порцию транзакции применяете, вот у вас журнал и растет по дурному. Конечно без транзакций стремно, но для эксперимента можно попробовать, можно еще сам журнал задать фиксированный возможно поможет. Можно делать еще временный ежесуточный файл изменений, и вливать в основную БД из него раз в сутки.

[blsh]

Код:

ADOConnection1.BeginTrans;
ADOQuery1.Close;
ADOQuery1.SQL.Clear;

ADOQuery1.SQL.Text:='INSERT INTO Barcodes_File(Barcode, Index_To, Country, Files_Name, DateTimes) SELECT '+QuotedStr(sID)+','+QuotedStr(sIndexTo)+','+QuotedStr(sMailDer)+','+QuotedStr(FileName)+','+QuotedStr(DateTimeToStr(Now))+' WHERE NOT EXISTS (SELECT 1 FROM Barcodes_File WHERE Barcode = '+QuotedStr(sID)+' and Files_Name = '+QuotedStr(FileName)+')';

ADOQuery1.ExecSQL;
ADOConnection1.CommitTrans;

вот так я посылаю запрос к базе

[Страдалецъ]

Я бы вам рекомендовал переписать весь этот блок как хранимку, т.к. я невижу в этом коде ничего, что-бы требовало его генерацию на клиенте.

[blsh]

Я бы вам рекомендовал переписать весь этот блок как хранимку, т.к. я невижу в этом коде ничего, что-бы требовало его генерацию на клиенте.
-----можно поеснить????

[TOJluK]

Сообщение от Страдалецъ

Я бы вам рекомендовал переписать весь этот блок как хранимку, т.к. я невижу в этом коде ничего, что-бы требовало его генерацию на клиенте.

А Prepared в этом случае не спасет ситуацию?

[blsh]

Пробую! Но думаю врятли, т.к. были бы ошибки запроса!?
а у мя просто SQL перестает отвечать

[Страдалецъ]

Слушайте, я тут ваш SQL-код еще раз посмотрел, а он у вас точно работает без ошибок? Я там что-то не нашел From для первого селекта.

[Kapitoshka438]

По-моему, там нет слова FROM, потому что выборка для вставки идет не из таблицы. Это просто строка значений. => Каждая строка вставляется в отдельном запросе. Для каждой стрки отдельная транзакция. Поэтому так долго.

[blsh]

Kapitoshka438 - все верно!только вопрос не во времени а, Почему сервер падает!?

[Страдалецъ]

Ну я же уже сделал предположение. Попробуйте для начала просто закоментить

Код:

 
ADOConnection1.BeginTrans;
и
ADOConnection1.CommitTrans;

[blsh]

Сообщение от Страдалецъ

Ну я же уже сделал предположение. Попробуйте для начала просто закоментить

Код:

 
ADOConnection1.BeginTrans;
и
ADOConnection1.CommitTrans;

изначально было без этого,-появилось в процессе борьбы с проблемой
т.е.безполезно