Error inserting data into table microsoft sql server import wizard

I have created csv file from a table in a database created in SQL Server 2017.

Now I am trying to import data from that csv file and size of file is 19GB.

The following error appeared and import stops

TITLE: Microsoft SQL Server Management Studio
——————————

Error inserting data into table. (Microsoft.SqlServer.Import.Wizard)

——————————
ADDITIONAL INFORMATION:

Error inserting data into table. (Microsoft.SqlServer.Prose.Import)

——————————

Object reference not set to an instance of an object. (Microsoft.SqlServer.Prose.Import)

——————————
BUTTONS:

Мастер импорта неструктурированных файлов в SQL

Применимо к: SQL Server (все поддерживаемые версии) Azure SQL Управляемый экземпляр SQL Azure базы данных

Мастер импорта неструктурированных файлов позволяет легко скопировать данные из неструктурированного файла (CSV-файл, TXT-файл) в новую таблицу в вашей базе данных. Мастер импорта неструктурированных файлов поддерживает файлы форматирования с разделителями-запятыми и с фиксированной шириной. В этом обзоре описано, почему нужно использовать этот мастер, как его найти, а также приведен простой пример.

Почему нужно использовать этот мастер?

Этот мастер создан на основе интеллектуальной платформы Program Synthesis using Examples (PROSE) и позволяет улучшить текущий процесс импорта. Для пользователей, которые не обладают глубокими знаниями в предметной области, импорт данных часто представляет собой трудную и утомительную задачу, чреватую ошибками. При использовании мастера достаточно указать входной файл и уникальное имя таблицы, и платформа PROSE сделает все остальное.

PROSE анализирует шаблоны данных во входном файле и определяет имена столбцов, типы, разделители и т. д. Платформа запоминает структуру файла и выполняет все действия по обработке данных.

Подробные сведения о том, как улучшен пользовательский интерфейс мастера импорта неструктурированных файлов, см. в этом видео.

Предварительные требования

Эта функция доступна в SQL Server Management Studio (SSMS) 17.3 и более поздних версий. Убедитесь, что вы используете последнюю версию. Ее можно найти здесь.

Приступая к работе

Чтобы открыть мастер импорта неструктурированных файлов, выполните следующие действия.

1. Откройте SQL Server Management Studio.
2. Подключитесь к экземпляру ядра СУБД SQL Server или к узлу localhost.
3. Разверните узел Базы данных, щелкните правой кнопкой мыши базу данных («test» в примере ниже), выберите Задачи, а затем — Импорт неструктурированного файла над пунктом меню «Импорт данных».

Дополнительные сведения о различных функциях мастера см. в следующем руководстве:

Учебник

При выполнении действий, описанных в этом учебнике, вы можете использовать свой собственный неструктурированный файл. Если у вас нет собственного файла, можете скопировать следующий CSV-файл из Excel. Назовите этот файл example.csv и сохраните его в формате CSV в удобном месте, например на рабочем столе.

Шаг 1. Открытие мастера и страница «Приступая к работе»

Откройте мастер, как описано здесь.

Первая страница мастера — это страница приветствия. Если вы не хотите, чтобы она открывалась снова, установите флажок Больше не показывать это окно.

Шаг 2. Указание входного файла

Нажмите кнопку «Обзор», чтобы выбрать входной файл. По умолчанию мастер ищет файлы в форматах CSV и TXT. PROSE определит, является ли это файлом с разделителями-запятыми или с фиксированной шириной, независимо от расширения файла.

Имя новой таблицы должно быть уникальным. В противном случае вы не сможете продолжить работу мастера.

Шаг 3. Просмотр данных

Мастер открывает окно предварительного просмотра для первых 50 строк данных. Если в данных есть ошибки, нажмите кнопку «Отмена». В противном случае перейдите к следующей странице.

Шаг 4. Изменение столбцов

Мастер определяет имена столбцов, типы данных и т. д. Здесь можно изменить поля, если они определены неверно (например, указать тип данных с плавающей точкой вместо целочисленного типа).

Столбцы, в которых обнаруживаются пустые значения, будут иметь флажок «Разрешить значения NULL». Однако если в столбце предполагается наличие значений NULL, а флажок «Разрешить значения NULL» не установлен, здесь можно обновить определение таблицы, чтобы разрешить значения NULL в одном или во всех столбцах.

Когда все будет готово, нажмите кнопку «Далее».

Шаг 5. Сводка

Это страница сводки, на которой отображается текущая конфигурация. Если возникли проблемы, можно вернуться к предыдущим страницам мастера. В противном случае нажмите кнопку «Готово», чтобы начать импорт.

Шаг 6. Результаты

На этой странице показан результат импорта. Если на ней есть зеленая галочка, импорт завершен успешно. В противном случае проверьте конфигурацию и входной файл на наличие ошибок.

Устранение неполадок

Мастер импорта неструктурированных файлов определяет типы данных на основе первых 200 строк. В сценариях, где данные, расположенные в неструктурированном файле, не соответствуют автоматически обнаруженным типам данных, во время импорта возникнет ошибка. Сообщение об ошибке будет выглядеть следующим образом:

Тактики устранения этой ошибки:

• Расширение размера(ов) типа данных на шаге Изменение столбцов, например длины столбца nvarchar, может компенсировать отклонения данных от остальной части неструктурированного файла.
• Включение отчета об ошибках на шаге Изменение столбцов, особенно по меньшему числу, покажет, какие строки в неструктурированном файле содержат данные, не соответствующие выбранным типам данных. Например, в неструктурированном файле, где во второй строке появляется ошибка, при выполнении импорта с отчетом об ошибках с диапазоном 1 появляется конкретное сообщение об ошибке. Проверка файла непосредственно в расположении может обеспечить более точные изменения типов данных на основе данных в определенных строках.

Дополнительные сведения

Дополнительные сведения о мастере.

• Дополнительные сведения об импорте из других источников. Если вы хотите импортировать несколько неструктурированных файлов, обратитесь к разделу Мастер импорта и экспорта SQL Server.
• Дополнительные сведения о подключении к неструктурированным файлам в качестве источников. Если вам необходимы дополнительные сведения о подключении к неструктурированным файлам в качестве источников, обратитесь к разделу Подключение к источнику данных неструктурированного файла.
• Дополнительные сведения о PROSE. Если вам необходимы сведения об интеллектуальной платформе, которая используется этим мастером, обратитесь к разделу Пакет SDK для PROSE.

Источник

Error inserting data into table microsoft sql server import wizard

The error message don’t provide usefull information or a reason, why the error occurs; Looks like a bug. Which version of SSMS are you using?

Please Mark This As Answer if it solved your issue
Please Vote This As Helpful if it helps to solve your issue
Visakh
—————————-
My Wiki User Page
My MSDN Page
My Personal Blog
My Facebook Page

SSMS is a 32-bit application, so I am not surprised that it chokes on a 19 GB file.

If you want to copy a table straight off, the easiest way to do this is:

Replace the database, table and server name with the actual. -T is for Windows authentication. Use -U and -P for SQL authentication.

The target table must exist and have the same definition.

Erland Sommarskog, SQL Server MVP, esquel@sommarskog.se

Based on the error message, it looks like that you are using the Import and Export Wizard to import this csv file. The error message “Object reference not set to an instance of an object.” indicates that some problem occurs inside this tool.

Источник

Error inserting data into table microsoft sql server import wizard

This forum has migrated to Microsoft Q&A. Visit Microsoft Q&A to post new questions.

Answered by:

Question

I am trying to import a csv file into a table. First time I am really using sql server.

I am using the new flat file wizard for Express 2017.

All the column types have been changed to nvarchar(max)

My csv file has 27000 records.

8000 records import and then the error

Object reference not set to an instance of an object. (Microsoft.SqlServer.Prose.Import)

Can I get additional information on the error?

Answers

Make sure you set it as given in below link

Please Mark This As Answer if it solved your issue
Please Vote This As Helpful if it helps to solve your issue
Visakh
—————————-
My Wiki User Page
My MSDN Page
My Personal Blog
My Facebook Page

• Proposed as answer by Lin Leng Microsoft contingent staff Tuesday, December 12, 2017 7:54 AM
• Marked as answer by Olaf Helper MVP Friday, April 13, 2018 5:00 PM

sounds like the csv file is not consistent. maybe more commas than the beginning or missing quotes around text columns.

read the file into Excel and verify everything is OK. Then, save Excel as an xlsx file and try to import it through Data Import/Export wizard.

Thomas LeBlanc twitter ( @TheSmilingDBA )

Make sure you set it as given in below link

Please Mark This As Answer if it solved your issue
Please Vote This As Helpful if it helps to solve your issue
Visakh
—————————-
My Wiki User Page
My MSDN Page
My Personal Blog
My Facebook Page

• Proposed as answer by Lin Leng Microsoft contingent staff Tuesday, December 12, 2017 7:54 AM
• Marked as answer by Olaf Helper MVP Friday, April 13, 2018 5:00 PM

What within the link provided answers the original question? Also, linked sources disappear, so it would be good to provide a summary of the solution here please.

As it is, I read the referenced article and find it is only the most basic introduction and doesn’t address Prose errors. It would be helpful if someone else at Microsoft could chime in to help others with this error.

What within the link provided answers the original question? Also, linked sources disappear, so it would be good to provide a summary of the solution here please.

As it is, I read the referenced article and find it is only the most basic introduction and doesn’t address Prose errors. It would be helpful if someone else at Microsoft could chime in to help others with this error.

Can you create a new thread if the solution provided in this thread doesn’t work for you?

The solution provided my have worked for the OP and he/she would have chosen it as answer. So, if that doesn’t work , go ahead and crate a new thread.

Please use Marked as Answer if my post solved your problem and use Vote As Helpful if a post was useful.

Источник

Error inserting data into table microsoft sql server import wizard

The error message don’t provide usefull information or a reason, why the error occurs; Looks like a bug. Which version of SSMS are you using?

Please Mark This As Answer if it solved your issue
Please Vote This As Helpful if it helps to solve your issue
Visakh
—————————-
My Wiki User Page
My MSDN Page
My Personal Blog
My Facebook Page

SSMS is a 32-bit application, so I am not surprised that it chokes on a 19 GB file.

If you want to copy a table straight off, the easiest way to do this is:

Replace the database, table and server name with the actual. -T is for Windows authentication. Use -U and -P for SQL authentication.

The target table must exist and have the same definition.

Erland Sommarskog, SQL Server MVP, esquel@sommarskog.se

Based on the error message, it looks like that you are using the Import and Export Wizard to import this csv file. The error message “Object reference not set to an instance of an object.” indicates that some problem occurs inside this tool.

Источник

One Click Feedback

Please help us to improve the site by rating the quality of this article
by clicking a button below.

Excellent

Good

Average

Poor

Awful

The SQL Server Import and Export Wizard is useful for copying data from one data source (e.g. a SQL Server database) to
another. Although the interface is fairly simple there are a few “gotchas” to be aware of. Here are a few issues I’ve
found while loading data from one SQL Server database into another.

Identity Columns

The wizard doesn’t treat identity columns any differently to other columns, so will usually fail when trying to insert data into a
table that has an identity column. However the error message can be a bit misleading :

The issue here is that the ‘SystemInformationID’ column in this table is defined as an identity column, although that’s
not immediately obvious from the error message. Fortunately there is an easy solution in that you can select an option in
the wizard to allow specific values to be inserted into the identity column, much like you can with a SQL query. To do this
select the relevant tables in the ‘Select Source Tables and Views’ page by clicking the checkbox in the header for all tables,
or you can just select which tables you want copying. Make sure the tables you want are actually selected (i.e. not just
checked). In my case I’ve just selected all the tables in my database :

Click on the ‘Edit mappings…’ button towards the bottom of the screen and the following window should appear:

If you select the ‘Enable identity insert’ as indicated in the picture above then the values of any identity columns will
simply be copied across from the source database.

Timestamp Columns

The wizard will also attempt to copy any timestamp columns in the same way it would for a column of any other data type. Unfortunately
timestamp columns can’t be explicitly set to a specific value so this will always fail. If you try it then you will probably get an
error message like this one (obviously the column name will be different for you) :

Again the error is perhaps a bit misleading as there is no mention of ‘timestamp’, but row version is just a
synonym for timestamp. The solution is to not copy any columns that are timestamps. To do this you just need to click
the ‘Edit Mappings…’ in the ‘Select Tables and Views’ screen for the table in question. This should display a screen
similar to this one :

As you can see in my table the ‘LastUpdated’ column is a timestamp column. To stop the error occurring just set the
destination to ‘ignore’ in the drop down that appears when you click on that cell :

If there is more than one table with a timestamp you’ll need to repeat this for each table.

Constraints

If the table has foreign key constraints on then the chances are you will get a constraint failure message at some point. The Wizard
does not load tables in any specific order for constraints, so it is quite possible that the foreign key table will get loaded
before the table it refers to is loaded, causing a foreign key constraint failure. The error message will be something like :

“The INSERT statement conflicted with the FOREIGN KEY constraint».

The error in the Wizard will probably be similar to :

The easiest way to get around this is to disable constraints during the load and then re-enable them again afterwards.

To disable all constraints on a specific table run the following SQL (in this case for the Address table) :

ALTER TABLE Address NOCHECK CONSTRAINT ALL

However you’ll need to disable constraints on all tables to be sure of avoiding errors. You can do this with the undocumented stored
procedure sp_MSforeachtable as follows :

EXEC sp_MSforeachtable @command1=»ALTER TABLE ? NOCHECK CONSTRAINT ALL»

This will disable all constraints on all tables. Once the data has been loaded constraints can be re-enabled with the following :

EXEC sp_MSforeachtable @command1=»ALTER TABLE ? WITH CHECK CHECK CONSTRAINT ALL»

The ‘WITH CHECK’ option specifies that the data is validated against the constraint.

Triggers

If you have triggers in your database then these will not fire when using the import wizard. If you were relying on the
trigger code running then you will need to do this manually once the data is imported.

Added March 2016 :

202 and 200 Data Conversion Errors

When importing or exporting data using a query, the VARCHAR data type is incorrectly recognised as a ‘200’ data type and the NVARCHAR
as a ‘202’ data type. This causes the wizard to fail, with a message similar to that below in the ‘Review Data Type Mapping’ screen.

This is a bug in some versions of SSIS and it only occurs when the data source is a query (rather than a table or view).
The workaround I use is to insert the data from the query into a table, and then use the table as the data source. This avoids
the need to use a query for the data source. An alternative is to create a view that references the query and use that as the data source.

In both cases the table or view can be deleted once the data has been imported.

As part of Microsoft’s Hackathon, the engineering team created an initial prototype extension for the SQL Server Import extension, otherwise known as Import Flat File Wizard.

The SQL Server Import extension can import any .txt or .csv file into a database and convert into a SQL table, and this marks our first import experience in SQL Operations Studio. The beauty of this feature is the user is not overwhelmed with complex configuration options when all they want to do is import a flat file.

Harnessing the power of AI, the Import Wizard uses a Microsoft Research technology known as Program Synthesis Using Examples, or PROSE. PROSE can automatically detect a file’s data types, delimiters, column names, and file structure without the user having to explicitly define the configuration. See an end-to-end demo in the GIF below.

For most users, SQL Server Import turns into a 5 click experience to go from flat file to SQL table. Let’s go into a bit more detail.

Requirement

In order to launch the wizard, make sure you have an active connection. Otherwise, error is thrown.

UI Entry Point

After downloading the SQL Server Import Extension (in a future Insider’s Build or on August 22nd), the user has two entry points:

• Hotkey (Ctrl + i on Windows and Mac)
• Settings (Bottom-left gear) -> Command Palette -> Type ‘import’

We are still experimenting the best entry point. Things we are considering and would appreciate feedback:

• Right-click option on database in object explorer
• Default Task widget on Database dashboard. (we are concerned of overriding user’s default dashboard)

New Table Details

In SSMS, the user can only select a file, table name, and schema. We added Server, which detects only active servers, and Databases, which detects databases in the selected server. Since our current implementation allows the wizard to be opened anywhere and not restricted to a database, we allowed user flexibility to open wizard any time. Let us know if this is an issue.

We don’t want to daunt the user of having too many configuration options on first page, but please let us know if we should include additional items. Next is disabled until all fields are filled. Table name is auto-filled, but will throw error on client-side if table name already exists.

Preview Data

image

This page makes a call to our PROSE backend and pops out a preview. The PROSE learning is applied to the first 200 rows, but for now we just display the first 50 rows as a sanity check for the user. User does not do anything except view data.

One thing we are considering is adding override options on this page so that the user can:

• Change delimiter
• Skip n number of lines of header
• Change number of lines to apply PROSE learning
• Change character encoding

The idea is that the user can automatically generate a new preview with new override options. Let us know if this is important to you.

Modify Columns

This page allows the user to change Column Names, Data Types, Primary Key, and Nullability. PROSE automatically can learn the data types of the file and will choose best option. As a user, you have an editable dropdown to choose from T-SQL valid data types, and also change number of characters such as varchar(999) in case you have a long string value on row 9999. Let us know if this UI is helpful

We have heard feedback that a clusterable and columnstore checkbox would be helpful when dealing with those server instances. Let us know how important that is to you.

Summary

Once you click Next, PROSE will import the whole file into a SQL table that will be added to your database. If it is successful, a success message will appear and tell you how many rows were successfully inserted. Let us know if you would like a bigger checkmark or more colorful indicator.

The more interesting scenario is for error cases. For now, we are working on an error message that says «error at lines 10-20,» but due to limitations of SQL Bulk Copy, we can’t get any more granular than that. Let us know how high of a priority it is to have of error scenarios you have run into the past so that we can figure out how to best share this information.

Import New file

This is a nice button on the summary page, but this will remember your server and database you selected and right away you can import another file. Makes it easy to import multiple files. We would eventually like to import directories of files or make this scriptable, but there are current complications and bandwidth issues, so that is lower priority for now.

Future work

We captured some additional scenarios in the walkthrough above, but there are some plans in the works:

• JSON support and additional file support
• Excel Flash Fill in Modify Columns (so user doesn’t have to modify 100 individual columns)
• Ability to apply learning to a file

We can’t wait to get this extension in your hands this month, but please let us know how we can improve the UI for this wizard. Let us know what you prioritize, and we can work together to incorporate into our plans. Please spread the word about this conversation.

Let us know what you would like to see in SQL Server Import in this issue. We would love to hear your feedback as we continue to experiment with Open Design so that we are building features that our users love. Thank you.

Я получаю сообщение об ошибке при вставке плоского файла в SQL Server. Прямой перенос с SQL Server на SQL Server невозможен. Данные должны быть экспортированы, а затем импортированы. Примечание. Данные были экспортированы с сервера SQL с текстовым квалификатором «двойные кавычки» и символом «|» в качестве разделителя. Я попытался повторно извлечь данные, используя формат фиксированной ширины, который все еще не может быть импортирован. Пожалуйста помогите.

Сообщение об ошибке :

Ошибка вставки данных в таблицу. (Майкрософт.SqlServer.Import.Wizard)

------------------------------
Program Location:



 at Microsoft.SqlServer.Import.Wizard.InsertData.ResultCheck(Result result)
   at Microsoft.SqlServer.Import.Wizard.InsertData.DoWork()
   at Microsoft.SqlServer.Management.TaskForms.SimpleWorkItem.Run()

===================================

Error inserting data into table. (Microsoft.SqlServer.Prose.Import)

------------------------------
Program Location:

   at Microsoft.SqlServer.Prose.Import.BcpSynthesis.InsertIntoDB(String inputFilePath, String tableName, String schemaName, SqlConnection connection, Int32 batchSize, SqlTransaction transaction)
   at Microsoft.SqlServer.Prose.Import.BcpProcess.<>c__DisplayClass42_0.<InsertIntoDb>b__0()
   at Microsoft.SqlServer.Prose.Import.BcpProcess.ExecuteOperation(Action operation)

===================================

Object reference not set to an instance of an object. (Microsoft.SqlServer.Prose.Import)

------------------------------
Program Location:

   at Microsoft.SqlServer.Prose.Import.OutputDataReader.GetValue(Int32 i)
   at System.Data.SqlClient.SqlBulkCopy.GetValueFromSourceRow(Int32 destRowIndex, Boolean& isSqlType, Boolean& isDataFeed, Boolean& isNull)
   at System.Data.SqlClient.SqlBulkCopy.ReadWriteColumnValueAsync(Int32 col)
   at System.Data.SqlClient.SqlBulkCopy.CopyColumnsAsync(Int32 col, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.CopyRowsAsync(Int32 rowsSoFar, Int32 totalRows, CancellationToken cts, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.CopyBatchesAsyncContinued(BulkCopySimpleResultSet internalResults, String updateBulkCommandText, CancellationToken cts, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.CopyBatchesAsync(BulkCopySimpleResultSet internalResults, String updateBulkCommandText, CancellationToken cts, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.WriteToServerInternalRestContinuedAsync(BulkCopySimpleResultSet internalResults, CancellationToken cts, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.WriteToServerInternalRestAsync(CancellationToken cts, TaskCompletionSource`1 source)
   at System.Data.SqlClient.SqlBulkCopy.WriteToServerInternalAsync(CancellationToken ctoken)
   at System.Data.SqlClient.SqlBulkCopy.WriteRowSourceToServerAsync(Int32 columnCount, CancellationToken ctoken)
   at System.Data.SqlClient.SqlBulkCopy.WriteToServer(IDataReader reader)
   at Microsoft.SqlServer.Prose.Import.BcpSynthesis.InsertIntoDB(String inputFilePath, String tableName, String schemaName, SqlConnection connection, Int32 batchSize, SqlTransaction transaction)