SSIS教程

SSIS教程提供SQL Server集成服务的基本和高级概念。我们的SSIS教程是为初学者和专业人士设计的。

SQL Server集成服务是一种快速而灵活的数据仓库工具，用于数据提取、转换和数据加载。它可以很容易地将数据从一个数据库加载到另一个数据库，如SQL Server, Oracle, Excel文件等。

在本教程中，我们将讨论以下主题:

• 什么是SSIS
• 什么是数据集成
• 为什么SSIS
• SSIS如何工作
• SQL Server集成服务要求
• 什么是SSIS方案
• SSIS任务
• 数据流任务示例
• 使用实例执行SQL任务

什么是SSIS?

• SSIS代表SQL Server集成服务。
• 它是Microsoft SQL Server数据库软件中可用的组件，用于执行广泛的集成任务。
• 它是一个数据仓库工具，用于数据提取、将数据加载到另一个数据库、转换(如清洗、聚合、合并数据等)。
• SSIS工具还包含图形化工具和窗口向导的工作流功能，如发送电子邮件消息、ftp操作、数据源等。
• SSIS用于执行广泛的转换和集成任务。总体而言，SSIS工具用于数据迁移。

SSIS是一个主要用于执行两个功能的工具:

• 数据集成
  SSIS通过组合来自多个数据源的数据来实现数据集成，并向用户提供统一的数据。
• 工作流
  工作流可以用来执行几件事。有时我们需要执行一些特定的步骤或特定的路径，这些步骤或路径是基于传递给包的参数或从数据库查询的数据。它可用于SQL Server数据库的自动化维护，并提供多维分析数据的更新。

什么是数据集成?

数据集成是一个用于集成来自多个数据源的数据的过程。数据可以是异构数据，也可以是同构数据。数据可以是结构化、半结构化或非结构化的。在数据集成中，来自不同数据源的数据进行集成，形成一些有意义的数据。

实现数据集成的方法有:

• 数据建模:在数据建模中，首先需要创建数据模型并对其执行操作。
• 数据分析:数据分析是一个用于检查可用数据中的错误、不一致或变化的过程。数据分析确保数据质量，其中数据质量指的是数据的准确性、一致性和完整性。

数据集成的优势:

• 降低数据复杂度
  它降低了数据的复杂性，这意味着数据可以被交付到任何系统。数据集成保持了复杂性，简化了连接，并使数据易于交付到任何系统。
• 数据完整性
  数据完整性在数据集成中起着重要作用。它处理清理和验证数据。每个人都想要高质量和健壮的数据，因此使用数据集成概念来实现这一目标。数据集成有助于消除错误、不一致和重复。
• 轻松的数据协作
  可访问性来自于数据协作。可访问性意味着可以轻松地转换数据，人们可以轻松地将数据集成到项目中，共享结果，并保持数据的最新状态。
• 更明智的商业决策
  它还能让你做出更明智的决定。一个集成的数据是指一个公司内部的传输过程，这样我们可以更容易地理解信息。一个集成的数据更容易和信息丰富。

为什么SSIS ?

使用SSIS的原因如下:

• 数据可以并行加载到许多不同的目的地
  SSIS用于组合来自多个数据源的数据，以在统一视图中生成单个结构。基本上，它负责收集数据，从多个数据源提取数据，并合并到单个数据源。
• 不需要核心程序员
  SSSIS是一个能够将大量数据从excel加载到SQL Server数据库的平台。
• 与其他产品的集成
  SSSIS工具与微软其他产品紧密集成。
• 比其他ETL工具便宜
  SSSIS工具比大多数其他工具便宜。它可以抵抗其他基础产品，它们的可管理性，商业智能等。
• 数据流中的复杂错误处理
  SSSIS允许您处理数据流中的复杂错误。可以根据错误的严重程度启动和停止数据流。当发生错误时，您甚至可以向管理员发送电子邮件。当错误得到解决时，您可以在工作流之间选择路径。

SSIS是如何工作的?

我们知道，SSIS是一个有两个功能的平台，即数据集成和工作流。数据转换和工作流创建任务都是使用SSIS包进行的。SSIS包由三个部分组成:

操作数据

操作数据是用于集成来自多个数据源的数据以对数据执行附加操作的数据库。在将数据发送到数据仓库进行存储、报告或归档之前，它是存放当前操作的数据的地方。

ETL

• ETL是SSIS工具中最重要的过程。ETL用于将数据提取、转换和加载到数据仓库中。
• ETL是一个负责从多个数据源提取数据、将数据转换为有用数据，然后将数据存储到数据仓库中的过程。数据可以是任何格式的xml文件、平面文件或任何数据库文件。
• 它还确保存储在数据仓库中的数据是相关的、准确的、高质量的，并且对业务用户有用。
• 可以很容易地访问它，从而可以有效和高效地使用数据仓库。
• 它还通过从多个数据源检索结构化和非结构化数据，帮助组织做出数据驱动的决策。

ETL是一个三个字的概念，但它分为四个阶段:

截图:捕获阶段也称为提取阶段。在此阶段，它选择源数据或元数据，数据可以是任何格式，如xml文件、平面文件或任何数据库文件。

磨砂膏:在此阶段，将检查原始数据。它检查数据是否包含错误。它通过使用一些人工智能技术来检查数据的错误或不一致。简而言之，它验证产品的质量是否满足。

变换:这是ETL的第三阶段。转换是将原始格式转换为所需格式的过程。转换是根据用户需求建模或更改数据。更改可以是列数或行数的更改。

负载和索引:第四阶段是加载和索引。它加载数据并验证已处理的行数。一旦数据加载完成，就使用索引。索引帮助您跟踪数据仓库中加载的行数。索引还有助于识别数据，无论其格式是否正确。

数据仓库

数据仓库是一个单一的、完整的、一致的数据存储，它是通过组合来自多个数据源的数据而形成的。

数据库和数据仓库的区别

答案既可以是也可以不是。数据库和数据仓库都具有较大的数据单元和相似的物理表示，但数据仓库中复杂查询的响应时间比数据库快。

SQL Server集成服务的要求

安装SQL Server Integration Services的要求如下:

• 安装SQL Server
• 安装SQL Server数据工具

按照以下步骤安装SQL Server数据工具:

步骤1:点击链接https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017下载SQL Server数据工具。

步骤2:当你点击上面的链接，屏幕显示如下:

在上面的屏幕中，选择要安装的SSDT版本。

步骤3:下载完成后，运行下载的文件。当你运行下载的文件时，出现如下所示的屏幕:

步骤4:单击Next按钮。

步骤5:选择visual studio实例和要在visual studio 2017中安装的工具。

步骤6:点击安装按钮。

什么是SSIS方案?

包是你在SSIS中编码的一个基本块。在这里，代码并不意味着你在用某种编程语言编码;它意味着你所做的发展。开发是在SSIS包中完成的。SSIS主要用于ETL进程，ETL进程在SSIS包内部执行。

SSIS包由三部分组成:

• 连接
  SSIS包会有一些连接，这些连接是用来连接到各种数据源的。
• 控制流元素
  SSIS包由控制流元素和数据流元素两部分组成。控制流元素处理工作流。工作流是指我们按步骤执行某些任务，因此顺序是通过控制流来完成的。
• 数据流元素
  数据流元素执行转换。

SSIS任务

在SSIS包中，我们可以添加任务。任务是一个工作单元，我们将有不同类型的任务来执行不同类型的工作。有各种类型的任务，但我们将讨论在SSIS中最常用的任务:

• 执行SQL任务
  它用于对关系数据库执行SQL语句。
• 数据流任务
  它主要用于从一个或多个数据源读取数据，转换数据，也可以将数据加载到一个或多个目的地。
• 分析服务处理任务
  它用于处理SSAS多维数据集或Tabular模型的对象。
• 执行包任务
  此任务用于调用同一项目中的其他包。您甚至可以将变量值传递给被调用的包。
• 执行流程任务
  它允许您作为SQL Server集成服务运行应用程序或批处理脚本。它可以用来打开标准的应用程序，如微软Excel，微软Word等。它还用于解压缩文件。
• 文件系统任务
  它可用于执行文件系统中的操作，如移动文件、删除文件、重命名文件、更改目录等。
• FTP任务
  IFTP任务用于对文件和文件夹进行操作。例如，如果您想从FTP服务器发送或接收文件到本地目录，则使用SSIS FTP任务。
• 脚本的任务
  这个任务允许您编写想要执行的. net代码。
• 发送邮件任务
  该任务用于发送电子邮件。当您希望通知用户任务的状态是处于运行状态还是发生了一些错误时，主要使用它。

让我们来看一些数据集成服务的工作示例。

数据流任务示例

步骤1:首先，我们在Microsoft excel中创建一个excel文件。假设我在Microsoft Excel中创建学生数据库，学生表中的字段为student_id, student_name, marks和gender。

步骤2:打开visual studio (SQL Server Data Tools)。

步骤3:单击文件选项，然后移动到新建->项目。

步骤4:点击Project，出现如下界面:

在上面的屏幕中，单击出现在面板最左边的Integration Services，然后单击Integration Services Project。

步骤5:点击后集成服务项目选项，屏幕显示如下:

上面的屏幕由控制流、数据流、参数、事件处理程序和包资源管理器五个选项卡组成。我们已经讨论了控制流和数据流，控制流和数据流都存在于SSIS包中。

步骤6:为了导入数据，我们首先需要创建数据库，我们在SQL Server数据库中创建表。我们知道学生数据在Excel文件中是可用的，我们想将数据导入SQL Server数据库中。为了实现这一点，我们首先需要在SQL Server中创建表。打开SQL Server Management studio。

第七步:创建学生数据库。右键单击数据库，然后单击新的数据库选择。

第八步:在下面的截图中输入数据库名称:

我已经给出了StudentWarehouse作为数据库名称。

步骤9:点击好吧按钮。

第十步:现在，我们在StudentWarehouse数据库。右键单击表，然后单击新建表。

步骤11:现在我们在表中添加字段，如student_id、student_name、标记和性别。我们将student_id设置为唯一标识每行的主键。

上面的屏幕显示我们在一个表中添加了四个字段。在表中添加了所有字段后，通过提供一些有用的名称来保存表。假设我提供了student作为表名。

步骤12:回到视觉工作室。控制流包含数据流任务，在主窗口上拖放数据流任务。

步骤13:当双击“数据流任务”时，控件自动从“控制流”移动到“数据流”，因此我们可以说“控制流”是数据流的容器。

步骤14:现在，我们可以在数据流中执行转换。我们希望从前面创建的Excel文件中提取数据，因此从面板最左侧的其他源中拖放Excel源。

从上面的屏幕中，我们观察到红色的叉出现在Excel Source内部，这意味着该组件配置了Excel Source。

步骤十五:要配置组件，右键单击Excel源代码，然后单击Edit选项，如下面的截图所示:

步骤16:填写如下截图所示的细节:

步骤17:输入所有详细信息后，界面如下所示:

步骤18:点击Excel源代码。

上面的屏幕显示了两个箭头，红色和蓝色箭头。蓝色箭头定义了我们从Excel文件中接收到的实际数据，红色箭头表示我们遇到的错误。现在我们必须执行转换，在执行转换之前，我们需要加载数据库。

步骤19:要加载数据库，请单击Other Destinations，然后单击Destination。

20步:添加目的地后，将源连接到目的地。

步骤21:在上面的步骤中，我们注意到adonet Destination中的红色叉，这意味着它没有配置组件。右键单击adonet目的地，然后点击编辑选项，如下面的截图所示:

22步:您需要指定配置管理器。

23步:点击新按钮以添加连接管理器。当你点击新按钮，屏幕显示如下:

24步:添加Server名称，并在SQL Server中选择数据库名称。

25步:单击OK按钮。

26步:添加要在其中加载数据的表名。

27步:在下面的屏幕中，将输入源的字段映射到目标源的字段。

28步:添加映射后，源连接到目的地，如下图所示:

29步:点击开始按钮以运行集成服务项目。当您运行项目时，数据被加载到目标，即，SQL Server．

使用实例执行SQL任务

• 按照上一个示例的步骤2到步骤5进行操作。
• 拖放执行SQL任务出现在主窗口最左边的面板上。

在上面的屏幕中，我们观察到红色叉出现在Execute SQL Task中，这意味着连接管理器未配置执行SQL任务．要配置它，我们需要添加Connection Manager。

• 要添加连接管理器，右键单击连接管理器，然后单击新建连接管理器，如下面的截图所示:

• 选择OLEDB作为连接管理器类型，然后单击添加按钮如下截图所示:

• 在点击添加按钮，屏幕显示如下截图:

在上面的屏幕中，我们观察到的数据连接StudentWarehouse我们在上一步中创建的数据库已经可用。点击好吧按钮。

• 点击OK按钮，出现如下图所示的界面:

在上面的屏幕中，您需要输入任务的名称、描述、SQL语句(需要在表上执行的SQL任务)等详细信息。

• 我在上面的截图中输入了以下细节:

在上面的例子中，我在SQLStatement中提供了insert命令。

• 点击好吧按钮。
• 当你用Execute SQL Task配置组件时，红色的叉会消失，如下面的截图所示:

• 控件运行项目开始．

• 当你点击开始，屏幕显示如下:

在上面的屏幕中，打勾标记表明您的SQL任务已经成功完成。我们在前面的步骤中添加的插入语句已经执行，数据已经添加到表中。例如,学生1。

• 该任务的输出如下所示

先决条件

在学习SSIS之前，您必须具备SQL Server的基础知识。

观众

我们的SSIS教程旨在帮助初学者和专业人士。

问题

我们保证您在本SSIS教程中不会发现任何问题。但如果有任何错误或错误，请将错误贴在联系表格上。