实例学习SSIS(五)--理论介绍SSIS

导读:

实例学习SSIS(一)--制作一个简单的ETL包

实例学习SSIS(二)--使用迭代

实例学习SSIS(三)--使用包配置

实例学习SSIS(四)--使用日志记录和错误流重定向

实例学习SSIS(五)--理论介绍SSIS

   一、概述

                   Integration Services 是用于生成高性能数据集成和工作流解决方案(包括针对数据仓库的提取、转换和加载 (ETL) 操作)的平台。

             Integration Services 包括:

                   a)生成并调试包的图形工具和向导;

                   b)执行如 FTP 操作、SQL 语句执行和电子邮件消息传递等工作流功能的任务;

                   c)用于提取和加载数据的数据源和目标;

                   d)用于清理、聚合、合并和复制数据的转换;

                   e)管理服务,即用于管理 Integration Services 包的 Integration Services 服务;

                   f)用于对 Integration Services 对象模型编程的应用程序接口 (API)

    2009102015241989.jpg

   二、SSIS体系结构

         SSIS由四大部分组成:服务、对象模型、运行时和数据流。

                   下面这张大图显示了各部分之间的关系:

2009102015243242.jpg

         服务

        Configuration Manager中可以看到SSIS的服务:SQL Server Integration Services

            提示:

     1、设计和执行IS包不需要启动该服务,可以使用 SQL Server 导入和导出向导、SSIS 设计器、执行包实用工具以及 dtexec 命令提示实用工具运行包。

         2、如果要通过SQL Server Management Studio监视包,则需要启动该服务。

  使用SSMS监视时,可以看到两个顶级文件夹:“正在运行的包”和“已存储的包”。

  在“正在运行的包”文件夹下可以停止某个运行的包。

         对象模型

         对象模型包括用于访问 Integration Services 工具、命令行实用工具以及自定义应用程序的本机和托管应用程序编程接口 (API)

         工具介绍:

         Business Intelligence Development StudioBIDS

         创建和调试包。

         BIDS中的设计器

         如下图:

2009102015245656.jpg

         命令

                   dtexec:运行现有的包;

                   如执行包:dtexec /f "c:\pkgOne.dtsx"

                   dtutil:可以对包进行访问,复制、删除、移动和 签名等;

                   如复制包:dtutil /FILE c:\myTestedPackage\package.dtsx /DestServer myserver /COPY SQL;newpackage

         运行时

                   包的运行时,为日志记录、断点、配置、连接和事务提供支持。

         数据流

         数据流任务封装数据流引擎。数据流引擎提供将数据从源移动到目标的内存中的缓冲区,并且调用从文件和关系数据库中提取数据的源。

三、典型用途

         合并来自异类数据存储区的数据

                   合并存储在不同数据存储系统中的数据,提取这些数据合并到单个一致的数据存储系统中。        

2009102015250633.jpg

 

         填充数据仓库和数据集市

         数据仓库和数据集市中的数据具有更新频繁加载量大的特点,SSIS专门提供了一个从平面文件大容量加载到 SQL Server的任务。

         清除数据和数据标准化

         Integration Services 包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。

         将商业智能置入数据转换过程

         Integration Services 提供了用于将商业智能置入 SSIS 包的容器、任务和转换。

可能需要根据数据值对数据进行汇总、转换和分发,SSIS 包中的逻辑可能需要执行以下类型的任务:

a)合并来自多个数据源的数据。

b)计算数据并应用数据转换。

c)根据数据值将一个数据集拆分为多个数据集。

d)将不同的聚合应用到一个数据集的不同子集。

e)将数据的子集加载到不同目标或多个目标。

         使管理功能和数据加载自动化

管理功能自动化,例如备份和还原数据库等,可以使用 SQL Server 代理作业安排SSIS 包。

 

参考:ms-help://MS.SQLCC.v9/MS.SQLSVR.v9.zh-CHS/extran9/html/c4398655-5657-4ae4-a690-a380790fe84f.htm  

 

转载于:https://www.cnblogs.com/tenghoo/archive/2009/10/20/ssis_summary.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/496184.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MIT教授Tomaso Poggio演讲与专访:智能背后的科学与工程 | 腾讯AI Lab学术论坛

来源:腾讯AI实验室腾讯AI Lab第二届学术论坛在深圳举行,聚焦人工智能在医疗、游戏、多媒体内容、人机交互等四大领域的跨界研究与应用。全球30位顶级AI专家出席,对多项前沿研究成果进行了深入探讨与交流。腾讯AI Lab还宣布了2018三大核心战略…

linux捕捉信号sigint失败,为shell布置陷阱:trap捕捉信号方法论

本文目录:1.1 信号说明1.2 trap布置陷阱1.3 布置完美陷阱必备知识家里有老鼠,快消灭它!哎,又给跑了。老鼠这小东西跑那么快,想直接直接消灭它还真不那么容易。于是,老鼠药、老鼠夹子或老鼠笼就派上用场了&a…

Effective Java~3. 私有Constructor 或Enum 强化单例

1、私有化构造器 // Singleton with static factory public class Elvis {private static final Elvis INSTANCE new Elvis();private Elvis() { ... }public static Elvis getInstance() { return INSTANCE; }public void leaveTheBuilding() { ... } } 可序列化对象单例&a…

VMware虚拟机软件

http://www.xuniji.com/vmware/ 虚拟机之家 http://www.ccw.com.cn/ 如何配置VMware虚拟机网络环境全程图解 nyytwngmail.com 8 转载于:https://www.cnblogs.com/hnytwn/archive/2009/10/28/1591044.html

linux 内置ssh,Linux ssh内置sftp配置说明

centos7 环境下已验证首先建立两个用户,用于sftp访问使用。eg:useradd -d /opt/sftp -s /bin/nologin sftp说明 -s /bin/nologin 禁止ssh登录服务器,其实如果将用户设置为用于sftp的话,不做此设置也是无法登录的会提示:This service allows sftp connections onl…

Trade Stages - The Trade Path

Gieno Trade Stages - The Trade Path STARTS OFF “greed orientated.”Loses because:1 Market problemsNot a zero sum game, a “very negative” sum gameMarket psychology – doing the wrong thing at the wrong timeThe majority is always wrongMarket exists on ch…

win10、oneplus7pro 使用 Kali

1、Windows 10 使用 Kali Linux子系统 微软为 Windows Subsystem for Linux (WSL) 带来了著名的 Kali Linux ,无虚拟机,无Docker实现Windows 和 Kali Linux 交互。 window 开启 wsl 功能: 1.打开控制面板( winR,输入…

Effective Java~9. try-with-resource 优先于 try-catch

try-finally 语句是保证资源正确关闭的最佳方式,但是当添加多个资源时,情况会变糟 // try-finally is ugly when used with more than one resource! static void copy(String src, String dst) throws IOException {InputStream in new FileInputStre…

linux安装汉语输入法,在linux中安装google拼音输入法

载自: 并修改了一些内容installhow to build and install scim-googlepinyin* Introduction* grab the source* build depends* runtime depends* build and installIntroductionThis document is intended to help you to build and install scim-googlepinyin fro…

干货|十大产业方向深度解析!《2020科技产业趋势报告》

来源:机器人大讲堂报告下载:https://pan.baidu.com/s/1BKf2rINXx0CVLhgokfYrgQ未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括:建立AI智能系统智商评…

交互式数据包处理程序 Scapy 用法

From:https://www.cnblogs.com/hongxueyong/p/5641475.html Scapy 用法官方文档:http://scapy.readthedocs.io/en/latest/#starting-scapyAbout ScapyScapy is a Python program that enables the user to send, sniff and dissect and forge network pa…

top、postop、scrolltop、scrollHeight、offsetHeight

网页可见区域宽:document.body.clientWidth; 网页可见区域高:document.body.clientHeight; 网页可见区域高:document.body.offsetWeight: 网页可见区域高:document.body.offsetHeight; 网页正文全文宽:documen…

Effective Java~34. 用enum 代替 int 常量

在将枚举类型添加到该语言之前,表示枚举类型的常见模式是声明一组名为 int 的常量,每个类型的成员都有一个常量: // The int enum pattern - severely deficient! public static final int APPLE_FUJI 0; public static final int APPLE_…

linux 计算集群搭建,使用centos构建服务器计算集群

yum源的搭建排除列表#新建文件[rootcentos-test ~]# vim /usr/local/local_mirror/exclude.list#填入内容SRPMSaarch64ppc64ppc64ledebugrepodataEFILiveOSimagesisolinuxCentOS_BuildTagEULAGPLRPM-GPG-KEY-CentOS-7RPM-GPG-KEY-CentOS-Testing-7drpmsshell同步脚本#建立文件[…

展望2021年:智能机器人可监督工业机器人干活,效率提升30%

来源:极客网会帮我们吸地板、在公共场所担任导引员或是拆除炸弹的机器人呢可能感觉比较有趣,但那些负责组装汽车以及在工厂生产在线帮忙拾取物品的机器人,在整体价值上要高得多,而且也有越来越多的工/商业或消费性应用产品是由这种…

ASP。NET的设计思想

自从有了html与http,就有了浏览器与Web服务器,并有了Web应用,最初的交互模式是这样的: 该模式很好地运行了很多年。然而,随着计算机应用的发展,人们越来越不满足于只有静态内容的页面,而由某种机…

Kali linux 渗透测试技术之搭建WordPress Turnkey Linux及检测WordPress 应用程序漏洞

From:https://bbs.ichunqiu.com/thread-15716-1-1.html 怎样用 WPScan,Nmap 和 Nikto 扫描和检查一个 WordPress 站点的安全性:https://www.cnblogs.com/chayidiansec/p/7989274.html 为了收集用于测试的应用程序, Turnkey Linux…

AI芯片格局分布

来源:中国科学院自动化研究所 作者: 吴军宁如果说2016年3月份AlphaGo与李世石的那场人机大战只在科技界和围棋界产生较大影响的话,那么2017年5月其与排名第一的世界围棋冠军柯洁的对战则将人工智能技术推向了公众视野。阿尔法狗(…

linux screen -ls,Linux screen命令详解

Linux下screen主要是管理程序的,用screen管理的进程可以在用户断开连接的时候保持程序继续在服务器上运行。第一步:首先肯定是登录到linux服务器上。敲入screen -ls 命令可以看到服务器上已有的screen。用screen -S(s的大写)screen名称可以创建一个scree…

自动处理可载入模块命令 modprobe

From:https://blog.csdn.net/good5101/article/details/39472291 linux内核模块相关命令:lsmod,depmod,modprobe,modinfo,insmod,rmmod 使用说明https://www.cnblogs.com/jacklikedogs/p/4659249.html Linux下加载.ko驱动模块的两种方法:insm…