扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
在日常基于数据库应用的开发过程中,我们经常需要对多个表或者数据源进行关联查询而得出我们需要的结果集。那么Oracle到底存在着哪几种连接方式?优化器内部又是怎样处理这些连接的?哪种连接方式又是适合哪种查询需求的?只有对这些问题有了清晰的理解后,我们才能针对特定的查询需求选择合适的连接方式,开发出健壮的数据库应用程序。选择合适的表连接方法对SQL语句运行的性能有着至关重要的影响。下面我们就Oracle常用的一些连接方法及适用情景做一个简单的介绍。\x0d\x0a3.1嵌套循环连接(nestedloop)\x0d\x0a嵌套循环连接的工作方式是这样的:\x0d\x0a1、Oracle首先选择一张表作为连接的驱动表,这张表也称为外部表(OuterTable)。由驱动表进行驱动连接的表或数据源称为内部表(InnerTable)。\x0d\x0a2、提取驱动表中符合条件的记录,与被驱动表的连接列进行关联查询符合条件的记录。在这个过程中,Oracle首先提取驱动表中符合条件的第一条记录,再与内部表的连接列进行关联查询相应的记录行。在关联查询的过程中,Oracle会持续提取驱动表中其他符合条件的记录与内部表关联查询。这两个过程是并行进行的,因此嵌套循环连接返回前几条记录的速度是非常快的。在这里需要说明的是,由于Oracle最小的IO单位为单个数据块,因此在这个过程中Oracle会首先提取驱动表中符合条件的单个数据块中的所有行,再与内部表进行关联连接查询的,然后提取下一个数据块中的记录持续地循环连接下去。当然,如果单行记录跨越多个数据块的话,就是一次单条记录进行关联查询的。\x0d\x0a3、嵌套循环连接的过程如下所示:\x0d\x0aNestedloop\x0d\x0aOuterloop\x0d\x0aInnerloop\x0d\x0a我们可以看出这里面存在着两个循环,一个是外部循环,提取驱动表中符合条件的每条记录。另外一个是内部循环,根据外循环中提取的每条记录对内部表进行连接查询相应的记录。由于这两个循环是嵌套进行的,故此种连接方法称为嵌套循环连接。\x0d\x0a嵌套循环连接适用于查询的选择性强、约束性高并且仅返回小部分记录的结果集。通常要求驱动表的记录(符合条件的记录,通常通过高效的索引访问)较少,且被驱动表连接列有唯一索引或者选择性强的非唯一索引时,嵌套循环连接的效率是比较高的。\x0d\x0a嵌套循环连接驱动表的选择也是连接中需要着重注意的一点,有一个常见的误区是驱动表要选择小表,其实这是不对的。假如有两张表A、B关联查询,A表有1000000条记录,B表有10000条记录,但是A表过滤出来的记录只有10条,这时候显然用A表当做驱动表是比较合适的。因此驱动表是由过滤条件限制返回记录最少的那张表,而不是根据表的大小来选择的。\x0d\x0a在外连接查询中,如果走嵌套循环连接的话,那么驱动表必然是没有符合条件关联的那张表,也就是后面不加(+)的那张表。这是由于外连接需要提取可能另一张表没符合条件的记录,因此驱动表需要是那张我们要返回所有符合条件记录的表。比如下面这个查询,\x0d\x0a嵌套循环连接返回前几行的记录是非常快的,这是因为使用了嵌套循环后,不需要等到全部循环结束再返回结果集,而是不断地将查询出来的结果集返回。在这种情况下,终端用户将会快速地得到返回的首批记录,且同时等待Oracle内部处理其他记录并返回。如果查询的驱动表的记录数非常多,或者被驱动表的连接列上无索引或索引不是高度可选的情况,嵌套循环连接的效率是非常低的\x0d\x0a--删除原表\x0d\x0adroptablet1;\x0d\x0a\x0d\x0a--建立测试表\x0d\x0acreatetablet1(\x0d\x0af1varchar2(10),\x0d\x0af2varchar2(1000)\x0d\x0a)\x0d\x0atablespaceCTL\x0d\x0apctfree98;\x0d\x0a\x0d\x0a--填充测试内容\x0d\x0ainsertintot1(f1,f2)\x0d\x0aselectrownum,lpad(rownum,700,'0')\x0d\x0afromdba_tablesa,dba_tab_colsb\x0d\x0awherea.owner=b.owner\x0d\x0aandrownumselect/*+ordereduse_hash(t1,t2)*/\x0d\x0at1.f1,t2.f1\x0d\x0afromctl.t1t1,ctl.t2t2\x0d\x0awheret1.f1=t2.f1234;\x0d\x0a\x0d\x0a999rowsselected.\x0d\x0a\x0d\x0aExecutionPlan\x0d\x0a----------------------------------------------------------\x0d\x0a0SELECTSTATEMENTOptimizer=CHOOSE(Cost=5Card=82Bytes=1148\x0d\x0a)\x0d\x0a10HASHJOIN(Cost=5Card=82Bytes=1148)\x0d\x0a21TABLEACCESS(FULL)OF'T1'(Cost=2Card=82Bytes=574)\x0d\x0a31TABLEACCESS(FULL)OF'T2'(Cost=2Card=82Bytes=574)\x0d\x0a\x0d\x0aStatistics\x0d\x0a----------------------------------------------------------\x0d\x0a0recursivecalls\x0d\x0a0dbblockgets\x0d\x0a11113consistentgets\x0d\x0a0physicalreads\x0d\x0a0redosize\x0d\x0a23590bytessentviaSQL*Nettoclient\x0d\x0a1381bytesreceivedviaSQL*Netfromclient\x0d\x0a68SQL*Netroundtripsto/fromclient\x0d\x0a0sorts(memory)\x0d\x0a0sorts(disk)\x0d\x0a999rowsprocessed\x0d\x0a3.3,排序合并连接(mergejoin)\x0d\x0a排序合并连接的方法非常简单。在排序合并连接中是没有驱动表的概念的,两个互相连接的表按连接列的值先排序,排序完后形成的结果集再互相进行合并连接提取符合条件的记录。相比嵌套循环连接,排序合并连接比较适用于返回大数据量的结果。\x0d\x0a排序合并连接在数据表预先排序好的情况下效率是非常高的,也比较适用于非等值连接的情况,比如、=、=)\x0d\x0a3,hash_join_enabled=false;\x0d\x0a4,数据源已排序
创新互联建站专业为企业提供安宁网站建设、安宁做网站、安宁网站设计、安宁网站制作等企业网站建设、网页设计与制作、安宁企业网站模板建站服务,十余年安宁做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。
Join是一种试图将两个表结合在一起的谓词 一次只能连接 个表 表连接也可以被称为表关联 在后面的叙述中 我们将会使用 row source 来代替 表 因为使用row source更严谨一些 并且将参与连接的 个row source分别称为row source 和row source Join过程的各个步骤经常是串行操作 即使相关的row source可以被并行访问 即可以并行的读取做join连接的两个row source的数据 但是在将表中符合限制条件的数据读入到内存形成row source后 join的其它步骤一般是串行的 有多种方法可以将 个表连接起来 当然每种方法都有自己的优缺点 每种连接类型只有在特定的条件下才会发挥出其最大优势
row source(表)之间的连接顺序对于查询的效率有非常大的影响 通过首先存取特定的表 即将该表作为驱动表 这样可以先应用某些限制条件 从而得到一个较小的row source 使连接的效率较高 这也就是我们常说的要先执行限制条件的原因 一般是在将表读入内存时 应用where子句中对该表的限制条件
根据 个row source的连接条件的中操作符的不同 可以将连接分为等值连接(如WHERE A COL = B COL ) 非等值连接(WHERE A COL B COL ) 外连接(WHERE A COL = B COL (+)) 上面的各个连接的连接原理都基本一样 所以为了简单期间 下面以等值连接为例进行介绍
在后面的介绍中 都已
SELECT A COL B COL
FROM A B
WHERE A COL = B COL ;
为例进行说明 假设A表为Row Soruce 则其对应的连接操作关联列为COL B表为Row Soruce 则其对应的连接操作关联列为COL
连接类型
目前为止 无论连接操作符如何 典型的连接类型共有 种
排序 合并连接(Sort Merge Join (SMJ) )
嵌套循环(Nested Loops (NL) )
哈希连接(Hash Join)
排序 合并连接(Sort Merge Join SMJ)
内部连接过程
) 首先生成row source 需要的数据 然后对这些数据按照连接操作关联列(如l )进行排序
) 随后生成row source 需要的数据 然后对这些数据按照与sort source 对应的连接操作关联列(如l )进行排序
) 最后两边已排序的行被放在一起执行合并操作 即将 个row source按照连接条件连接起来
下面是连接步骤的图形表示
MERGE
/\
SORTSORT
||
Row Source Row Source
如果row source已经在连接关联列上被排序 则该连接操作就不需要再进行sort操作 这样可以大大提高这种连接操作的连接速度 因为排序是个极其费资源的操作 特别是对于较大的表 预先排序的row source包括已经被索引的列(如l 或l 上有索引)或row source已经在前面的步骤中被排序了 尽管合并两个row source的过程是串行的 但是可以并行访问这两个row source(如并行读入数据 并行排序)
SMJ连接的例子
SQL explain plan for
select /*+ ordered */ e deptno d deptno
from emp e dept d
where e deptno = d deptno
order by e deptno d deptno;
Query Plan
SELECT STATEMENT [CHOOSE] Cost=
MERGE JOIN
SORT JOIN
TABLE ACCESS FULL EMP [ANALYZED]
SORT JOIN
TABLE ACCESS FULL DEPT [ANALYZED]
排序是一个费时 费资源的操作 特别对于大表 基于这个原因 SMJ经常不是一个特别有效的连接方法 但是如果 个row source都已经预先排序 则这种连接方法的效率也是蛮高的
嵌套循环(Nested Loops NL)
这个连接方法有驱动表(外部表)的概念 其实 该连接过程就是一个 层嵌套循环 所以外层循环的次数越少越好 这也就是我们为什么将小表或返回较小row source的表作为驱动表(用于外层循环)的理论依据 但是这个理论只是一般指导原则 因为遵循这个理论并不能总保证使语句产生的I/O次数最少 有时不遵守这个理论依据 反而会获得更好的效率 如果使用这种方法 决定使用哪个表作为驱动表很重要 有时如果驱动表选择不正确 将会导致语句的性能很差 很差
内部连接过程
Row source 的Row Probe Row source
Row source 的Row Probe Row source
Row source 的Row Probe Row source
……
Row source 的Row n Probe Row source
从内部连接过程来看 需要用row source 中的每一行 去匹配row source 中的所有行 所以此时保持row source 尽可能的小与高效的访问row source (一般通过索引实现)是影响这个连接效率的关键问题 这只是理论指导原则 目的是使整个连接操作产生最少的物理I/O次数 而且如果遵守这个原则 一般也会使总的物理I/O数最少 但是如果不遵从这个指导原则 反而能用更少的物理I/O实现连接操作 那尽管违反指导原则吧!因为最少的物理I/O次数才是我们应该遵从的真正的指导原则 在后面的具体案例分析中就给出这样的例子
在上面的连接过程中 我们称Row source 为驱动表或外部表 Row Source 被称为被探查表或内部表
在NESTED LOOPS连接中 Oracle读取row source 中的每一行 然后在row sourc 中检查是否有匹配的行 所有被匹配的行都被放到结果集中 然后处理row source 中的下一行 这个过程一直继续 直到row source 中的所有行都被处理 这是从连接操作中可以得到第一个匹配行的最快的方法之一 这种类型的连接可以用在需要快速响应的语句中 以响应速度为主要目标
如果driving row source(外部表)比较小 并且在inner row source(内部表)上有唯一索引 或有高选择性非唯一索引时 使用这种方法可以得到较好的效率 NESTED LOOPS有其它连接方法没有的的一个优点是 可以先返回已经连接的行 而不必等待所有的连接操作处理完才返回数据 这可以实现快速的响应时间
如果不使用并行操作 最好的驱动表是那些应用了where 限制条件后 可以返回较少行数据的的表 所以大表也可能称为驱动表 关键看限制条件 对于并行查询 我们经常选择大表作为驱动表 因为大表可以充分利用并行功能 当然 有时对查询使用并行操作并不一定会比查询不使用并行操作效率高 因为最后可能每个表只有很少的行符合限制条件 而且还要看你的硬件配置是否可以支持并行(如是否有多个CPU 多个硬盘控制器) 所以要具体问题具体对待
NL连接的例子
SQL explain plan for
select a dname b sql
from dept a emp b
where a deptno = b deptno;
Query Plan
SELECT STATEMENT [CHOOSE] Cost=
NESTED LOOPS
TABLE ACCESS FULL DEPT [ANALYZED]
TABLE ACCESS FULL EMP [ANALYZED]
哈希连接(Hash Join HJ)
这种连接是在oracle 以后引入的 从理论上来说比NL与SMJ更高效 而且只用在CBO优化器中
较小的row source被用来构建hash table与bitmap 第 个row source被用来被hansed 并与第一个row source生成的hash table进行匹配 以便进行进一步的连接 Bitmap被用来作为一种比较快的查找方法 来检查在hash table中是否有匹配的行 特别的 当hash table比较大而不能全部容纳在内存中时 这种查找方法更为有用 这种连接方法也有NL连接中所谓的驱动表的概念 被构建为hash table与bitmap的表为驱动表 当被构建的hash table与bitmap能被容纳在内存中时 这种连接方式的效率极高
HASH连接的例子
SQL explain plan for
select /*+ use_hash(emp) */ empno
from emp dept
where emp deptno = dept deptno;
Query Plan
SELECT STATEMENT[CHOOSE] Cost=
HASH JOIN
TABLE ACCESS FULL DEPT
TABLE ACCESS FULL EMP
要使哈希连接有效 需要设置HASH_JOIN_ENABLED=TRUE 缺省情况下该参数为TRUE 另外 不要忘了还要设置hash_area_size参数 以使哈希连接高效运行 因为哈希连接会在该参数指定大小的内存中运行 过小的参数会使哈希连接的性能比其他连接方式还要低
总结一下 在哪种情况下用哪种连接方法比较好
排序 合并连接(Sort Merge Join SMJ)
a) 对于非等值连接 这种连接方式的效率是比较高的
b) 如果在关联的列上都有索引 效果更好
c) 对于将 个较大的row source做连接 该连接方法比NL连接要好一些
d) 但是如果sort merge返回的row source过大 则又会导致使用过多的rowid在表中查询数据时 数据库性能下降 因为过多的I/O
嵌套循环(Nested Loops NL)
a) 如果driving row source(外部表)比较小 并且在inner row source(内部表)上有唯一索引 或有高选择性非唯一索引时 使用这种方法可以得到较好的效率
b) NESTED LOOPS有其它连接方法没有的的一个优点是 可以先返回已经连接的行 而不必等待所有的连接操作处理完才返回数据 这可以实现快速的响应时间
哈希连接(Hash Join HJ)
a) 这种方法是在oracle 后来引入的 使用了比较先进的连接理论 一般来说 其效率应该好于其它 种连接 但是这种连接只能用在CBO优化器中 而且需要设置合适的hash_area_size参数 才能取得较好的性能
b) 在 个较大的row source之间连接时会取得相对较好的效率 在一个row source较小时则能取得更好的效率
c) 只能用于等值连接中
笛卡儿乘积(Cartesian Product)
当两个row source做连接 但是它们之间没有关联条件时 就会在两个row source中做笛卡儿乘积 这通常由编写代码疏漏造成(即程序员忘了写关联条件) 笛卡尔乘积是一个表的每一行依次与另一个表中的所有行匹配 在特殊情况下我们可以使用笛卡儿乘积 如在星形连接中 除此之外 我们要尽量使用笛卡儿乘积 否则 自己想结果是什么吧!
注意在下面的语句中 在 个表之间没有连接
SQL explain plan for
select emp deptno dept deptno
from emp dept
Query Plan
SLECT STATEMENT [CHOOSE] Cost=
MERGE JOIN CARTESIAN
TABLE ACCESS FULL DEPT
SORT JOIN
TABLE ACCESS FULL EMP
lishixinzhi/Article/program/Oracle/201311/17469
表的连接是指在一个SQL语句中通过表与表之间的关连 从一个或多个表中检索相关的数据 大体上表与表之间的连接主要可分四种 分别为相等连接 外连接 不等连接和自连接 本文将主要从以下几个典型的例子来分析Oracle表的四种不同连接方式:
相等连接
通过两个表具有相同意义的列 可以建立相等连接条件
只有连接列上在两个表中都出现且值相等的行才会出现在查询结果中
例 查询员工信息以及对应的员工所在的部门信息;
SELECT * FROM EMP DEPT; SELECT * FROM EMP DEPT WHERE EMP DEPTNO = DEPT DEPTNO;
REM 显示工资超过 的员工信息以及对应的员工的部门名称
外连接
对于外连接 Oracle中可以使用 (+) 来表示 i可以使用LEFT/RIGHT/FULL OUTER JOIN 下面将配合实例一一介绍 除了显示匹配相等连接条件的信息之外 还显示无法匹配相等连接条件的某个表的信息
外连接采用(+)来识别
A) 左条件(+) = 右条件;
代表除了显示匹配相等连接条件的信息之外 还显示右条件所在的表中无法匹配相等连接条件的信息
此时也称为 右外连接 另一种表示方法是:
SELECT FROM 表 RIGHT OUTER JOIN 表 ON 连接条件
B) 左条件 = 右条件(+);
代表除了显示匹配相等连接条件的信息之外 还显示左条件所在的表中无法匹配相等连接条件的信息
此时也称为 左外连接
SELECT FROM 表 LEFT OUTER JOIN 表 ON 连接条件
例 显示员工信息以及所对应的部门信息
无法显示没有部门的员工信息
无法显示没有员工的部门信息
SELECT * FROM EMP DEPT WHERE EMP DEPTNO = DEPT DEPTNO;
直接做相等连接:
SELECT * FROM EMP JOIN DEPT ON EMP DEPTNO = DEPT DEPTNO;
REM 显示员工信息以及所对应的部门信息 显示没有员工的部门信息
SELECT * FROM EMP DEPT WHERE EMP DEPTNO(+) = DEPT DEPTNO; SELECT * FROM EMP RIGHT OUTER JOIN DEPT ON EMP DEPTNO = DEPT DEPTNO;
REM 显示员工信息以及所对应的部门信息 显示没有部门的员工信息
SELECT * FROM EMP DEPT WHERE EMP DEPTNO = DEPT DEPTNO(+); SELECT * FROM EMP LEFT OUTER JOIN DEPT ON EMP DEPTNO = DEPT DEPTNO;
不等连接
两个表中的相关的两列进行不等连接 比较符号一般为 BEEEN AND
REM SALGRADE DESC SALGRADE; SELECT * FROM SALGRADE;
REM 显示员工的编号 姓名 工资 以及工资所对应的级别
SELECT EMPNO ENAME SAL SALGRADE * FROM SALGRADE EMP WHERE EMP SAL BEEEN LOSAL AND HISAL;
REM 显示雇员的编号 姓名 工资 工资级别 所在部门的名称;
SELECT EMPNO ENAME SAL GRADE DNAME FROM EMP DEPT SALGRADE WHERE EMP DEPTNO = DEPT DEPTNO AND EMP SAL BEEEN LOSAL AND HISAL;
自连接
自连接是数据库中经常要用的连接方式 使用自连接可以将自身表的一个镜像当作另一个表来对待 从而能够得到一些特殊的数据 下面介绍一下自连接的方法:
将原表复制一份作为另一个表 两表做笛卡儿相等连接
例 显示雇员的编号 名称 以及该雇员的经理名称
SELECT WORKER ENAME WORKER MGR MANAGER EMPNO MANAGER ENAME FROM EMP WORKER EMP MANAGER
lishixinzhi/Article/program/Oracle/201311/16733
左连接:left join 、右连接:right join 、内连接:inner join 、交叉连接
以两表为例:
有以下两张表:
现在要通过deptno字段,在查询中显示emp表中全部内容和dept表中的dname字段。
可用如下语句:
select a.*,b.dname from emp a,dept b where a.deptno=b.deptno;
查询结果:
1相等连接
通过两个表具有相同意义的列,可以建立相等连接条件。
只有连接列上在两个表中都出现且值相等的行才会出现在查询结果中。
例 查询员工信息以及对应的员工所在的部门信息;
SELECT * FROM EMP,DEPT;
SELECT * FROM EMP,DEPT
WHERE EMP.DEPTNO = DEPT.DEPTNO;
REM 显示工资超过2000的员工信息以及对应的员工的部门名称。
2外连接
对于外连接,Oracle中可以使用“(+)”来表示,9i可以使用LEFT/RIGHT/FULL OUTER JOIN,下面将配合实例一一介绍。除了显示匹配相等连接条件的信息之外,还显示无法匹配相等连接条件的某个表的信息。
外连接采用(+)来识别。
A) 左条件(+) = 右条件;
代表除了显示匹配相等连接条件的信息之外,还显示右条件所在的表中无法匹配相等连接条件的信息。
此时也称为"右外连接".另一种表示方法是:
SELECT ... FROM 表1 RIGHT OUTER JOIN 表2 ON 连接条件
B) 左条件 = 右条件(+);
代表除了显示匹配相等连接条件的信息之外,还显示左条件所在的表中无法匹配相等连接条件的信息。
此时也称为"左外连接".
SELECT ... FROM 表1 LEFT OUTER JOIN 表2 ON 连接条件
例 显示员工信息以及所对应的部门信息
--无法显示没有部门的员工信息
--无法显示没有员工的部门信息
--SELECT * FROM EMP,DEPT WHERE EMP.DEPTNO = DEPT.DEPTNO;
--直接做相等连接:
SELECT * FROM EMP JOIN DEPT ON EMP.DEPTNO = DEPT.DEPTNO;
REM 显示员工信息以及所对应的部门信息,显示没有员工的部门信息
--SELECT * FROM EMP,DEPT WHERE EMP.DEPTNO(+) = DEPT.DEPTNO;
SELECT * FROM EMP RIGHT OUTER JOIN DEPT ON EMP.DEPTNO = DEPT.DEPTNO;
REM 显示员工信息以及所对应的部门信息,显示没有部门的员工信息
--SELECT * FROM EMP,DEPT WHERE EMP.DEPTNO = DEPT.DEPTNO(+);
SELECT * FROM EMP LEFT OUTER JOIN DEPT ON EMP.DEPTNO = DEPT.DEPTNO;
3不等连接
两个表中的相关的两列进行不等连接,比较符号一般为,,...,BETWEEN.. AND..
REM SALGRADE
--DESC SALGRADE;
--SELECT * FROM SALGRADE;
REM 显示员工的编号,姓名,工资,以及工资所对应的级别。
SELECT EMPNO,ENAME,SAL,SALGRADE.* FROM SALGRADE,EMP
WHERE EMP.SAL BETWEEN LOSAL AND HISAL;
REM 显示雇员的编号,姓名,工资,工资级别,所在部门的名称;
SELECT EMPNO,ENAME,SAL,GRADE,DNAME FROM EMP,DEPT,SALGRADE
WHERE EMP.DEPTNO = DEPT.DEPTNO AND EMP.SAL BETWEEN LOSAL AND HISAL;
4自连接
自连接是数据库中经常要用的连接方式,使用自连接可以将自身表的一个镜像当作另一个表来对待,从而能够得到一些特殊的数据。下面介绍一下自连接的方法:
将原表复制一份作为另一个表,两表做笛卡儿相等连接。
例:显示雇员的编号,名称,以及该雇员的经理名称
SELECT WORKER.ENAME,WORKER.MGR,MANAGER.EMPNO,MANAGER.ENAME FROM EMP WORKER,EMP MANAGER
WHERE WORKER.MGR = MANAGER.EMPNO;
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流