MySQL数据库查询结果乱码，这是大家比较常见的情形。到底是什么原因导致出现查询结果为乱码呢，本文主要通过演示来理解乱码产生的原因，以及如何解决字符集乱码，供大家参考。 一、字符编码对比 SELECT hex(convert('love' USING latin1)) latin_value, hex(convert('love' USING gb2312)) gb2312_va... ...继续阅读 (8)

或许你已不再是青葱岁月，而是孩子他爸，孩子她妈。 或许，你已过了而立之年，抑或是三十不立，四十还惑。 或许你是上有老，下有小，家庭重担一肩挑，却再也难以卸下。 要用一颗感恩的心，衷心的感谢父母，感谢自己，感谢家人，感谢亲朋好友，感谢社会。因为你已经走到了这一步，因为生命就是一段旅程，是一种体验。能走到今天是一件值得庆幸的事！ 那还有焦虑吗？很多人说，当然有，那都是啥呀？ ”我上有老，下有小”； ... ...继续阅读 (9)

一、执行计划一些参考链接 mysql explain type连接类型示例 MySQL EXPLAIN SQL 输出信息描述 二、获取SQL执行计划 方法1（命令行）：EXPLAIN sql_statement 方法2（Toad）：Toad里边在SQL编辑器里边点击explain plan 方法3（Navicate）Navicate里边点击解释 三、案例 1、原始SQL及完整执行计划 原始SQL语... ...继续阅读 (7)

MySQL数据库锁是实现数据一致性，解决并发问题的重要手段。数据库是一个多用户共享的资源，当出现并发的时候，就会导致出现各种各样奇怪的问题，就像程序代码一样，出现多线程并发的时候，如果不做特殊控制的话，就会出现意外的事情，比如“脏“数据、修改丢失等问题。所以数据库并发需要使用事务来控制，事务并发问题需要数据库锁来控制，所以数据库锁是跟并发控制和事务联系在一起的。本文主要描述基于更新SQL语句来理解... ...继续阅读 (7)

锁是计算机协调多个进程或纯线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。在MySQL数据库中支持多种不同粒度的锁来兼顾数据库并发与一致性问题。本文主要描述MySQL锁工作机制及其锁类型，粒度等。 一、... ...继续阅读 (5)

在关系型数据库建表期间，我们需要考虑很多很多的事项。诸如表存储什么数据，列上使用的数据类型，选择什么样的存储引擎等等。本文主要介绍针对表上列使用三种不同的数据类型来进行对比，以观察选择不同数据类型时，对于性能造成的影响。 一、建表时需要考虑的事项 作用：    存储什么数据？ 结构：    包含什么列，需要约束吗？ 存储：    每一列使用什么数据类型？需要索引吗？ 引擎：    使用什么存储引擎... ...继续阅读 (10)

关系型数据库设计是很重要的一门学科，设计的好坏与否，直接影响到后续业务性能。遵从数据库方式进行数据库设计，将极大程度上是的数据冗余变少，后续整个数据库的性能，维护与管理都将变得轻松。设计数据库结构有六种范式，而最常用的莫过于一二三范式。本文将主要描述这三种范式。 一、第一范式(1NF) 1NF是对属性的原子性约束，要求属性(列)具有原子性，不可再分解。 关系数据模型要求所有的关系模式必须满足第一范... ...继续阅读 (12)

在MySQL很多测试场景，需要人工生成一些测试数据来测试。本文提供一个构造MySQL大表存储过程，可以生成包含用户名，手机号码，出生日期等字段。也可以通过滤重来使得手机号码不重复，模拟现实场景。 一、生成脚本 生成说明： 以下使用存储过程批量生成包含用户名，手机号，出生日期等字段大表。 该存储过程使用基于uid作为主键，因此会生成少量重复手机号码，后面有滤重SQL脚本。 如果想一次性生成不重复手机... ...继续阅读 (4)

一、Python变量 1、Python变量 变量用于存储某个或某些特定的值，它与一个特定标识符相关联，该标识符称为变量名称。变量名指向存储在内存中的值。在创建变量时会在内存中开辟一个空间。基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。Python在声明变量时，无需说明变量的类型。因此，变量可以指定不同的数据类型，这些变量可以存储整数，小数或字符。 2、变量赋值 Pyt... ...继续阅读 (12)

在Linux 7版本中，系统默认自带python2.x的版本。随着python3.x的不断普及与广泛使用，越来越多的应用程序基于Python3开发。本文主要描述在Linux 7下使用编译方式安装Python 3。 一、当前环境 # more /etc/redhat-release CentOS Linux release 7.2.1511 (Core) # python --version ... ...继续阅读 (5)

一、解释型语言Python Python语言是一种解释型、面向对象、动态数据类型的高级程序设计语言。 编译型语言 先整体编译，再执行 运行速度快，任意改动需重新编译 可脱离编译环境运行 解释性语言 边解释，边执行 运行速度慢 部分改动无需整体重新编译 不可脱离解释器环境运行 编译型与解释性语言列表 二、Python解释器种类 CPython 官方版本的解释器。这个解释器是用C语... ...继续阅读 (8)

一、什么是Python   Python 是一个有条理的和强大的面向对象的程序设计语言，类似于Perl, Ruby, Scheme, 或 Java.它被逐渐广泛应用于系统管理任务的处理和Web编程。   Python注重的是如何解决问题而不是编程语言的语法和结构。 Python是一种简单易学，功能强大的编程语言，它有高效率的高层数据结构，简单而有效地实现面向对象编程。 Python简洁的语法和对动... ...继续阅读 (10)

在MySQL关系型数据库中，MySQL支持的数据类型非常丰富。它主要分为3大类，即：数值型，日期时间性，字符型。而实际上这三类数据类型可以进一步的细分扩展，可以根据业务需要选择最适合的一种。本文主要介绍字符类型，并演示其用法。 一、字符型 MySQL支持的字符类型可以进一步细分，即可以分为定(变)长字符型，大值字符型，枚举集合类型等。如下图所示： 二、字符型空间需求 三、字符型演示 mysql... ...继续阅读 (11)

在MySQL关系型数据库中，MySQL支持的数据类型非常丰富。它主要分为3大类，即：数值型，日期时间性，字符型。而实际上这三类数据类型可以进一步的细分扩展，可以根据业务需要选择最适合的一种。本文主要介绍日期时间类型，并演示其用法。 一、日期时间型 MySQL支持的日期时间类型可以进一步细分，即可以分为日期型，时间型，日期时间型，时间戳等。如下图所示： 二、日期时间型存储需求 三、日期时间型零值... ...继续阅读 (4)

在MySQL关系型数据库中，MySQL支持的数据类型非常丰富。它主要分为3大类，即：数值型，日期时间性，字符型。而实际上这三类数据类型可以进一步的细分扩展，可以根据业务需要选择最适合的一种。本文主要介绍数值类型，并演示其用法。 ###一、数值型 MySQL支持所有标准SQL的所有数值类型。在MySQL中，主要分为以下2大类。一类是整数类型，一类是浮点数类型，如下图所示。 整数类型   上图中列出... ...继续阅读 (10)

MySQL实例在异常宕机重启后，会自动启动实例恢复。由于MySQL为多引擎数据库，所以需要说明的是MySQL实例恢复，实质上指的是对事务进行恢复，即对innodb恢复。本文简要描述mysql实例恢复的步骤，并通过具体演示来感受mysql实例恢复的过程。 一、MySQL实例 MySQL实例就是mysqld后台进程以及多个线程再加上内存分配 二、MySQL实例恢复的步骤 三、Inn... ...继续阅读 (9)

最近在安装percona-toolkit工具包时，提示在my.cnf文件中， Percona-Server-shared与mysql-community-server冲突。起初还以为是一定需安装Percona-Server-shared这样一个包才可以呢。Google了一下，原来是需要安装mysql-community-libs-compat 才可以搞定。下面是对这个问题展开描述。 1、故障... ...继续阅读 (6)

可更新视图是指通过视图，来更新、插入、删除基本表中的数据。视图是一个虚拟表，即对视图的更新，实质上是更新基表。但是视图的构造很多时候是由多个表连接查询，以及结合聚合函数，分组过滤等等定义的。对于这类的视图，想要去更新，恐怕就显得力不从心了。因为涉及到多张表。本文简要描述可更新视图的特点并给出演示。 一、不带check option更新 -- 当前环境 mysql> show va... ...继续阅读 (6)

视图是关系型数据库重要的组成部分之一，它可以限制数据访问，简化复杂查询，保持数据的独立性，以及基于相同的数据提供不同的视图等等。本文介绍MySQL数据库视图的一些用法，供大家参考。 一、视图的特点 视图与表类似，包含列和数据行 可以对视图查询或特定情形下DML操作 视图仅仅包含一些DDL定义语句 视图不存储任何真实数据，数据来源于基表 视图限制访问数据，简化复杂查询 创建视图... ...继续阅读 (5)

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。文件简要介绍redis在CentOS 7下安装并配置自启动。 一... ...继续阅读 (9)

数据字典就是元数据的集合，比如创建的表，列，约束，触发器等等这些都是元数据，需要保存到数据库中。除此之外，Oracle自身的一些数据库对象，如目录，PL/SQL代码等等这些都是元数据，都需要存放在数据字典中。随着12c 容器数据的普及，Oracle数据字典发生了哪些变化呢，下文即是具体描述。一、数据字典及其形成1、数据字典数据字典是元数据的集合，从逻辑上和物理上描述了数据库及内容，存储于SYSTEM与SYSAUX表空间内的若干段。SYS用户拥有所有的数据字典表，数据字典基本一般以结尾，如col，tab$等，这些数据字典存放在system表空间中。2、数据字典的形成在数据库创建阶段创建，在使用阶段维护和更新无法通过DML操作来修改，只能通过相关的命令修改系统，来达到间接修改数据字典。3、数据字典包括的内容数据库对象的定义信息用户定义信息PL/SQL代码用户创建的其他对象等关于数据字典详细介绍可以参考：Oracle 数据字典和数据字典视图二、CDB数据库中数据字典架构1、数据字典存放方式的变更在Oracle 12c之前的数据库版本，系统数据字典和用户数据字典采取了混合存放的处理方式。在Oracle 12c CDB数据库中采取分离存放的方式，及各个PDB数据字典独立存放。从用户和应用程序的角度来看，CDB中每个容器中的数据字典是分开的，因为它将在非CDB中。2、非CDB混用数据字典情形示 ...继续阅读 (3)

对于Oracle数据库的创建，Oracle除了支持dbca(GUI界面)，同时也支持手工方式创建数据库，即使用CREATE DATABASE语句创建数据库。使用此语句对使用DBCA的一个优点是可以从脚本内创建数据库。在Oracle 12c版本中支持12c之前的非CDB数据库以及CDB容器数据库。因此创建方式略有不同。本文同时描述2种不同数据库的手工创建方法。一、12c手工创建非CDB数据库步骤1：指定实例标识符（SID）ORACLE_SID的环境变量用于该实例从稍后可能创建并同时在同一主机计算机上运行其他Oracle Database实例区分开来。$exportORACLE_SID=nocdb $exportORACLE_UNQNAME=nocdb步骤2：确保设置所需的环境变量根据您的平台，在启动SQL * Plus之前（根据后续步骤的要求），您可能必须设置环境变量，或至少验证它们是否正确设置。如下查看当前已设定的环境变量，如果未设定，请使用export命令方式设定之。$ env|grep ORAORACLE_UNQNAME=nocdbORACLE_SID=nocdbORACLE_BASE=/app/oracle/ora12cORACLE_HOSTNAME=ydq05.ydq.comORACLE_HOME=/app/oracle/ora12c/db_1步骤3：选择数据库管理员身份验 ...继续阅读 (3)

Oracle的多租户和MySQL，MSSQL的类似，把之前的一个实例对一个数据库的情形(RAC是多个实例对一个数据库)整合成了一个实例下可以挂多个数据库，并且定义为可插拔的，听起来很炫。就像在没有多租户特性之前，Oracle与MSSQL以及MySQL还是有很大的差异，因此对于Oracle的多租户也有一些不同的地方。本文主要描述Oracle 12c多租户架构。一、多租户概念Oracle多租户环境包含一个容器数据库(CDB)和零个或多个可插拔数据库(PDB)，一个PDB是一个模式，模式对象，以及非模式对象，如到一个Oracle网络客户端作为非CDB。Oracle 12c之前的版本，都是非CDB数据库。借用从MSSQL或者MySQL架构来看，即一个实例下面可以有多个数据库。Oracle这个多租户其实和他们的架构类似，把PDB按这种思路来理解就容易得多了。这么做最终的目的是可以充分的利用系统资源。想之前维护的一台机器上搞了5-6个实例，资源浪费，管理起来也费劲。二、CDB容器1、什么是CDB容器一个CDB容器是多租户架构内的数据或元数据的逻辑集合。下图为CDB中容器示例每个CDB都有以下容器：CDB根容器（也简称根）该CDB根是一个模式，模式对象，以及属于所有PDB的非模式对象的集合。根容器存储Oracle提供的元数据和公共用户。元数据的一个例子是Oracle提供的PL/SQL包的源代码。 ...继续阅读 (3)

Percona XtraDB Cluster(简称PXC)集群是基于Galera 2.x library，事务型应用下的通用的多主同步复制插件，主要用于解决强一致性问题，使得各个节点之间的数据保持实时同步以及实现多节点同时读写。提高了数据库的可靠性，也可以实现读写分离，是MySQL关系型数据库中大家公认的集群优选方案之一。本文简要介绍其原理并给出安装指导。一、PXC结构及特性1、结构及基本描述群集由节点组成。建议的配置是至少有3个节点，但你可以使它2节点运行。每个节点可以是常规MySQL或者Percona Server程序。支持将现有的MySQL/Percona Server为节点提升为集群节点。也可以从集群中分离节点，使它作为一个普通的服务器。每个节点包含完整的数据副本。2、优点及限制PXC的优点：服务高可用数据同步复制(并发复制)，几乎无延迟；多个可同时读写节点，可实现写扩展，不过最好事先进行分库分表，让各个节点分别写不同的表或者库，避免让galera解决数据冲突；新节点可以自动部署，部署操作简单；数据严格一致性，尤其适合电商类应用；完全兼容MySQL；PXC局限性：只支持InnoDB引擎；所有表都要有主键；不支持LOCK TABLE等显式锁操作；锁冲突、死锁问题相对更多；不支持XA；集群吞吐量/性能取决于短板；新加入节点采用SST时代价高；存在写扩大问题；如果并发事务量很大的 ...继续阅读 (17)

性能优化是一个永恒的话题，性能优化也是最具有价值，最值得花费精力深入研究的一个课题，因为资源是有限的，时间是有限的。在Oracle数据库中，随着Oracle功能的不断强大和完善，Oralce数据库在性能方面实现自我诊断及优化的功能也越来智能化，这大大的简花了人工优化的脑力和体力的开销，尤其是借助ADDM自动诊断并给出调整建议。本文主要描述ADDM功能及特性。一、ADDM的主要功能ADDM全称是Automatic Database Diagnostic Monitor，是Oracle一个实现性能自我诊断的最佳利器。它依赖于AWR，也就是说ADDM要诊断，必要要有诊断的依据。在Oracle中，这个诊断依据就是Oracle AWR，因为Oracle AWR会定期的收集整个数据库在运行期间的性能统计数据。ADDM可提供单实例以及Oracle RAC数据库级别性能诊断，它主要实现以下功能：定期分析AWR数据(默认情况下每小时自动诊断诊断报告)诊断性能问题的根本原因提供纠正任何问题的建议标识系统的非问题区域ADDM分析特定时间段的性能数据，也就是说需要为ADDM指定快照的范围。ADDM总是分析实例模式指定的实例。对于非Oracle RAC或单实例环境，在实例模式中执行的分析与数据库范围分析相同。如果你使用的是Oracle RAC，ADDM还将分析在数据库模式的整个数据库。ADDM按照DB Ti ...继续阅读 (10)

表空间时点恢复，是Oracle在基于冷备，热备恢复以外的一种以表空间为粒度的，不完全恢复的形式来将表空间恢复到过去某个特定的时间点的一种恢复方式。它整合了RMAN以及DataPump这2个备份恢复工具来实现时点恢复。那它具体的过程和逻辑是怎样的？下文是其具体的描述。一、什么是表空间时点恢复Oracle表空间时点恢复有2个需要理解的概念。恢复粒度表空间级别，也就是说恢复的粒度是以表空间为单位时点恢复时点恢复意味着是一个不完全恢复。也就是说可以把某个或几个表空间恢复到过去的特定时间点，进行视点恢复的表空间可以与数据库中现有的其他表空间不在同一个时间线上。二、适用场景表空间时点恢复适用用以下场景：错误的批处理作业或数据操作语言DML恢复数据定义语言（DDL）后丢失的数据操作，改变表的结构。不能使用闪回表将表倒回结构更改点之前，例如截断表(truncate)操作。恢复drop时使用了purge选项的表恢复存在逻辑错误的表恢复被删除的表空间，RMAN可以在被drop的表空间上面执行TSPITR与全库级别闪回相比，表空间时点恢复停留在表空间级别，影响较全库闪回较小。其次，数据库闪回功能需要承担维护闪回日志开启的相关性能开销。三、实现表空间时点恢复的前提及限制要实现表空间的时点恢复有以下前提，同时也存在一些限制，如下：1.存在有效可用的备份2.数据库处于归档模式3.表空间上存在约束关系(依赖)表 ...继续阅读 (17)

AWR是Automatic Workload Repository的简称，中文叫着自动工作量资料档案库。对于AWR的管理，主要是针对快照和基线的管理而言。比如设定快照的间隔，删除快照，设定快照的保留时间。那对于基线而言则是基线的创建，删除，自动创建等。本文主要描述这2部分的内容。一、快照管理默认情况下，Oracle数据库每小时生成一次快照，并在工作负载库中保留8天的统计信息。必要时，你可以使用dbms_workload_repository程序手动创建，删除或者修改快照等。可以使用OEM以及dbms_workload_repository包管理快照。1. 手动创建快照使用以下过程手工创建快照，创建完成后可在数据字典DBA_HIST_SNAPSHOT查看所有快照相关信息。BEGINDBMS_WORKLOAD_REPOSITORY.CREATE_SNAPSHOT ();END;/SELECTsnap_id, dbid, begin_interval_time, end_interval_timeFROMdba_hist_snapshotORDERBYend_interval_timeDESC;SNAP_ID DBID BEGIN_INTERVAL_TIME END_INTERVAL_TIME------ ...继续阅读 (33)

在对Oracle数据库做性能优化和调整的时候，整个数据库在运行期间的现状或者说真实状态只有在被完整记录下来，才是可查，可知，可比较，可推测或者说为未来优化调整提供支撑建议的基础。那在Oracle数据库中这个机制是由AWR来实现的。AWR是Oracle数据库用于收集，管理和维护数据库整个运行期间和性能相关统计数据的存储仓库，是Oracle数据库性能调整和优化的基础。1. 什么是AWRAWR是Automatic Workload Repository的简称，中文叫着自动工作量资料档案库。既然是仓库，又是保存负载数据，所以保存的是数据库性能相关的数据。即特定数据库或者实例在过去运行期间整个性能表现。AWR能实现性能数据的收集，处理，维护，以及给出调整参考等。这些收集到的数据被定期保存到磁盘，可以从数据字典查询以及生成性能报告等。2. AWR统计信息收集处理的内容用于确定数据库段的访问和使用的对象统计信息基于活动时间模型的统计，位于v$sys_time_model和v$sess_time_model视图系统和会话级别统计信息收集，位于v$sesstat和v$systat视图基于耗用时间和CPU时间等高负载的sql语句ASH统计信息，代表了最近的活动会话的历史3. AWR涉及的2个重要参数statistics_levelBASIC：仅提供最基本的性能数据收集功能，许多性能基线所需的统计数据未 ...继续阅读 (27)

Oracle自动性能统计高效诊断性能问题，需要提供完整可用的统计信息，好比医生给病人看病的望闻问切，才能够正确的确诊，然后再开出相应的药方。Oracle数据库为系统、会话以及单独的sql语句生成多种类型的累积统计信息。本文主要描述Oracle性能统计涉及到的相关概念及统计对象，以更好的利用统计信息为性能调整奠定基础。一、性能统计信息的几个术语增量值(delta)性能统计信息依赖于delta值的累计，即增量值。增量值反映了在某个特定时段某个特定事件的趋势，或者说波动的幅度。通过对比在开始期间统计的累计值和结尾处的累计值之间的差异，才能够更清晰的了解该项值在系统不同负载时间段所需要的资源开销以及用于定位性能瓶颈。在Oracle数据库中，可以通过查询V$SESSTAT和V$SYSSTAT来查询统计值的累计情况。由于这2个视图为动态性能视图，因此，这2个视图的数据收集的仅仅是自实例启动以来的统计数据。如此这般，那数据库关闭后所有的统计信息丢失肿么办，不用着急，有AWR来定期进行保存。度量(metric)度量是Oracle数据库收集的另一种统计类型。一个度量被定义为在一些累积统计信息的变化率。该速率可以对各种单元进行测量，包括时间、事务或数据库调用。例如，每秒的数据库调用是一个度量。度量值可以从动态性能视图查询获得。其中的值是在一个相当小的时间间隔的平均值，通常为60秒。最近的度量值的历史是 ...继续阅读 (13)

Oracle数据库从10g开始，启用以时间模型统计为主，命中率为辅等性能度量指标。基于时间模型统计，主要是基于操作类型测量在数据库中花费的时间的统计信息。最重要的时间模型统计是数据库时间，或DB时间。数据库时间表示在数据库调用中所花费的总时间，是实例工作负载量的总指示器。本文描述时间模型统计相关知识点。一、 DB Time(数据库时间)与User Response Time(用户响应时间)1、DB Time(数据库时间)下图为 DB Time in Overall User Response Time即所有花费在数据库层面调用时间的总和，包括所有会话(前台进程)以及非空闲等待，CPU时间等如上图所示，从客户端Browser请求到客户端Browser响应，经历了很多个中间环节，DB Time仅仅是其中的一部分2、User Response Time(用户响应时间)下图为 DB Time in User Transaction在上图各个部分的操作中：用户向数据库发出请求，使用向下箭头所示。用于处理请求的数据库所花费的CPU时间和等待数据库等待的时间被认为是DB时间，由阴影区域表示一旦请求完成，结果将返回给用户，如上箭头所示。上下箭头之间的空间代表处理请求的总用户响应时间，它包含除DB时间以外的其他组件。基于作者查询小说用户具基于特定的作者查询小说，此时产生应用程序完成基于作者的数据库查 ...继续阅读 (41)