go语言的scan,go语言的缺点

golang-redis系列——返回值助手函数(二)

从上一节的内容可知，Do() 和 Receive() 等方法的返回值，除了 error 外，是一个 interface{} 类型的返回值，因此当我们的复杂操作返回的不是基本数据类型时，就需要我们自己解析返回值，例如，当我们利用 HMGET 方法获取一批返回值时，就需要对返回结果进行解析，具体如下：

由于返回值是多条数据，因此需要先将 reply 转成 []interface 类型，然后在遍历结果时在分别转成 []uint8 (byte数组)， 最后再转成 string 类型。

随着我们操作复杂度，数据解析的工作量也会非常大，(lua 脚本的使用，会使结果的解析更为复杂，因为可能存在多种类型的结果一起返回的情况，lua 脚本相关的内容会在下一节介绍)。

redigo 包中的返回值助手函数的存在，就是为了帮助我们完成这些枯燥繁琐的数据解析过程。

返回值助手函数相关源码路径为 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下：

上述返回值助手函数的具体使用，应该依据具体的命令进行选择。如果大家还记得上一节介绍的 Redis 基本数据类型，可能会有些疑问，对于 redis 来说，其数据据存储本质都是 []bytes， 为什么可以解析出 Int、int64、float等类型的数据呢？

我们以 Float64() 为例进行说明，具体源码如下：

其实，返回值助手函数是将 []byte 类型的原始数据，利用 strconv.ParseFloat(string(reply), 64) 转换成了 float64类型，因此在我们使用过程中返回值助手函数的选择，应该基于业务和实际存储的数据格式为依据。我们以第一小节的示例为例，看返回值助手函数如何降低我们的工作量，具体如下：

除了使用返回值助手函数对上述固定结构的结果进行解析外，redigo 包还提供了一个 Scan()函数用于解析自定义的复杂数据结构，我们依然以上一个示例进行说明,具体示例如下：

如果返回结果为结构化切片，也可以使用 canSlice() 方法，从而简化 loop 处理的部分，具体示例如下：

通过上述的示例，我们介绍了 scan 函数的基本用法，但是细心的同学可能会发现吗，为什么数据写入时，value 的类型为 []int64 但是读取时只能按照 string 类型读取呢。这是因为 Redis 底层存储的数据本质都是 string 类型，。 无论是 HMSET 还是 MSET 最终都只能按照 string 类型读取，因为其本质都是 hash 结构，不同之处仅在于 HMSET 是嵌套的 hash类型。 因此，[]int64 数据在写入阶段，就已经被自动处理为 []byte，写入 redis 之后，len 和 类型 属性会丢失。

如果强行按照 []int64解析将出错：

如果 value 必须以结构化的数据存储，那么可以提前对要写入的数据进行编码，例如 json、protobuf 等，取出后再进行解码获得原始数据。

基础知识 - Golang 中的格式化输入输出

【格式化输出】

// 格式化输出：将 arg 列表中的 arg 转换为字符串输出

// 使用动词 v 格式化 arg 列表，非字符串元素之间添加空格

Print(arg列表)

// 使用动词 v 格式化 arg 列表，所有元素之间添加空格，结尾添加换行符

Println(arg列表)

// 使用格式字符串格式化 arg 列表

Printf(格式字符串, arg列表)

// Print 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串由普通字符和占位符组成，例如：

"abc%+ #8.3[3]vdef"

其中 abc 和 def 是普通字符，其它部分是占位符，占位符以 % 开头（注：%% 将被转义为一个普通的 % 符号，这个不算开头），以动词结尾，格式如下：

%[旗标][宽度][.精度][arg索引]动词

方括号中的内容可以省略。

【旗标】

旗标有以下几种：

空格：对于数值类型的正数，保留一个空白的符号位（其它用法在动词部分说明）。

0 ：用 0 进行宽度填充而不用空格，对于数值类型，符号将被移到所有 0 的前面。

其中 "0" 和 "-" 不能同时使用，优先使用 "-" 而忽略 "0"。

【宽度和精度】

“宽度”和“精度”都可以写成以下三种形式：

数值 | * | arg索引*

其中“数值”表示使用指定的数值作为宽度值或精度值，“ ”表示使用当前正在处理的 arg 的值作为宽度值或精度值，如果这样的话，要格式化的 arg 将自动跳转到下一个。“arg索引 ”表示使用指定 arg 的值作为宽度值或精度值，如果这样的话，要格式化的 arg 将自动跳转到指定 arg 的下一个。

宽度值：用于设置最小宽度。

精度值：对于浮点型，用于控制小数位数，对于字符串或字节数组，用于控制字符数量（不是字节数量）。

对于浮点型而言，动词 g/G 的精度值比较特殊，在适当的情况下，g/G 会设置总有效数字，而不是小数位数。

【arg 索引】

“arg索引”由中括号和 arg 序号组成（就像上面示例中的 [3]），用于指定当前要处理的 arg 的序号，序号从 1 开始：

'[' + arg序号 + ']'

【动词】

“动词”不能省略，不同的数据类型支持的动词不一样。

[通用动词]

v：默认格式，不同类型的默认格式如下：

布尔型：t

整　型：d

浮点型：g

复数型：g

字符串：s

通　道：p

指　针：p

无符号整型：x

T：输出 arg 的类型而不是值（使用 Go 语法格式）。

[布尔型]

t：输出 true 或 false 字符串。

[整型]

b/o/d：输出 2/8/10 进制格式

x/X ：输出 16 进制格式（小写/大写）

c ：输出数值所表示的 Unicode 字符

q ：输出数值所表示的 Unicode 字符（带单引号）。对于无法显示的字符，将输出其转义字符。

U ：输出 Unicode 码点（例如 U+1234，等同于字符串 "U+%04X" 的显示结果）

对于 o/x/X：

如果使用 "#" 旗标，则会添加前导 0 或 0x。

对于 U：

如果使用 "#" 旗标，则会在 Unicode 码点后面添加相应的 '字符'（前提是该字符必须可显示）

[浮点型和复数型]

b ：科学计数法（以 2 为底）

e/E：科学计数法（以 10 为底，小写 e/大写 E）

f/F：普通小数格式（两者无区别）

g/G：大指数（指数 = 6）使用 %e/%E，其它情况使用 %f/%F

[字符串或字节切片]

s ：普通字符串

q ：双引号引起来的 Go 语法字符串

x/X：十六进制编码（小写/大写，以字节为元素进行编码，而不是字符）

对于 q：

如果使用了 "+" 旗标，则将所有非 ASCII 字符都进行转义处理。

如果使用了 "#" 旗标，则输出反引号引起来的字符串（前提是

字符串中不包含任何制表符以外的控制字符，否则忽略 # 旗标）

对于 x/X：

如果使用了 " " 旗标，则在每个元素之间添加空格。

如果使用了 "#" 旗标，则在十六进制格式之前添加 0x 前缀。

[指针类型]

p ：带 0x 前缀的十六进制地址值。

[符合类型]

复合类型将使用不同的格式输出，格式如下：

结　构　体：{字段1 字段2 ...}

数组或切片：[元素0 元素1 ...]

映　射：map[键1:值1 键2:值2 ...]

指向符合元素的指针：{}, [], map[]

复合类型本身没有动词，动词将应用到复合类型的元素上。

结构体可以使用 "+v" 同时输出字段名。

【注意】

1、如果 arg 是一个反射值，则该 arg 将被它所持有的具体值所取代。

2、如果 arg 实现了 Formatter 接口，将调用它的 Format 方法完成格式化。

3、如果 v 动词使用了 # 旗标（%#v），并且 arg 实现了 GoStringer 接口，将调用它的 GoString 方法完成格式化。

如果格式化操作指定了字符串相关的动词（比如 %s、%q、%v、%x、%X），接下来的两条规则将适用：

4。如果 arg 实现了 error 接口，将调用它的 Error 方法完成格式化。

5。如果 arg 实现了 string 接口，将调用它的 String 方法完成格式化。

在实现格式化相关接口的时候，要避免无限递归的情况，比如：

type X string

func (x X) String() string {

return Sprintf("%s", x)

}

在格式化之前，要先转换数据类型，这样就可以避免无限递归：

func (x X) String() string {

return Sprintf("%s", string(x))

}

无限递归也可能发生在自引用数据类型上面，比如一个切片的元素引用了切片自身。这种情况比较罕见，比如：

a := make([]interface{}, 1)

a[0] = a

fmt.Println(a)

【格式化输入】

// 格式化输入：从输入端读取字符串（以空白分隔的值的序列），

// 并解析为具体的值存入相应的 arg 中，arg 必须是变量地址。

// 字符串中的连续空白视为单个空白，换行符根据不同情况处理。

// \r\n 被当做 \n 处理。

// 以动词 v 解析字符串，换行视为空白

Scan(arg列表)

// 以动词 v 解析字符串，换行结束解析

Scanln(arg列表)

// 根据格式字符串中指定的格式解析字符串

// 格式字符串中的换行符必须和输入端的换行符相匹配。

Scanf(格式字符串, arg列表)

// Scan 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串类似于 Printf 中的格式字符串，但下面的动词和旗标例外：

p ：无效

T ：无效

e/E/f/F/g/G：功能相同，都是扫描浮点数或复数

s/v ：对字符串而言，扫描一个被空白分隔的子串

对于整型 arg 而言，v 动词可以扫描带有前导 0 或 0x 的八进制或十六进制数值。

宽度被用来指定最大扫描宽度（不会跨越空格），精度不被支持。

如果 arg 实现了 Scanner 接口，将调用它的 Scan 方法扫描相应数据。只有基础类型和实现了 Scanner 接口的类型可以使用 Scan 类方法进行扫描。

【注意】

连续调用 FScan 可能会丢失数据，因为 FScan 中使用了 UnreadRune 对读取的数据进行撤销，而参数 io.Reader 只有 Read 方法，不支持撤销。比如：

（十一）golang 内存分析

编写过C语言程序的肯定知道通过malloc()方法动态申请内存，其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc，业界比较出名的内存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免内存碎片和性能上均比glic有比较大的优势，在多线程环境中效果更明显。

Golang中也实现了内存分配器，原理与tcmalloc类似，简单的说就是维护一块大的全局内存，每个线程(Golang中为P)维护一块小的私有内存，私有内存不足再从全局申请。另外，内存分配与GC（垃圾回收）关系密切，所以了解GC前有必要了解内存分配的原理。

为了方便自主管理内存，做法便是先向系统申请一块内存，然后将内存切割成小块，通过一定的内存分配算法管理内存。 以64位系统为例，Golang程序启动时会向系统申请的内存如下图所示：

预申请的内存划分为spans、bitmap、arena三部分。其中arena即为所谓的堆区，应用中需要的内存从这里分配。其中spans和bitmap是为了管理arena区而存在的。

arena的大小为512G，为了方便管理把arena区域划分成一个个的page，每个page为8KB,一共有512GB/8KB个页；

spans区域存放span的指针，每个指针对应一个page，所以span区域的大小为(512GB/8KB)乘以指针大小8byte = 512M

bitmap区域大小也是通过arena计算出来，不过主要用于GC。

span是用于管理arena页的关键数据结构，每个span中包含1个或多个连续页，为了满足小对象分配，span中的一页会划分更小的粒度，而对于大对象比如超过页大小，则通过多页实现。

根据对象大小，划分了一系列class，每个class都代表一个固定大小的对象，以及每个span的大小。如下表所示：

上表中每列含义如下：

class： class ID，每个span结构中都有一个class ID, 表示该span可处理的对象类型

bytes/obj：该class代表对象的字节数

bytes/span：每个span占用堆的字节数，也即页数乘以页大小

objects: 每个span可分配的对象个数，也即（bytes/spans）/（bytes/obj）waste

bytes: 每个span产生的内存碎片，也即（bytes/spans）%（bytes/obj）上表可见最大的对象是32K大小，超过32K大小的由特殊的class表示，该class ID为0，每个class只包含一个对象。

span是内存管理的基本单位,每个span用于管理特定的class对象, 跟据对象大小，span将一个或多个页拆分成多个块进行管理。src/runtime/mheap.go:mspan定义了其数据结构：

以class 10为例，span和管理的内存如下图所示：

spanclass为10，参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图，每位代表一个块是否被分配，本例中有两个块已经被分配，其allocCount也为2。next和prev用于将多个span链接起来，这有利于管理多个span，接下来会进行说明。

有了管理内存的基本单位span，还要有个数据结构来管理span，这个数据结构叫mcentral，各线程需要内存时从mcentral管理的span中申请内存，为了避免多线程申请内存时不断的加锁，Golang为每个线程分配了span的缓存，这个缓存即是cache。src/runtime/mcache.go:mcache定义了cache的数据结构

alloc为mspan的指针数组，数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表，每种class类型都有两组span列表，第一组列表中所表示的对象中包含了指针，第二组列表中所表示的对象不含有指针，这么做是为了提高GC扫描性能，对于不包含指针的span列表，没必要去扫描。根据对象是否包含指针，将对象分为noscan和scan两类，其中noscan代表没有指针，而scan则代表有指针，需要GC进行扫描。mcache和span的对应关系如下图所示：

mchache在初始化时是没有任何span的，在使用过程中会动态的从central中获取并缓存下来，跟据使用情况，每种class的span个数也不相同。上图所示，class 0的span数比class1的要多，说明本线程中分配的小对象要多一些。

cache作为线程的私有资源为单个线程服务，而central则是全局资源，为多个线程服务，当某个线程内存不足时会向central申请，当某个线程释放内存时又会回收进central。src/runtime/mcentral.go:mcentral定义了central数据结构：

lock: 线程间互斥锁，防止多线程读写冲突

spanclass : 每个mcentral管理着一组有相同class的span列表

nonempty: 指还有内存可用的span列表

empty: 指没有内存可用的span列表

nmalloc: 指累计分配的对象个数线程从central获取span步骤如下：

将span归还步骤如下：

从mcentral数据结构可见，每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。src/runtime/mheap.go:mheap定义了heap的数据结构：

lock： 互斥锁

spans: 指向spans区域，用于映射span和page的关系

bitmap：bitmap的起始地址

arena_start: arena区域首地址

arena_used: 当前arena已使用区域的最大地址

central: 每种class对应的两个mcentral

从数据结构可见，mheap管理着全部的内存，事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。mheap内存管理示意图如下：

系统预分配的内存分为spans、bitmap、arean三个区域，通过mheap管理起来。接下来看内存分配过程。

针对待分配对象的大小不同有不同的分配逻辑：

(0, 16B) 且不包含指针的对象： Tiny分配

(0, 16B) 包含指针的对象：正常分配

[16B, 32KB] : 正常分配

(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴，这里暂时仅关注一般的分配方法。

以申请size为n的内存为例，分配步骤如下：

Golang内存分配是个相当复杂的过程，其中还掺杂了GC的处理，这里仅仅对其关键数据结构进行了说明，了解其原理而又不至于深陷实现细节。1、Golang程序启动时申请一大块内存并划分成spans、bitmap、arena区域

2、arena区域按页划分成一个个小块。

3、span管理一个或多个页。

4、mcentral管理多个span供线程申请使用

5、mcache作为线程私有资源，资源来源于mcentral。

Go 语言三色标记扫描对象是 DFS 还是 BFS?

最近在看左神新书 《Go 语言设计与实现》的垃圾收集器时产生一个疑惑，花了点时间搞清楚了记录一下。

Go 语言垃圾回收的实现使用了标记清除算法，将对象的状态抽象成黑色（活跃对象）、灰色（活跃对象中间状态）、白色（潜在垃圾对象也是所有对象的默认状态）三种，注意没有具体的字段标记颜色。

整个标记过程就是把白色对象标黑的过程：

1.首先将 ROOT 根对象（包括全局变量、goroutine 栈上的对象等）放入到灰色集合

2.选一个灰色对象，标成黑色，将所有可达的子对象放入到灰色集合

3.重复2的步骤，直到灰色集合中为空

下图是书上的插图，看上去是一个典型的深度优先搜索的算法。

下图是刘丹冰写的《Golang 修养之路》的插图，看上去是一个典型的广度优先搜索的算法。

我疑惑的点在于这个标记过程是深度优先算法还是广度优先算法，因为很多文章博客对此都没有很清楚的说明，作为学习者这种细节其实也不影响对整个 GC 流程的理解，但是这种细节我非常喜欢扣：）

对着书和源码摸索着大致找到了一个结果是深度优先。下面看下大致的过程，源码基于1.15.2版本：

gcStart 是 Go 语言三种条件触发 GC 的共同入口

启动后台标记任务

为每个处理器创建用于执行后台标记任务的 Goroutine

上面休眠的 G 会在调度循环中检查并唤醒执行

执行标记

gcw 是每个 P 独有的所以不用担心并发的问题 和 GMP、mcache 一样设计，减少锁竞争

尝试在全局列表中获取一个不为空的 buf

这是官方实现的无锁队列：）涨见识了，for 循环加原子操作实现栈的 pop

到这里从灰色集合中获取待扫描的对象逻辑说完了。找到对象了接着就是 scanobject(b, gcw) 了，里面有两段逻辑要注意

根据索引位置找到对象进行标色

尝试存入 gcwork 的缓存中，或全局队列中

无锁队列，for 循环加原子操作实现栈的 push

到这里把灰色对象标黑就完成了，又放回灰色集合接着扫下一个指针。

Go 语言设计与实现 垃圾收集器

Golang三色标记+混合写屏障GC模式全分析

golang mysql Scan操作按顺序取值问题

rows, err := db.Query("SELECT * FROM user")

checkErr(err)

for rows.Next() {

var userId int

var userName string

var userAge int

var userSex int

rows.Columns()

err = rows.Scan(userId, userName, userAge, userSex)

checkErr(err)

fmt.Println(userId)

fmt.Println(userName)

fmt.Println(userAge)

fmt.Println(userSex)

}

Golang 指针和结构体

于c语言相同，go中也有指针和结构体的概念。指针表示变量的内存地址，结构体用来存储同一类型的数据。

定义一个指针变量，将变量a的地址赋给指针变量p。这样,指针变量p也就指向了变量a所在的内容空间。

new 函数返回一个指针变量

fmt.scan() 就是传入一个指针变量。

两种方法都可以使用。

以上简要介绍了go语言中的指针和结构体。