Golang开发实践:把数据库数据保存到map[string]interface{}中

根据某个奇葩需求这段时间要做一个筛选数据库数据的工具，要求逐条从数据库读取数据。然后根据某几个字段筛选保存数据。这样一来某些不需要作为筛选依据的字段也要读取。
Golang读取数据库很简单，可以使用ORM也可以直接使用SQL语句。然而要处理的数据库表有几十个字段，光是定义一个四十多个字段的数据模型就让人感觉痛苦，况且并不是所有字段都要参与运算。于是就决定使用SQL语句来处理。保存到map[string]interface{},这样也方便实现导出字段可配置的需求。

保存到map[string]interface{}

看了一下Golang标准库database/sql中Rows的API文档，并没有提供获取所有字段的API接口，文档提供的实例代码调用了Scan函数并传入相关指针获取数据.

rows, err := db.Query("SELECT ...")
...
defer rows.Close()
for rows.Next() {
    var id int
    var name string
    err = rows.Scan(&id, &name)
    ...
}
err = rows.Err() 

这样的处理方式明显无法完成需求，于是就想到了Golang强大的interface{}，可以将相应长度的[]interface{}作为不定长参数传入Scan函数：

type Record interface{}

func (tf *DataIterator) parseRows(rows *sql.Rows, cSize int) (error) {
    columns, err := rows.Columns()
    if err != nil {
        return err
    }
    size := len(columns)
    pts := make([]interface{}, size)
    container := make([]interface{}, size)
    tf.cache = make([]Record, cSize)
    cursor := 0
    for i := range pts {
        pts[i] = &container[i]
    }
    for rows.Next() {
        err = rows.Scan(pts...)
        if err != nil {
            return err
        }
        var r Record = make(map[string]interface{}, size)
        for i, column := range columns {
            r[column] = container[i]
        }
        tf.cache[cursor] = r
        cursor  
    }
    return nil
}

• 首先通过Rows.Columns获取数据库返回的字段
• 声明相同长度的[]interface{}用以保存一行数据
• 声明相同长度的[]interface{}作为容器
• 将pts中元素的指针存入容器
• 调用Rows.Scan()并将container作为不定长参数传入
• 遍历Rows中的每一行数据即可保存数据库数据到map[string]interface{}

关于字符串

在实际操作中发现用这种操作方法数据库中的字符串(CHAR\VARCHAR等)类型会被作为[]uint8。遍历结果转换为string即可：

func formatRecord(r Record) {
    for k, v := range r {
        switch v.(type) {
        case []uint8:
            arr := v.([]uint8)
            r[k] = uiToS(arr)
        case nil:
            r[k] = ""
        }
    }
}

@author: Memory_Leak

到此这篇关于“Golang开发实践:把数据库数据保存到map[string]interface{}中”的文章就介绍到这了,更多文章或继续浏览下面的相关文章，希望大家以后多多支持JQ教程网！

您可能感兴趣的文章：
Golang 中使用多维 map
golang key map 所有_谨慎使用golang中的map
Golang线程安全Map:sync.Map使用小结
Go进阶45:Golang简洁的日志收集系统(替代ELKB)
golang中map的一些注意事项
golang 切片 接口_Go指南8面对对象与接口
Go 语言 Session机制和 Cookie机制
Golang必备技巧：接口型函数
golang中map的并发 syncmap详解
Go基础编程：Map