使用pymongo将所有数据以字符串格式插入

Question

我正在使用pymongo导入csv文件并将其插入到mongodb中，但由于某些原因，所有字段都被存储为字符串格式，而我期望的是double格式。以下是Python代码：

def saveToMongo():
    print("inside saveToMongo")
    collection = mydb['country']

    header = ['country_id', 'country_name', 'zone_id', 'minLat', 'maxLat', 'minLong', 'maxLong']
    csvFile = open('country.csv', 'r')
    reader = csv.DictReader(csvFile)

    print(reader)

    for each in reader:
        row = {}
        for field in header:
            row[field] = each[field]

        # print(row)
        collection.insert(row)

这里是我的csv文件内容：

country_id,country_name,zone_id,minLat,maxLat,minLong,maxLong
2,Bangladesh,1,20.6708832870000,26.4465255803000,88.0844222351000,92.6727209818000
3,"Sri Lanka",1,5.9683698592300,9.8240776636100,79.6951668639000,81.7879590189000
4,Pakistan,1,23.6919650335000,37.1330309108000,60.8742484882000,77.8374507995000
5,Bhutan,1,26.7194029811000,28.2964385035000,88.8142484883000,92.1037117859000

我不明白为什么Python将数据以字符串格式存储。

当我尝试使用mongoimport工具插入数据时，遇到了以下错误：

fatal error: unrecognized DWARF version in .debug_info at 6

runtime stack:
panic during panic

runtime stack:
stack trace unavailable

David Thomas · Answer

csv.DictReader默认将任何数据解析为字符串类型。如果你想将数据转换为其他格式，你可以创建自定义函数来按照你希望的类型进行解析。

假设你在Python中所说的“double”实际上是“float”类型，你可以如下所示操作：

from pymongo import MongoClient
import csv
myclient = MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydbname"]

def csvToMongo():
    with open('country.csv', 'r') as myFile:
        reader = csv.DictReader(myFile, delimiter=",")
        myParsedData = [
            {
                'country_id': int(elem['country_id']),
                'country_name': elem['country_name'],
                'zone_id': int(elem['zone_id']),
                'minLat': float(elem['minLat']),
                'maxLat': float(elem['maxLat']),
                'minLong': float(elem['minLong']),
                'maxLong': float(elem['maxLong']),
            }
            for elem in reader
        ]
        collection = mydb['country']
        collection.insert_many(myParsedData)

# 执行函数
csvToMongo()

Brad Christie · Answer

在Python中，所有CSV数据都将作为字符串格式读取，这与MongoDB或pymongo是否按字符串格式插入数据无关。如果你希望从CSV数据中自动推断并转换数据类型，可以使用类似Pandas库中的read_csv函数。

否则，需要手动进行类型转换，通过一个包含header（列名）的循环来进行——创建一个列名与列类型的映射表，并将每个字段转换为其对应的类型：

header = {
    'country_id': int, 'country_name': str, 'zone_id': int,
    'minLat': float, 'maxLat': float, 'minLong': float, 'maxLong': float
}

for row in reader:
    doc = {}
    for field, ftype in header.items():
        doc[field] = ftype(row[field])

    # 这段循环也可以简化为一行：
    # doc = {field: ftype(row[field]) for field, ftype in header.items()}

    collection.insert_one(doc)  # 注意这里应当使用insert_one而非直接插入原始行

# 如果文件不是很大，可以先读取并转换所有行，然后再一次性使用insert_many方法插入。

附注：如果循环内部仅为读取每行数据并将其赋值给字典中的键，则循环显得有些冗余。在这种情况下，可以直接插入处理过的每条记录（即collection.insert_one(doc)）。如果文件规模较小，可以先读取并转换所有行的数据，再一次性调用insert_many方法插入数据库。