IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    迭代IMDB数据集list(train_iter)时出现Some child DataPipes are not exhausted when iter is called警告

    52txr发表于 2024-05-20 15:06:00
    love 0

    在使用IMDB数据集制作数据集时,出现了数据管道(DataPipe)未被完全消耗的警告。这个警告出现的原因是在调用list(train_iter)和list(test_iter)时,数据没有被完全迭代。为了解决这个问题,作者建议使用for循环逐个迭代数据,直到数据被完全消耗。具体来说,作者使用列表推导式处理数据,保留了标签的格式,并将训练和测试数据分别处理成了新的列表。

    [...]



沪ICP备19023445号-2号
友情链接