diff --git a/datavec/datavec-api/src/main/java/org/datavec/api/records/reader/impl/LineRecordReader.java b/datavec/datavec-api/src/main/java/org/datavec/api/records/reader/impl/LineRecordReader.java
index c0d39d066..c3163f108 100644
--- a/datavec/datavec-api/src/main/java/org/datavec/api/records/reader/impl/LineRecordReader.java
+++ b/datavec/datavec-api/src/main/java/org/datavec/api/records/reader/impl/LineRecordReader.java
@@ -173,6 +173,7 @@ public class LineRecordReader extends BaseRecordReader {
             throw new UnsupportedOperationException("Cannot reset without first initializing");
         try {
             inputSplit.reset();
+            close();
             initialize(inputSplit);
             splitIndex = 0;
         } catch (Exception e) {