Ende des 17. Jahrhunderts fanden kurzhaarige Hunde vom Foxterrier-Typ auf holländen Schiffen den Weg nach Nagasaki. Der Überlieferung nach wurden diese Hunde vor allem in Yokohama und Kobe mit verschiedenen japanischen Rassen gekreuzt. Später wurden einige Nachkommen davon mit italienischen Windhunden verpaart, so dass um 1900 der KOBE-Terrier herauskam. Ein kleiner graziler Schoßhund, der sich trotz uneinheitlichen Typs großer Beliebtheit erfreute.

Der Geschichte zufolge erschien um 1916 ein Hund namens KUROGO. Dieser Hund stammt aus einer Kreuzung von Toy-Manchester-Terrier mit Toy-Bullterrier. Dieser Rüde wurde mit verschiedenen weiblichen KOBE-Terriern gepaart. Das Besondere daran: Als Ergebnis kam ein kleiner Terrier mit extrem kurzen Haaren heraus. Laut Überlieferungen sollte dieses extrem kurze Fell (2mm), heute ein Rassemerkmal, nur aus der Verpaarung mit diesem Rüden hervorgekommen sein. Dieser Typ von Hund wird später als japanischer Terrier bezeichnet. Dies ist der erste Auftritt als japanischer Terrier, der bis heute andauert. Die Öffnung Japans hatte aber nicht nur Vorteile für den Japanischen Terrier. Es ermöglichte auch, westliche Rassen zu importieren, und der Japanische Terrier geriet in Vergessenheit. Einige Züchter nahmen sich jedoch dieser Rasse an und festigten dessen Erscheinungsbild, sodass um 1932 diese Rasse offiziell als "Nihon Teria" von der FCI anerkannt werden konnte.