Kisoku, un modelo de lenguaje que entrenamos desde cero.
Un modelo abierto y gratis de 1.600 millones de parámetros que una sola persona entrenó desde cero. Empata con Llama 3.2 1B de Meta en diez pruebas con unas 18 veces menos datos, y funciona sin internet en tu laptop.
Who are you? I'm Kisoku, a small open language model built from scratch by 0ARCH. I run on a laptop and handle everyday stuff like answering questions, writing, and code.
Explain why the sky is blue in two sentences. The sky is blue because sunlight is scattered in all directions by the air molecules, and shorter wavelengths of light (blue) are scattered much more than longer ones (red). This is called Rayleigh scattering.
Write a Python function that checks whether a number is prime. ```python def is_prime(n): if n < 2: return False for i in range(2, int(n**0.5) + 1): if n % i == 0: return False return True ``` This function checks divisibility up to the square root of `n`, which is an optimization over checking all the way up to `n`. If `n` is divisible by any number in this range, it's not prime. Otherwise, it's prime. You can use this function like this: ```python print(is_prime(25)) # False print(is_prime(23)) # True ```
- parámetros
- 1.600 M
- tokens de entrenamiento
- 524.000 M
- menos datos que Llama 3.2 1B
- 18x
- descarga recomendada
- 1,7 GB
- palabras por segundo en un M5 Max
- ~150
Cómo se compara
Pasamos Kisoku y Llama 3.2 1B de Meta por el mismo sistema de pruebas en la misma máquina. De diez pruebas, cada uno gana cinco. Kisoku gana las de razonamiento y matemáticas, Llama las de conocimiento y sentido común. La diferencia está en los datos de entrenamiento: Llama 3.2 1B se entrenó con unos 9 billones de tokens según Meta, Kisoku con unos 524.000 millones, unas 18 veces menos. Así que es un resultado sobre sacar más de menos datos, no una afirmación de ser el mejor modelo pequeño. Qwen2.5 1.5B y SmolLM2 1.7B superan a los dos en la mayoría de estas pruebas.
5
Kisoku 1.6B
victorias
5
Llama 3.2 1B
- Kisoku 1.6B: 15,0
GSM8K
Llama 3.2 1B: 5,8 - Kisoku 1.6B: 34,2
MMLU
Llama 3.2 1B: 31,3 - Kisoku 1.6B: 64,4
ARC-Easy
Llama 3.2 1B: 61,8 - Kisoku 1.6B: 40,1
ARC-Challenge
Llama 3.2 1B: 36,9 - Kisoku 1.6B: 28,6
BBH
Llama 3.2 1B: 28,3 - Kisoku 1.6B: 73,0
PIQA
Llama 3.2 1B: 74,9 - Kisoku 1.6B: 56,8
WinoGrande
Llama 3.2 1B: 60,5 - Kisoku 1.6B: 57,8
HellaSwag
Llama 3.2 1B: 64,2 - Kisoku 1.6B: 14,6
HumanEval
Llama 3.2 1B: 18,9 - Kisoku 1.6B: 23,1
TriviaQA
Llama 3.2 1B: 40,7
Contexto largo: en RULER (promedio de 13 tareas) Kisoku saca 76,1 con 4K tokens, 58,8 con 32K, 56,7 con 64K y 43,2 con 128K. Llama 3.2 1B saca 73,5, 56,7, 49,2 y 43,1. IBM Granite 4.0 1B y Qwen3.5 superan a Kisoku en todas las longitudes.
Úsalo en tres pasos
Kisoku funciona en Ollama, una app gratis que ejecuta modelos de IA en tu propia computadora. Los comandos de abajo son para la app Terminal de Mac o una terminal de Linux.
- 1
Instala Ollama
Descárgalo en ollama.com y ábrelo una vez.
- 2
Descarga Kisoku
Esto baja el modelo de chat recomendado de 1,7 GB y su archivo de configuración a una carpeta nueva.
$ mkdir kisoku && cd kisoku$ curl -LO https://huggingface.co/0arch-io/kisoku-1.6b-gguf/resolve/main/kisoku-1.6b-chat-sft009-Q8_0.gguf$ curl -LO https://huggingface.co/0arch-io/kisoku-1.6b-gguf/resolve/main/Modelfile
- 3
Empieza a chatear
El primer comando lo prepara, el segundo abre el chat. Escribe /bye para salir.
$ ollama create kisoku -f Modelfile$ ollama run kisoku
Lo que hace bien
- Preguntas y conversación del día a día.
- Textos cortos: correos, resúmenes, reescrituras, poemas.
- Código sencillo, como una función pequeña en Python con un ejemplo.
Dónde el modelo de chat todavía falla
- El modelo de chat es una vista previa. En conversaciones largas puede perder el hilo de lo que dijo antes.
- Da las respuestas equivocadas con la misma seguridad que las correctas, así que verifica lo que importe.
- Un error de tipeo en una petición larga lo puede confundir.
- A veces se niega a hacer cosas que podría hacer sin problema.
- No tiene acceso a internet y no sabe nada de noticias recientes.
Todo es abierto
Los pesos, el código, el informe técnico y cada respuesta de las evaluaciones son públicos con licencia Apache 2.0.
El modelo base es la versión final. El modelo de chat sigue siendo una vista previa: funciona, pero espera los fallos de la lista de arriba.
Pesos del modelo base
El modelo preentrenado, con ramas para la etapa 1, la etapa 3 y los dos checkpoints de contexto largo.
Modelo de chat (vista previa)
La pasada 9 del ajuste fino supervisado. Es el que descargan los pasos de arriba.
GGUF para llama.cpp y Ollama
Q8_0 (1,7 GB, recomendado), Q4_K_M (1,0 GB) y F16 (3,2 GB), para el modelo de chat y el base, más el Modelfile.
Código e informe técnico
El código de entrenamiento y el informe completo de cómo se construyó Kisoku.
Resultados de evaluación
Cada respuesta de cada prueba, una por una, para que puedas revisar los puntajes tú mismo.
Licencia Apache 2.0
Úsalo, modifícalo y construye sobre él, también con fines comerciales.
Ficha técnica
- Tamaño
- 1.600 millones de parámetros (1.600.749.056)
- Entrenado con
- Unos 524.000 millones de tokens de texto, incluidas fases de contexto largo (un token es más o menos tres cuartos de una palabra). Entrenado en una TPU v4-32 del TPU Research Cloud de Google, una beca gratuita.
- Contexto
- Entrenado hasta 64K tokens, unos 128K con YaRN. La configuración de Ollama de abajo usa 8.192 tokens por defecto.
- Descarga
- De 1,0 a 3,2 GB
- Velocidad
- Unas 150 palabras por segundo en un MacBook Pro con chip M5 Max
- Idioma
- Inglés
- Licencia
- Apache 2.0 para los pesos, el código y el informe
Preguntas
¿Cuál es el mejor modelo de lenguaje pequeño y de código abierto que funciona sin internet en una laptop?
Depende del trabajo, y Kisoku es una opción honesta. Es un modelo de 1.600 millones de parámetros que entrenamos desde cero, gratis con licencia Apache 2.0, y funciona sin internet en una laptop con Ollama, con una descarga de 1,0 a 3,2 GB. Funciona bien para preguntas del día a día, textos cortos y código sencillo. Empata con Llama 3.2 1B en nuestras diez pruebas, pero Qwen2.5 1.5B y SmolLM2 1.7B sacan más puntos en la mayoría, así que si solo buscas el modelo más fuerte de este tamaño, pruébalos también.
¿Cómo se compara Kisoku con Llama 3.2 1B?
En diez pruebas pasadas por el mismo sistema en la misma máquina, cada uno gana cinco. Kisoku va adelante en GSM8K, MMLU, ARC-Easy, ARC-Challenge y BBH (razonamiento y matemáticas). Llama 3.2 1B va adelante en PIQA, WinoGrande, HellaSwag, HumanEval y TriviaQA (conocimiento y sentido común). Kisoku llegó ahí con unos 524.000 millones de tokens de entrenamiento, frente a los cerca de 9 billones que Meta reporta para Llama 3.2 1B, unas 18 veces menos. Como modelo de chat, Llama 3.2 1B Instruct sigue adelante: en una prueba de 297 conversaciones, un juez estricto aceptó el 56,7% de sus respuestas, frente al 48,9% de la vista previa de chat de Kisoku.
¿Kisoku funciona sin internet?
Sí. Una vez descargado el modelo, Kisoku corre por completo en tu computadora con Ollama. Nada de lo que escribes se envía a ningún lado, y el modelo no tiene acceso a internet.
¿Qué tan grande es Kisoku?
1.600 millones de parámetros. La descarga pesa de 1,0 a 3,2 GB según la versión, y la recomendada ronda 1,7 GB. Escribe unas 150 palabras por segundo en una MacBook Pro con chip M5 Max.
¿Kisoku es gratis?
Sí. Los pesos, el código y el informe técnico tienen licencia Apache 2.0, que permite el uso comercial. Los detalles están en la página del modelo en Hugging Face.