0ARCH Core
Nuestra IA empieza con un modelo que entrenamos desde cero.
Core es la línea de IA de 0ARCH. Este es el registro real del entrenamiento de Kisoku, el modelo de lenguaje que construimos desde cero, paso a paso.
Desliza para verlo aprender
Etapa 1: aprender el idioma
199.000 pasos de texto general. La pérdida baja rápido y luego despacio, mientras el modelo descubre cómo encaja el lenguaje. La vista previa que puedes descargar hoy salió al final de esta etapa.
Etapa 2: matemáticas y código
25.000 pasos con mucha más matemática y código en la mezcla, apuntando a los puntos más débiles de la vista previa. Parte de la caída brusca es que los datos nuevos son más fáciles de predecir.
Etapa 3: enfriamiento
Los últimos 19.000 pasos. La tasa de aprendizaje baja y entran ejemplos de razonamiento, para que lo aprendido se asiente. La versión de octubre se construye sobre el final de esta línea.
Pérdida de entrenamiento, más bajo es mejor. Cada punto promedia 1.000 pasos de entrenamiento, unos 1.500 millones de palabras, de nuestro registro. El registro empieza en el paso 28.650; los pasos anteriores no se guardaron.
Pregúntale algo
Respuestas reales de la vista previa, copiadas palabra por palabra de nuestro registro de pruebas. Toca una pregunta para repetirla.
Tú
Who are you?
Kisoku solo habla inglés, así que las preguntas y respuestas están en inglés.
Kisoku
Un modelo de lenguaje pequeño y gratis que funciona sin internet en tu propia laptop, así que nada de lo que escribes sale de tu computadora. Bueno para preguntas del día a día, textos cortos y código sencillo. Todavía es una vista previa: se equivoca en matemáticas y puede sonar seguro cuando no lo está.
- Tamaño
- 1.600 millones de parámetros
- Funciona
- Sin internet en una laptop, con Ollama
- Licencia
- MIT
- Estado
- Vista previa ahora, versión completa en octubre
$ ollama create kisoku -f Modelfile$ ollama run kisoku
Después de descargar el archivo del modelo. Pasos completos
IA hecha para tu negocio
El mismo trabajo, enfocado en tu problema. Precio fijo, y el código es tuyo.
Una IA privada en tu propio equipo
Un modelo abierto funcionando en una computadora de tu oficina, con un chat que tu equipo puede usar. Nada de lo que escriben va a una empresa de IA externa.
Respuestas sacadas de tus documentos
Pregunta sobre tus manuales, contratos o trabajos anteriores y recibe respuestas que indican la página de donde salieron.
Papeleo que se llena solo
IA que lee los correos, facturas y órdenes que llegan y pasa los datos al sistema que ya usas.