Sobre o TokenCrunch
Por que fiz este jogo
Meus alunos usam assistentes de IA todos os dias, mas quase sempre como uma caixa-preta: a pergunta entra, a resposta sai, e o que acontece no meio parece mágica. Eu queria que eles olhassem para dentro, começando pelo primeiro passo de tudo: como um texto vira números.
A tokenização parece um detalhe técnico, mas explica coisas que os alunos já perceberam sem saber o porquê: por que um modelo erra ao contar letras, por que uma conversa tem limite de tamanho, por que usar IA custa dinheiro e energia, e por que algumas línguas saem mais caras que outras.
Preferi um jogo a uma aula porque o algoritmo é simples o bastante para ser executado com as próprias mãos. Quem joga o TokenCrunch não ouve falar de BPE: faz BPE, fusão por fusão, e só depois descobre o nome do que fez.
O jogo é aberto e gratuito para que outros professores possam usá-lo, adaptá-lo e melhorá-lo, na mesma tradição de atividades como as do CS Unplugged.
Como foi feito
O jogo usa Next.js, Pixi.js e next-intl. O algoritmo de tokenização (BPE) roda igual no navegador e no servidor, que confere cada jogada.
Desenvolvido com apoio de IA generativa (Claude, da Anthropic): o código e os rascunhos dos textos foram produzidos em conversa com um assistente de IA e revisados por mim. Num jogo sobre como a IA funciona, achei importante deixar isso claro.
Referências
- GAGE, Philip. A new algorithm for data compression. The C Users Journal, fev. 1994.
- SENNRICH, Rico; HADDOW, Barry; BIRCH, Alexandra. Neural machine translation of rare words with subword units. In: ACL, 2016.
- RADFORD, Alec et al. Language models are unsupervised multitask learners. OpenAI, 2019.
- PETROV, Aleksandar et al. Language model tokenizers introduce unfairness between languages. In: NeurIPS, 2023.
- UNESCO. AI competency framework for students. Paris: UNESCO, 2024.
- BELL, Tim; WITTEN, Ian H.; FELLOWS, Mike. Computer Science Unplugged. csunplugged.org.
Textos e dados
Trava-línguas do folclore brasileiro (tradição oral), trechos em domínio público de Gonçalves Dias, Casimiro de Abreu, José de Alencar, Machado de Assis, Fernando Pessoa e Luís de Camões, e textos originais do TokenCrunch. O vocabulário congelado do boss foi treinado em cinco livros de Machado de Assis (Project Gutenberg, domínio público), na ortografia da época.
Tipografia
JetBrains Mono e Exo 2, ambas sob a SIL Open Font License.
Privacidade
O jogo não pede cadastro, não usa cookies de rastreamento e não coleta dados pessoais. O progresso fica guardado só no seu navegador; o servidor apenas confere as jogadas e devolve o progresso assinado.
Licença
O TokenCrunch é distribuído sob a licença CC BY-NC-SA 4.0: você pode copiar, adaptar e compartilhar para fins não comerciais, desde que dê crédito e use a mesma licença. Os textos em domínio público continuam em domínio público, e as bibliotecas e fontes usadas mantêm as próprias licenças. creativecommons.org/licenses/by-nc-sa/4.0/deed.pt-br