markdown-token-splitter.d.ts 177 B

123
  1. import { TiktokenModel } from 'js-tiktoken';
  2. export declare function splitMarkdownIntoChunks(markdownText: string, model: TiktokenModel, maxToken?: number): Promise<string[]>;