片仮名の「片」は不完全の意で、平仮名が万葉仮名の全画を書きくずしたものであるのに対して、 片仮名は万葉仮名の一部の字画を省略したものであることから名づけられたのであろう。 漢字の省画は奈良時代から見えるが、平安時代にはいると、漢文に訓点を記入することが起こり、 漢字の傍訓や送り仮名として手早く書き込むために簡略な字形が求められ、省画の字体が生み出された。

もともと訓点の記入は個人の備忘のために始められたで、その仮名字体はまちまちであった。 省画による仮名が多いが、初期には万葉仮名や草書体の仮名も含まれていた。 また、文献が異なれば、使用の仮名も字体が違うことが多く、社会的な統一もなかった。

平安中期になると、同じ学統の人たちの間では共通した字体が用いられ、字形も簡略化されるようになった。 そして、後期には仮名字体が社会的に統一され、ほぼ一音節一字となった。 また、字形も現行に近いものが使われるようになったが、一部「子」のような変体仮名は後世まで用いられた。

「かたかんな」という名称は「宇津保物語」に既に見え、一〇10世紀の中ごろには貴族社会にも普及していた。 一〇10世紀中葉の「醍醐寺五重塔天井落書」には平仮名で三首の和歌を記しているほか、 片仮名でも三首の和歌が書かれており、この頃には片仮名が平仮名とは別個の文字体系として意識されていたことがわかる。

「堤中納言物語」の「虫めづる姫君」（平安後期成立）には、主人公の少女が和歌を書き記す場面に 「仮名はまだ書き給はざりければ、片かんなに」とあって、当時仮名の習得がまず片仮名から始められ、 次いで平仮名に進んでいったことがわかる。 平仮名が美的鑑賞としての品格を要求されるのに対して、片仮名は実用的であったことを物語っている。

片仮名主体の表記は一二12世紀ごろから現れ、和歌を記した「極楽願往生歌」や大福光寺本「方丈記」 などはその代表的なものである。 しかし、中世では一般に、その使用の範囲は平仮名に比べると限定されており、主に注釈書などの学問的色彩の濃いもの、 もしくは草稿や手控えの類に用いられた。

片仮名はその表音的機能によって、平仮名の中に交えて用いられると、 漢字と同じような表語性をもつ点にも大きな特徴がある。 そのため、漢字表記になじまない語、たとえば外来語や擬声語・俗語・隠語・方言の表記などに適しているのである。 また、「私ってサ、ホントはスゴク内気な人なのヨネ。」のように口頭語的な特徴を示す場合や、 感情・評価を表す語（たとえば「ガンバリ屋」「ワガママな人はキライだ」）に用いることも一部に見受けられるが、 これらは江戸時代の片仮名表記の流れを引いていると見てよい。

外来語は、日本語に融合して外来語という意識の希薄な「たばこ」などの一部の語を除いて、 片仮名で表記されるのが一般的である。 今日でも外来語の表記は必ずしも一定ではなく、慣用が固定している表記と、 原音の発音やつづりに近い表記とが併用されている。 外来語に用いる片仮名は五十音図の直音・拗音に枠に入りきらず、 また[v]を表すために「ヴ」という字体が福沢諭吉（「増訂華英通語」） によって新たに生み出されたこともそれを象徴するものである。

「古事記」の応神記に見える、和迩吉師が論語十巻と千字文一巻を貢進したという記事は史実そのものではないが、 六6世紀前半ごろに漢籍が百済から伝えられたということを象徴的に示すものである。 また、仏教も六6世紀初頭には伝わっていたようで、こうした内典外典を通して漢文に親しむようになった。 当初は中国語のままで理解していたが、やがて日本語に翻訳して読み下すようになっていった。

九9世紀にはいると、南都（奈良）の学僧の間で漢文の読み下しを直接経文に書き込むようになった。 その手法は、朱や胡粉(ごふん)などを用いて、 その読み方をヲコト点や仮名で記入するというものであった。 そうした訓読を記す記号や符号を「訓点」という。 もともとは個人的な備忘のために注記することに始まったが、狭い行間にすばやく記入する必要から、 符号の一種のヲコト点や省画の片仮名を生み出したのであった。 そうした訓点の方法は天台宗・真言宗に及び、更に大学の博士家など俗家にまで普及するに至った。

ヲコト点とは漢字の読み方や助詞・助動詞などの補読を示すために、漢字の字面や周囲に記入した 「・」「－」「˥」などの符号のことで、それぞれの符号はそれに対応する音（読み）を象徴している。 その符号体系の規則は各宗派・流派によってさまざまであった。 漢籍では一〇10世紀以降、祖点から訓点を転写する移点が始まり、訓み下しが固定化するようになった。 そのため、漢文訓読に特有の語彙・語法が一つの文体として生じ、日本語文体に大きな影響を与えた。 たとえば、「まさに・・・・・・せんとす」「よろしく・・・・・・すべし」「いやしくも」「あまつさえ」 などはその類である。

こうした訓読が発生したために、平安時代の中頃から字音直読することが少なくなり、 漢文は訓読を通して理解される伝統が築かれたのである。