G を台集合とする実リー群とは、G には実数体上有限次元かつ可微分[注釈 1]な実多様体の構造が定められていて、G はまた群の構造を持ち、さらにその群の演算である乗法および逆元を取る操作が多様体としての G 上の写像として可微分であるもののことである[注釈 2]。このような構造が入っているという前提の下で、通常は「G はリー群である」というように台を表す記号を使ってリー群を表す。また、実数(実多様体)を複素数(複素多様体)にとりかえて複素リー群の概念が定まる。
可微分多様体 M 上のベクトル場は、M 上の滑らかな関数のなす環の微分 X と考えることができる。 また、二つの微分 X, Y に対して、そのリー括弧積 [X, Y] = XY − YX は再び微分となるので、この括弧積のもとでベクトル場の全体をリー環にすることができる。
G が可微分多様体 M に滑らかに作用するリー群とすると、G の作用を関数環へ移行し、さらに微分に移行することで G はベクトル場に対して作用させることができる。この G の作用によって不変なベクトル場全体のなすベクトル空間は、リー括弧積に関して閉じているのでリー環となる。
この構成法をリー群 G に、その台の多様体構造に着目して適用する。つまり、G は G = M に左からの積で作用していると見なすと、G 上の左不変ベクトル場の全体はベクトル場のリー括弧積のもとでリー環となる。
リー群の単位元における接ベクトルはどれも(それを群の左移動作用で各点に移し変えることにより)左不変ベクトル場に拡張することができる。これにより、単位元 e における接空間 Te と左不変ベクトル場全体の作るベクトル空間とを同一視して、接空間をリー環にすることができる。これをリー群 G のリー環(G に付随するリー環、G に対応するリー環)と呼んで、リー群を表すのに使っている文字の対応する小文字(慣習的にドイツ文字を用いることが多い)を充てて表す。例えばリー群を G で表しているのなら、そのリー環は g や で表す。 また Lie(G) などとして付随するリー環を表すこともある。
リー群に付随するリー環は有限次元で、とくに元のリー群と同じ次元を持つ。リー群 G に付随するリー環 g は局所同型の違いを除いて一意に定まる。ここで、二つのリー群が「局所同型」であるとは、単位元の適当な近傍を選ぶと、その上で同型対応がとれることをいう。リー群に対する問題は、対応するリー環に対する問題を先に解決し、その結果を用いることによって(通常は簡単に)解決されるということがよくある。例えば、単純リー群の分類問題は対応するリー環の分類をまず済ませることによって解決される。
左不変ベクトル場を用いる代わりに右不変ベクトル場を用いても、単位元における接空間 Te にリー環の構造を入れることができるが、この場合も左不変ベクトル場を用いたと同じリー環が定まる。これは、リー群 G 上で逆元をとる写像を考えると、それを移行して右不変ベクトル場と左不変ベクトル場が対応付けられ、特に接空間 Te 上では −1 を乗じる操作として作用することから従う。
接空間 Te 上のリー環構造は次のように記述することもできる: 直積リー群 G × G 上の交換子作用素
(x, y) → xyx−1y−1
は (e, e) を e に写すので、その微分は Te 上の双線型作用素を引き起こす。この双線型作用素は実際には零写像なのだが、接空間との厳密な同一視の元で、二階微分はリー括弧積の公理を満たす作用素を引き起こし、それは左不変ベクトル場を用いて定義される場合のちょうど二倍に等しい。
準同型と同型
G, H をリー群(実なら双方とも実、複素なら双方とも複素)とする。写像 f: G → H がリー群の準同型であるとは、f は抽象群としての群準同型であって、かつ f が解析的であるときにいう。ただし、f が「解析的」であるという条件を「連続」であるという条件に弱めても定義としては同値になることが示せる。文脈上リー群の準同型であると明らかなときは単に準同型とよぶ。リー群準同型の合成はまたリー群準同型である。全ての実リー群のなす類、あるいは全ての複素リー群のなす類に、それぞれの意味でのリー群準同型を射と見なしてリー群の圏ができる。二つのリー群が同型であるとは、その間に全単射なリー群準同型で、その逆写像もまたリー群準同型になるようなものが存在することをいう。同型なリー群同士を区別する必要は実用上はなく、それらは単に元の表し方が異なるだけだと考えられる。
リー群の大域的構造をそのリー環によって完全に記述することは一般にはできない。たとえば Z を G の中心に属する任意の離散群としてやると、 G と G/Z は同じリー環をもつ。しかしながら連結リー群に関しては、それが単純、半単純、可解、冪零あるいは可換となることが、付随するリー環の対応する性質が成り立つことに同値であるということができる。
リー群が単連結であることを仮定すると、その大域的構造はそのリー環によって完全に決定される。任意の有限次元リー環 g に対して、単連結リー群 G でそのリー環が g であるものが同型を除いて唯一つ定まる。さらに、リー環の準同型は対応する単連結リー群の間の準同型へ一意的に持ち上げられる。
リー環 g の任意のベクトル v は、1 を v へと写す R から g への線型写像(これをリー環準同型と考えることができる)を定める。R は単連結リー群 R のリー環になっているので、これは対応するリー群の間の準同型 c: R → G を引き起こす。これは s, t ∈ R に対して
c(s + t) = c(s) c(t)
を満たす(右辺は G における乗法である)。この式と指数関数が満たす公式との類似性から、
exp(v) = c(1)
とおくと、行列群に対しては今の定義は先の定義と同じものを定めることが確かめられる。これを指数写像と呼ぶ。作り方からこれはリー環 g を対応するリー群 G のなかへ写すことが判る。指数写像は、リー環 g の零元 0 の近傍からリー群 G の単位元 e の近傍への可微分同相写像である。実数全体が成す可換リー環 R は正の実数全体が乗法に関して成すリー群 R+× に付随するリー環になっているので、指数写像は実数に対する指数関数の一般化になっていることがわかる。同様に複素数全体が成す可換リー環 C が非零な複素数全体が乗法に関して成すリー群 C× のリー環であることから、指数写像は複素数に対する指数関数の一般化にもなっている。もちろん、正方行列全体 Mn(R) が通常の交換子をリー括弧積として成すリー環が、リー群 GLn(R) のリー環であることから指数写像は行列の指数関数の一般化でもある。
指数写像がリー群 G の単位元 e の適当な近傍 N の上への写像であるので、付随するリー環の元は G 上の無限小生成作用素 (infinitesimal generator) と呼ばれる。N の生成する G の部分群は G の単位成分である。
指数写像とリー環は連結リー群の局所群構造を決定する。実際、リー環 g の零元の適当な近傍 U で、u, v が U の元ならば
Adams, J. Frank (December 1, 1996). Lectures on Exceptional Lie Groups. Chicago Lectures in Mathematics. University Of Chicago Press. ISBN0-226-00527-5
Fulton, William; Harris, Joe (July 30, 1999). Representation Theory : A First Course. Graduate Texts in Mathematics / Readings in Mathematics (1st ed.). Springer Verlag. ISBN0-387-97495-4
Knapp, Anthony W. (2002). Lie Groups Beyond an Introduction. Birkhäuser. ISBN0-8176-4259-5
Rossmann, Wulf (August 24, 2006). Lie Groups: An Introduction Through Linear Groups. Oxford Graduate Texts in Mathematics. Oxford University Press. ISBN0-19-920251-6 - 注意:2003年刊の再版で初版の誤植が訂正されている。線型群(すなわち有限次元の行列で定義される連続群)のトリビアルでない実例を通じたリー群とリー代数の入門書。
Serre, Jean-Pierre (1992). Lie Algebras and Lie Groups: 1964 Lectures given at Harvard University. Lecture Notes in Mathematics (2nd sub ed.). Springer. ISBN3-540-55008-9
Johan G.F.Belinfante and Bernard Kolman: A Survey of Lie Groups and Lie Algebras with Applications and Computational Methods, SIAM, ISBN 0-89871-243-2 (1972).